Skip to main content

修剪输入消息

使用 litellm.trim_messages() 确保消息不超过模型的令牌限制或指定的 max_tokens

使用方法​

from litellm import completion
from litellm.utils import trim_messages

response = completion(
    model=model, 
    messages=trim_messages(messages, model) # trim_messages 确保 tokens(messages) < max_tokens(model)
)

使用方法 - 设置 max_tokens​

from litellm import completion
from litellm.utils import trim_messages

response = completion(
    model=model, 
    messages=trim_messages(messages, model, max_tokens=10), # trim_messages 确保 tokens(messages) < max_tokens
)

参数​

该函数使用以下参数：

  • messages:[必需] 这应该是一个输入消息的列表

  • model:[可选] 这是正在使用的 LiteLLM 模型。此参数是可选的，因为你可以选择指定 max_tokens 参数。

  • max_tokens:[可选] 这是一个整数，手动设置消息的上限

  • trim_ratio:[可选] 这表示修剪后要使用的令牌的目标比例。默认值为 0.75，这意味着消息将被修剪以使用约 75%

优云智算