Skip to main content

provider_specific_params

设置特定提供者的参数

目标:为OpenAI和Cohere设置最大令牌数

1. 通过完成(completion)

LiteLLM会自动将max_tokens转换为特定模型提供者遵循的命名约定。

from litellm import completion
import os

## 设置环境变量
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["COHERE_API_KEY"] = "your-cohere-key"

messages = [{ "content": "Hello, how are you?","role": "user"}]

# openai调用
response = completion(model="gpt-3.5-turbo", messages=messages, max_tokens=100)

# cohere调用
response = completion(model="command-nightly", messages=messages, max_tokens=100)
print(response)

2. 通过特定提供者的配置

对于LiteLLM上的每个提供者,我们已经获取了它们特定的参数(遵循它们的命名约定等)。您可以通过litellm.<provider_name>Config拉取该提供者来设置它。

所有提供者配置都是类型化的,并且有文档字符串,因此在VSCode中您应该会看到它们自动完成,并附有解释其含义的说明。

以下是通过提供者配置设置最大令牌数的示例。

优云智算