provider_specific_params
设置特定提供者的参数
目标:为OpenAI和Cohere设置最大令牌数
1. 通过完成(completion)
LiteLLM会自动将max_tokens转换为特定模型提供者遵循的命名约定。
from litellm import completion
import os
## 设置环境变量
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["COHERE_API_KEY"] = "your-cohere-key"
messages = [{ "content": "Hello, how are you?","role": "user"}]
# openai调用
response = completion(model="gpt-3.5-turbo", messages=messages, max_tokens=100)
# cohere调用
response = completion(model="command-nightly", messages=messages, max_tokens=100)
print(response)
2. 通过特定提供者的配置
对于LiteLLM上的每个提供者,我们已经获取了它们特定的参数(遵循它们的命名约定等)。您可以通过litellm.<provider_name>Config拉取该提供者来设置它。
所有提供者配置都是类型化的,并且有文档字符串,因此在VSCode中您应该会看到它们自动完成,并附有解释其含义的说明。
以下是通过提供者配置设置最大令牌数的示例。