Skip to main content

模型别名

你展示给最终用户的模型名称可能与你传递给LiteLLM的名称不同——例如，前端显示GPT-3.5，而后端调用gpt-3.5-turbo-16k。

LiteLLM通过让你传入一个模型别名映射来简化这一过程。

预期格式

litellm.model_alias_map = {
    # 一个字典，包含别名字符串到实际LiteLLM模型名称字符串的映射
    "model_alias": "litellm_model_name"
}

使用方法

相关代码​

model_alias_map = {
    "GPT-3.5": "gpt-3.5-turbo-16k",
    "llama2": "replicate/llama-2-70b-chat:2796ee9483c3fd7aa2e171d38f4ca12251a30609463dcfd4cd76703f22e96cdf"
}

litellm.model_alias_map = model_alias_map

完整代码​

import litellm 
from litellm import completion 


## 设置环境变量
os.environ["OPENAI_API_KEY"] = "openai key"
os.environ["REPLICATE_API_KEY"] = "cohere key"

## 设置模型别名映射
model_alias_map = {
    "GPT-3.5": "gpt-3.5-turbo-16k",
    "llama2": "replicate/llama-2-70b-chat:2796ee9483c3fd7aa2e171d38f4ca12251a30609463dcfd4cd76703f22e96cdf"
}

litellm.model_alias_map = model_alias_map

messages = [{ "content": "Hello, how are you?","role": "user"}]

# 调用 "gpt-3.5-turbo-16k"
response = completion(model="GPT-3.5", messages=messages)

# 调用 replicate/llama-2-70b-chat:2796ee9483c3fd7aa2e171d38f4ca1...
response = completion("llama2", messages)
优云智算