LiteLLM 代理（LLM 网关）
tip
LiteLLM 提供了一个自托管的代理服务器（AI 网关），用于以 OpenAI 格式调用所有 LLM
LiteLLM 代理 兼容 OpenAI，你只需要在模型前加上 litellm_proxy/ 前缀
所需变量
os.environ["LITELLM_PROXY_API_KEY"] = "" # "sk-1234" 你的 litellm 代理 API 密钥
os.environ["LITELLM_PROXY_API_BASE"] = "" # "http://localhost:4000" 你的 litellm 代理 API 基础地址
使用方法（非流式）
import os
import litellm
from litellm import completion
os.environ["LITELLM_PROXY_API_KEY"] = ""
# 将自定义 API 基础地址设置为你的代理
# 可以通过 .env 文件或 litellm.api_base 设置
# os.environ["LITELLM_PROXY_API_BASE"] = ""
litellm.api_base = "your-openai-proxy-url"
messages = [{ "content": "Hello, how are you?","role": "user"}]
# litellm 代理调用
response = completion(model="litellm_proxy/your-model-name", messages)
使用方法 - 每个请求传递 api_base, api_key
如果你需要动态设置 api_base，只需在 completions 中传递它即可 - completions(...,api_base="your-proxy-api-base")
import os
import litellm
from litellm import completion
os.environ["LITELLM_PROXY_API_KEY"] = ""
messages = [{ "content": "Hello, how are you?","role": "user"}]
# litellm 代理调用
response = completion(
model="litellm_proxy/your-model-name",
messages,
api_base = "your-litellm-proxy-url",
api_key = "your-litellm-proxy-api-key"
)
使用方法 - 流式
import os
import litellm
from litellm import completion
os.environ["LITELLM_PROXY_API_KEY"] = ""
messages = [{ "content": "Hello, how are you?","role": "user"}]
# openai 调用
response = completion(
model="litellm_proxy/your-model-name",
messages,
api_base = "your-litellm-proxy-url",
stream=True
)
for chunk in response:
print(chunk)
