Skip to main content

使用方法

LiteLLM 返回所有提供商兼容的 OpenAI 使用对象。

"usage": {
    "prompt_tokens": int,
    "completion_tokens": int,
    "total_tokens": int
  }

快速开始​

from litellm import completion
import os

## 设置环境变量
os.environ["OPENAI_API_KEY"] = "你的API密钥"

response = completion(
  model="gpt-3.5-turbo",
  messages=[{ "content": "你好，你好吗？","role": "user"}]
)

print(response.usage)

流式使用​

如果设置了 stream_options={"include_usage": True}，在数据: [DONE] 消息之前会流式传输一个额外的块。该块的 usage 字段显示整个请求的令牌使用统计信息，choices 字段将始终为空数组。所有其他块也将包含一个 usage 字段，但其值为 null。

from litellm import completion 

completion = completion(
  model="gpt-4o",
  messages=[
    {"role": "system", "content": "你是一个有用的助手。"},
    {"role": "user", "content": "你好！"}
  ],
  stream=True,
  stream_options={"include_usage": True}
)

for chunk in completion:
  print(chunk.choices[0].delta)
优云智算