Chat Completions | liteLLM中文文档

📄️ input

可选的 OpenAI 参数

提供者可能会提供OpenAI不支持的参数（例如top_k）。LiteLLM将任何非OpenAI的参数视为特定提供者参数，并在请求体中以关键字参数的形式传递给提供者。查看保留参数

快速开始

由以下支持：

通过您的LLM提供商删除不支持的OpenAI参数。

LiteLLM 自动将 OpenAI ChatCompletions 提示格式转换为其他模型。你也可以通过为模型设置自定义提示模板来控制这一点。

格式

对于OpenAI、Anthropic和Deepseek，LiteLLM遵循OpenAI提示缓存使用对象的格式：

LiteLLM 返回所有提供商兼容的 OpenAI 使用对象。

LiteLLM 将所有提供商的异常映射到其对应的 OpenAI 异常。

- 流式响应

使用 litellm.trim_messages() 确保消息不超过模型的令牌限制或指定的 max_tokens

检查模型是否支持函数调用

快速开始

你展示给最终用户的模型名称可能与你传递给LiteLLM的名称不同——例如，前端显示GPT-3.5，而后端调用gpt-3.5-turbo-16k。

LiteLLM 允许您：

为了测试目的，你可以使用 completion() 和 mock_response 来模拟调用 completion 端点。

LiteLLM 通过以下两种方式防止请求失败：