📄️ quick_start
使用配置文件运行代理
📄️ 入门指南 - 端到端教程
LiteLLM Proxy 的端到端教程，内容包括：
📄️ 🐳 Docker, 部署
你可以在这里找到构建 litellm 代理的 Dockerfile：链接
📄️ 演示应用
以下是代理的演示。要登录，请传入：
📄️ ⚡ 生产环境最佳实践
1. 使用此config.yaml
🗃️ Architecture
1 items
🔗 📖 All Endpoints (Swagger)
📄️ ✨ 企业功能
如需获取许可证，请在此处与我们联系 here
📄️ Langchain, OpenAI SDK, LlamaIndex, Instructor, Curl 示例
LiteLLM Proxy 是 OpenAI 兼容 的，并支持以下功能：
📄️ Proxy Config.yaml
在config.yaml中设置模型列表、apibase、apikey、temperature以及代理服务器设置（master-key）。
📄️ 速率限制头信息
当你向代理发出请求时，代理将返回以下 OpenAI 兼容的头信息：
📄️ 回退、负载均衡、重试
- 快速开始 负载均衡
🗃️ 🔑 Authentication
5 items
🗃️ 💸 Spend Tracking + Budgets
6 items
🗃️ Routing
4 items
🗃️ Use with Provider SDKs
6 items
🗃️ Admin UI
3 items
🗃️ 🪢 Logging, Alerting, Metrics
6 items
🗃️ 🛡️ [Beta] Guardrails
8 items
🗃️ Secret Manager - storing LLM API Keys
2 items
📄️ 缓存
缓存LLM响应
📄️ ➡️ 创建透传端点
向LiteLLM代理添加透传路由
📄️ 电子邮件通知
在以下情况下向您的用户发送电子邮件：
📄️ 用户属性管理变更
代表用户调用管理端点。（在将代理连接到开发平台时非常有用）。
📄️ 模型管理
添加新模型 + 无需重启代理即可获取模型信息。
📄️ health
/health/liveliness
📄️ 调试
支持两个级别的调试：
📄️ 修改/拒绝传入请求
- 在代理上进行llm api调用之前修改数据
📄️ 调用后规则
使用此功能可以根据LLM API调用的输出来拒绝请求。
📄️ CLI 参数
CLI 参数，--host, --port, --num_workers
