Skip to main content

托管LiteLLM代理

LiteLLM负责维护代理，让您专注于核心产品。

加入我们​

目前处于测试阶段。安排与我们通话，我们将在30分钟内为您提供一个托管代理。

🚨 安排通话

状态：测试阶段​

我们的代理已经在客户生产环境中使用。

查看我们的状态页面以获取实时可靠性

优势​

  • 无需维护，无需基础设施：我们将维护代理，并根据需要启动额外的基础设施（例如：用于支出日志的单独服务器），确保您可以在多个LLM项目中进行负载均衡和跟踪支出。
  • 可靠：我们的托管代理在每秒1000次请求下进行了测试，适用于高负载。
  • 安全：LiteLLM目前正在进行SOC-2合规性审核，以确保您的数据尽可能安全。

数据隐私与安全​

您可以在此处找到我们关于云端LiteLLM的数据隐私与安全政策。

LiteLLM云支持的数据区域​

您可以在此处找到LiteLLM云支持的数据区域。

定价​

定价基于使用情况。我们可以在通话中为您团队制定一个合适的价格。

🚨 安排通话

截图​

1. 创建密钥​

2. 添加模型​

3. 跟踪支出​

4. 配置负载均衡​

🚨 安排通话​

功能列表​

  • 轻松添加/移除模型
  • 100% 可用性，即使在添加/移除模型时
  • 自定义回调网络钩子
  • 您的域名与HTTPS
  • 创建/删除用户API密钥的能力
  • 合理的每月固定成本