Skip to main content

快速开始

创建密钥、跟踪支出、添加模型，无需担心配置/CRUD端点。

info

这是测试版，因此可能会有变化。如果您有反馈，请告诉我们。

LiteLLM UI创建密钥

快速开始​

  • 需要设置代理主密钥
  • 需要连接数据库

请按照设置操作

1. 启动代理​

litellm --config /path/to/config.yaml

#INFO: 代理运行在 http://0.0.0.0:4000

2. 进入UI​

http://0.0.0.0:4000/ui # <proxy_base_url>/ui

3. 在Swagger上获取管理员UI链接​

您的代理Swagger可在代理的根目录下访问，例如：http://localhost:4000/

UI链接

4. 更改默认用户名和密码​

在代理的.env文件中设置以下内容

LITELLM_MASTER_KEY="sk-1234" # 这是您用于代理服务器的主密钥
UI_USERNAME=ishaan-litellm   # 用于登录UI的用户名
UI_PASSWORD=langchain        # 用于登录UI的密码

访问LiteLLM UI时，系统会提示您输入用户名和密码

邀请其他用户​

允许其他用户创建/删除自己的密钥。

前往此处

✨ 企业功能​

这些功能在我们的/enterprise文件夹中需要商业许可证。查看代码

为UI设置SSO/认证​

步骤1：设置密钥的上限​

控制用户可以为max_budget、budget_duration或任何key/generate参数设置的上限。

litellm_settings:
  upperbound_key_generate_params:
    max_budget: 100 # 可选[浮点数], 可选): 所有/key/generate请求的上限为$100
    budget_duration: "10d" # 可选[字符串], 可选): budget_duration值的上限为10天
    duration: "30d" # 可选[字符串], 可选): 所有/key/generate请求的上限为30天
    max_parallel_requests: 1000 # 可选[整数], 可选): 可以并行发出的最大请求数。默认为None。
    tpm_limit: 1000 # 可选[整数], 可选): Tpm限制。默认为None。
    rpm_limit: 1000 # 可选[整数], 可选): Rpm限制。默认为None。

预期行为

  • 发送一个/key/generate请求，max_budget=200
  • 密钥将创建为max_budget=100，因为100是上限

步骤2：设置Oauth客户端​

tip

寻找如何为/chat、/completions API请求到代理使用Oauth 2.0？请按照此文档操作

  1. 将Okta凭据添加到您的.env文件中
GENERIC_CLIENT_ID = "<your-okta-client-id>"
GENERIC_CLIENT_SECRET = "<your-okta-client-secret>" 
GENERIC_AUTHORIZATION_ENDPOINT = "<your-okta-domain>/authorize" # https://dev-2kqkcd6lx6kdkuzt.us.auth0.com/authorize
GENERIC_TOKEN_ENDPOINT = "<your-okta-domain>/token" # https://dev-2kqkcd6lx6kdkuzt.us.auth0.com/oauth/token
GENERIC_USERINFO_ENDPOINT = "<your-okta-domain>/userinfo" # https://dev-2kqkcd6lx6kdkuzt.us.auth0.com/userinfo
GENERIC_CLIENT_STATE = "random-string" # [可选] 由OKTA要求，如果未设置则生成随机状态值

您可以在<YOUR-OKTA-DOMAIN>/.well-known/openid-configuration获取特定域的auth/token/userinfo端点

  1. 在Okta上将代理url添加为callback_url

在Okta上，将'callback_url'设置为<proxy_base_url>/sso/callback

Okta回调URL

代理上所需的.env变量

# 用于Google SSO登录
GOOGLE_CLIENT_ID=
GOOGLE_CLIENT_SECRET=

代理上所需的.env变量

MICROSOFT_CLIENT_ID="84583a4d-"
MICROSOFT_CLIENT_SECRET="nbk8Q~"
MICROSOFT_TENANT="5a39737

一个通用OAuth客户端，可以用于快速为任何OAuth提供者创建支持，几乎不需要代码

代理上所需的.env变量


GENERIC_CLIENT_ID = "******"
GENERIC_CLIENT_SECRET = "G*******"
GENERIC_AUTHORIZATION_ENDPOINT = "http://localhost:9090/auth"
GENERIC_TOKEN_ENDPOINT = "http://localhost:9090/token"
GENERIC_USERINFO_ENDPOINT = "http://localhost:9090/me"

可选的 .env 变量 以下变量可用于在与通用 OAuth 提供商交互时自定义属性名称。我们将从 SSO 提供商的结果中读取这些属性。

GENERIC_USER_ID_ATTRIBUTE = "given_name"
GENERIC_USER_EMAIL_ATTRIBUTE = "family_name"
GENERIC_USER_DISPLAY_NAME_ATTRIBUTE = "display_name"
GENERIC_USER_FIRST_NAME_ATTRIBUTE = "first_name"
GENERIC_USER_LAST_NAME_ATTRIBUTE = "last_name"
GENERIC_USER_ROLE_ATTRIBUTE = "given_role"
GENERIC_USER_PROVIDER_ATTRIBUTE = "provider"
GENERIC_CLIENT_STATE = "some-state" # 如果提供商需要状态参数
GENERIC_INCLUDE_CLIENT_ID = "false" # 某些提供商强制要求客户端 ID 不在请求体中
GENERIC_SCOPE = "openid profile email" # 默认范围 openid 有时不足以检索基本用户信息，如位于 profile 范围中的 first_name 和 last_name
  • 如果您的提供商需要设置重定向 URI
    • 设置重定向 URL = <您的代理基础 URL>/sso/callback
      http://localhost:4000/sso/callback

第三步：在您的 .env 中设置 PROXY_BASE_URL​

在您的 .env 中设置此项（以便代理可以设置正确的重定向 URL）

PROXY_BASE_URL=https://litellm-api.up.railway.app/

第四步：测试流程​

使用 SSO 限制电子邮件子域​

如果您使用 SSO 并希望仅允许特定子域的用户（例如 @berri.ai 电子邮件账户）访问 UI，请执行以下操作：

export ALLOWED_EMAIL_DOMAINS="berri.ai"

这将在允许访问之前检查我们从 SSO 收到的用户电子邮件是否包含此域。

使用 SSO 设置管理员视图​

您只需设置 Proxy Admin ID

第一步：从 UI 复制您的 ID​

第二步：在您的 .env 中将其设置为 PROXY_ADMIN_ID​

export PROXY_ADMIN_ID="116544810872468347480"

第三步：查看所有代理密钥​

info

如果您没有看到所有密钥，这可能是由于缓存的令牌导致的。只需重新登录即可正常工作。

在管理员 UI 上禁用 默认团队​

如果您想在管理员 UI 上隐藏默认团队，请使用此功能

以下逻辑将适用

  • 如果分配了团队，则不显示 默认团队
  • 如果没有分配团队，则应显示 默认团队

在您的 litellm config.yaml 中设置 default_team_disabled: true

general_settings:
  master_key: sk-1234
  default_team_disabled: true # 或者您可以设置环境变量 PROXY_DEFAULT_TEAM_DISABLED="true"

当 SSO 开启时使用用户名、密码登录​

如果需要在 SSO 开启时通过用户名/密码访问 UI，请导航到 /fallback/login。此路由将允许您使用用户名/密码凭据登录。

限制 UI 访问​

您可以将 UI 访问限制为仅限管理员——包括您（proxy_admin）和您授予只读访问权限的人员（proxy_admin_viewer），以便查看全局支出。

第一步：设置 'admin_only' 访问权限

general_settings:
    ui_access_mode: "admin_only"

第二步：邀请只读用户

自定义品牌管理员 UI​

在 LiteLLM 管理员 UI 上使用您公司的自定义品牌 我们允许您

  • 自定义 UI 标志
  • 自定义 UI 配色方案

设置自定义标志​

我们允许您传递本地图像或 http/https URL 形式的图像

在您的 env 中设置 UI_LOGO_PATH。我们建议使用托管图像，设置和配置/调试要容易得多

示例设置托管图像

UI_LOGO_PATH="https://litellm-logo-aws-marketplace.s3.us-west-2.amazonaws.com/berriai-logo-github.png"

示例设置本地图像（在您的容器中）

UI_LOGO_PATH="ui_images/logo.jpg"

设置自定义颜色主题​

{
    "brand": {
      "DEFAULT": "teal",
      "faint": "teal",
      "muted": "teal",
      "subtle": "teal",
      "emphasis": "teal",
      "inverted": "teal"
    }
}

  • 部署 LiteLLM 代理服务器

禁用管理员 UI​

在您的环境中设置 DISABLE_ADMIN_UI="True" 以禁用管理员 UI。

如果您的安全团队对 UI 使用有额外限制，这将非常有用。

预期响应

优云智算