内部用户自助服务
允许用户在代理UI上创建自己的密钥。
- 在代理上为团队添加有权限的用户
- UI
- API
前往 Internal Users -> +New User
在LiteLLM上创建新的内部用户,并分配他们角色 internal_user。
curl -X POST '<PROXY_BASE_URL>/user/new' \
-H 'Authorization: Bearer <PROXY_MASTER_KEY>' \
-H 'Content-Type: application/json' \
-D '{
"user_email": "krrishdholakia@gmail.com",
"user_role": "internal_user" # 👈 这允许用户创建/查看/删除他们自己的密钥 + 查看他们的花费
}'
预期响应
{
"user_id": "e9d45c7c-b20b-4ff8-ae76-3f479a7b1d7d", 👈 用于步骤2
"user_email": "<YOUR_USERS_EMAIL>",
"user_role": "internal_user",
...
}
以下是LiteLLM内部用户的可用UI角色:
管理员角色:
proxy_admin: 平台管理员proxy_admin_viewer: 可以登录,查看所有密钥,查看所有花费。不能创建/删除密钥,添加新用户。
内部用户角色:
internal_user: 可以登录,查看/创建/删除他们自己的密钥,查看他们的花费。不能添加新用户。internal_user_viewer: 可以登录,查看他们自己的密钥,查看他们自己的花费。不能创建/删除密钥,添加新用户。
- 与用户分享邀请链接
- UI
- API
复制邀请链接给用户
curl -X POST '<PROXY_BASE_URL>/invitation/new' \
-H 'Authorization: Bearer <PROXY_MASTER_KEY>' \
-H 'Content-Type: application/json' \
-D '{
"user_id": "e9d45c7c-b20b..." # 👈 步骤1中的用户ID
}'
预期响应
{
"id": "a2f0918f-43b0-4770-a664-96ddd192966e",
"user_id": "e9d45c7c-b20b..",
"is_accepted": false,
"accepted_at": null,
"expires_at": "2024-06-13T00:02:16.454000Z", # 👈 有效期7天
"created_at": "2024-06-06T00:02:16.454000Z",
"created_by": "116544810872468347480",
"updated_at": "2024-06-06T00:02:16.454000Z",
"updated_by": "116544810872468347480"
}
邀请链接:
http://0.0.0.0:4000/ui/onboarding?id=a2f0918f-43b0-4770-a664-96ddd192966e
# <YOUR_PROXY_BASE_URL>/ui/onboarding?id=<id>
info
使用电子邮件通知向用户发送入职链接
- 用户通过电子邮件+密码认证登录
info
LiteLLM企业版:启用SSO登录
- 用户现在可以创建自己的密钥
允许用户查看使用情况、缓存分析
- 前往Internal Users -> +Invite User
将他们的角色设置为 Admin Viewer - 这意味着他们只能查看使用情况、缓存分析
- 与用户分享邀请链接
- 用户通过电子邮件+密码认证登录
- 用户现在可以查看使用情况、缓存分析
可用角色
以下是LiteLLM内部用户的可用UI角色:
管理员角色:
proxy_admin: 平台管理员proxy_admin_viewer: 可以登录,查看所有密钥,查看所有花费。不能创建/删除密钥,添加新用户。
内部用户角色:
internal_user: 可以登录,查看/创建/删除他们自己的密钥,查看他们的花费。不能添加新用户。internal_user_viewer: 可以登录,查看他们自己的密钥,查看他们自己的花费。不能创建/删除密钥,添加新用户。
高级
设置自定义注销URL
如果您希望用户在点击注销时重定向到特定URL,请在.env中设置 PROXY_LOGOUT_URL
export PROXY_LOGOUT_URL="https://www.google.com"
为内部用户设置最大预算
在用户注册时自动为每个内部用户应用预算。默认情况下,表格每10分钟检查一次,以便用户重置。要修改此设置,请参阅此
litellm_settings:
max_internal_user_budget: 10
internal_user_budget_duration: "1mo" # 每月重置
这为内部用户在注册时设置了10美元的最大预算。
此预算仅适用于该用户创建的个人密钥 - 在UI的默认团队下可见。
此预算不适用于在非默认团队下创建的密钥。
设置团队的最大预算
自助服务/SSO流程的所有设置
litellm_settings:
max_internal_user_budget: 10 # 内部用户的最大预算
internal_user_budget_duration: "1mo" # 每月重置
default_internal_user_params: # 新用户通过SSO登录时使用的默认参数
user_role: "internal_user" # 可选值:"internal_user", "internal_user_viewer", "proxy_admin", "proxy_admin_viewer"。不在litellm中的新SSO用户将被创建为此用户
max_budget: 100 # 可选[浮点数],可选):新SSO登录用户的100美元预算
budget_duration: 30d # 可选[字符串],可选):新SSO登录用户的30天预算周期
upperbound_key_generate_params: # 当自助服务流程开启时,/key/generate请求的上限
max_budget: 100 # 可选[浮点数],可选):所有/key/generate请求的100美元上限
budget_duration: "10d" # 可选[字符串],可选):预算周期值的10天上限
duration: "30d" # 可选[字符串],可选):所有/key/generate请求的30天上限
max_parallel_requests: 1000 # 可选[整数],可选):可以并行发出的最大请求数。默认为None。
tpm_limit: 1000 # 可选[整数],可选):TPM限制。默认为None。
rpm_limit: 1000 # 可选[整数],可选):RPM限制。默认为None。