Skip to main content

Secret Manager

LiteLLM支持从Azure Key Vault、Google Secret Manager读取秘密信息。

info

✨ 这是企业功能

企业定价

在此联系我们获取免费试用

支持的秘密管理器​

AWS Key Management V1​

tip

[测试版] AWS Key Management v2 是企业级功能。点击此处查看文档

使用 AWS KMS 在环境中存储代理主密钥的哈希副本。

export LITELLM_MASTER_KEY="djZ9xjVaZ..." # 👈 加密密钥
export AWS_REGION_NAME="us-west-2"
general_settings:
  key_management_system: "aws_kms"
  key_management_settings:
    hosted_keys: ["LITELLM_MASTER_KEY"] # 👈 存储在KMS上的密钥

查看解密代码

AWS Secret Manager​

在 AWS Secret Manager 中存储您的代理密钥。

代理使用​

  1. 在您的环境中保存 AWS 凭证
os.environ["AWS_ACCESS_KEY_ID"] = ""  # 访问密钥
os.environ["AWS_SECRET_ACCESS_KEY"] = "" # 秘密访问密钥
os.environ["AWS_REGION_NAME"] = "" # us-east-1, us-east-2, us-west-1, us-west-2
  1. 在配置中启用 AWS Secret Manager。
general_settings:
  master_key: os.environ/litellm_master_key 
  key_management_system: "aws_secret_manager" # 👈 密钥更改
  key_management_settings: 
    hosted_keys: ["litellm_master_key"] # 👈 指定您存储在AWS上的环境密钥
  1. 运行代理
litellm --config /path/to/config.yaml

Azure Key Vault​

与LiteLLM代理服务器一起使用​

  1. 安装代理依赖项
pip install 'litellm[proxy]' 'litellm[extra_proxy]'
  1. 在您的环境中保存Azure详细信息
export["AZURE_CLIENT_ID"]="your-azure-app-client-id"
export["AZURE_CLIENT_SECRET"]="your-azure-app-client-secret"
export["AZURE_TENANT_ID"]="your-azure-tenant-id"
export["AZURE_KEY_VAULT_URI"]="your-azure-key-vault-uri"
  1. 添加到代理config.yaml
model_list: 
    - model_name: "my-azure-models" # 模型别名 
        litellm_params:
            model: "azure/<your-deployment-name>"
            api_key: "os.environ/AZURE-API-KEY" # 从密钥库读取 - get_secret("AZURE_API_KEY")
            api_base: "os.environ/AZURE-API-BASE" # 从密钥库读取 - get_secret("AZURE_API_BASE")

general_settings:
  key_management_system: "azure_key_vault"

现在您可以通过启动代理来测试这一点：

litellm --config /path/to/config.yaml

快速测试代理

Google Secret Manager​

支持Google Secret Manager

  1. 在您的环境中保存Google Secret Manager详细信息
GOOGLE_SECRET_MANAGER_PROJECT_ID="your-project-id-on-gcp" # 例如：adroit-crow-413218

可选参数

export GOOGLE_SECRET_MANAGER_REFRESH_INTERVAL = ""            # (int) 默认为86400
export GOOGLE_SECRET_MANAGER_ALWAYS_READ_SECRET_MANAGER = ""  # (str) 如果您希望始终从Google Secret Manager读取而不使用内存缓存，请设置为"true"。在生产环境中不推荐
  1. 添加到代理config.yaml
model_list:
  - model_name: fake-openai-endpoint
    litellm_params:
      model: openai/fake
      api_base: https://exampleopenaiendpoint-production.up.railway.app/
      api_key: os.environ/OPENAI_API_KEY # 这将由Google Secret Manager读取

general_settings:
  key_management_system: "google_secret_manager"

现在您可以通过启动代理来测试这一点：

litellm --config /path/to/config.yaml

快速测试代理

Google 密钥管理服务​

在代理上使用 Google KMS 加密的密钥

使用 LiteLLM 代理服务器​

步骤 1. 将密钥添加到环境变量​

export GOOGLE_APPLICATION_CREDENTIALS="/path/to/credentials.json"
export GOOGLE_KMS_RESOURCE_NAME="projects/*/locations/*/keyRings/*/cryptoKeys/*"
export PROXY_DATABASE_URL_ENCRYPTED=b'\n$\x00D\xac\xb4/\x8e\xc...'

步骤 2: 更新配置​

general_settings:
  key_management_system: "google_kms"
  database_url: "os.environ/PROXY_DATABASE_URL_ENCRYPTED"
  master_key: sk-1234

步骤 3: 启动并测试代理​

$ litellm --config /path/to/config.yaml

在另一个终端中

$ litellm --test

快速测试代理

优云智算