Proxy Config.yaml

model_list:
  - model_name: gpt-3.5-turbo ### 接收的模型名称 ###
    litellm_params: # litellm.completion()接受的所有参数 - https://docs.litellm.ai/docs/completion/input
      model: azure/gpt-turbo-small-eu ### 传递给`litellm.completion()`的模型名称 ###
      api_base: https://my-endpoint-europe-berri-992.openai.azure.com/
      api_key: "os.environ/AZURE_API_KEY_EU" # 执行 os.getenv("AZURE_API_KEY_EU")
      rpm: 6      # [可选] 此部署的速率限制：每分钟请求数（rpm）
  - model_name: bedrock-claude-v1 
    litellm_params:
      model: bedrock/anthropic.claude-instant-v1
  - model_name: gpt-3.5-turbo
    litellm_params:
      model: azure/gpt-turbo-small-ca
      api_base: https://my-endpoint-canada-berri992.openai.azure.com/
      api_key: "os.environ/AZURE_API_KEY_CA"
      rpm: 6
  - model_name: anthropic-claude
    litellm_params: 
      model: bedrock/anthropic.claude-instant-v1
      ### [可选] 设置AWS区域 ###
      aws_region_name: us-east-1
  - model_name: vllm-models
    litellm_params:
      model: openai/facebook/opt-125m # `openai/`前缀告诉litellm它是openai兼容的
      api_base: http://0.0.0.0:4000/v1
      api_key: none
      rpm: 1440
    model_info: 
      version: 2
  
  # 如果你想对`claude-3-haiku-20240307`、`claude-3-opus-20240229`、`claude-2.1`进行请求，而不在config.yaml中定义它们
  # 默认模型
  # 适用于所有提供者，并且需要在.env中设置默认提供者凭据
  - model_name: "*" 
    litellm_params:
      model: "*"

litellm_settings: # 模块级别的litellm设置 - https://github.com/BerriAI/litellm/blob/main/litellm/__init__.py
  drop_params: True
  success_callback: ["langfuse"] # 可选 - 如果你想开始向Langfuse发送LLM日志。确保在环境变量中设置`LANGFUSE_PUBLIC_KEY`和`LANGFUSE_SECRET_KEY`

general_settings: 
  master_key: sk-1234 # [可选] 只有当你想要求所有调用都包含此密钥时才使用（Authorization: Bearer sk-1234）
  alerting: ["slack"] # [可选] 如果你想要Slack警报用于挂起的LLM请求、缓慢的LLM响应、预算警报。确保在环境变量中设置`SLACK_WEBHOOK_URL`

model_list:
  - model_name: gpt-4-team1
    litellm_params: # litellm.completion()的参数 - https://docs.litellm.ai/docs/completion/input#input---request-body
      model: azure/chatgpt-v-2
      api_base: https://openai-gpt-4-test-v-1.openai.azure.com/
      api_version: "2023-05-15"
      azure_ad_token: eyJ0eXAiOiJ
      seed: 12
      max_tokens: 20
  - model_name: gpt-4-team2
    litellm_params:
      model: azure/gpt-4
      api_key: sk-123
      api_base: https://openai-gpt-4-test-v-2.openai.azure.com/
      temperature: 0.2
  - model_name: openai-gpt-3.5
    litellm_params:
      model: openai/gpt-3.5-turbo
      extra_headers: {"AI-Resource Group": "ishaan-resource"}
      api_key: sk-123
      organization: org-ikDc4ex8NB
      temperature: 0.2
  - model_name: mistral-7b
    litellm_params:
      model: ollama/mistral
      api_base: your_ollama_api_base

  - model_name: *
    litellm_params:
      model: openai/*
      api_key: os.environ/OPENAI_API_KEY
      organization:
       - org-1 
       - org-2 
       - org-3

model_list:
  # 提供者特定的通配符路由
  - model_name: "anthropic/*"
    litellm_params:
      model: "anthropic/*"
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: "groq/*"
    litellm_params:
      model: "groq/*"
      api_key: os.environ/GROQ_API_KEY
  - model_name: "fo::*:static::*" # 所有匹配此模式的请求将被路由到此部署，例如：model="fo::hi::static::hi" 将被路由到部署："openai/fo::*:static::*"
    litellm_params:
      model: "openai/fo::*:static::*"
      api_key: os.environ/OPENAI_API_KEY

model_list:
  - model_name: zephyr-beta
    litellm_params:
        model: huggingface/HuggingFaceH4/zephyr-7b-beta
        api_base: http://0.0.0.0:8001
        rpm: 60      # 可选[int]: 当设置了rpm/tpm时，litellm使用加权选择进行负载均衡。rpm = 此部署的速率限制：每分钟请求数（rpm）。
        tpm: 1000   # 可选[int]: tpm = 每分钟令牌数
  - model_name: zephyr-beta
    litellm_params:
        model: huggingface/HuggingFaceH4/zephyr-7b-beta
        api_base: http://0.0.0.0:8002
        rpm: 600      
  - model_name: zephyr-beta
    litellm_params:
        model: huggingface/HuggingFaceH4/zephyr-7b-beta
        api_base: http://0.0.0.0:8003
        rpm: 60000      
  - model_name: gpt-3.5-turbo
    litellm_params:
        model: gpt-3.5-turbo
        api_key: <my-openai-key>
        rpm: 200      
  - model_name: gpt-3.5-turbo-16k
    litellm_params:
        model: gpt-3.5-turbo-16k
        api_key: <my-openai-key>
        rpm: 100      

litellm_settings:
  num_retries: 3 # 每个model_name（例如zephyr-beta）重试3次
  request_timeout: 10 # 如果调用时间超过10秒则引发超时错误。设置litellm.request_timeout
  fallbacks: [{"zephyr-beta": ["gpt-3.5-turbo"]}] # 如果调用失败次数达到num_retries，则回退到gpt-3.5-turbo
  context_window_fallbacks: [{"zephyr-beta": ["gpt-3.5-turbo-16k"]}, {"gpt-3.5-turbo": ["gpt-3.5-turbo-16k"]}] # 如果上下文窗口错误，则回退到gpt-3.5-turbo-16k
  allowed_fails: 3 # 如果一分钟的调用失败次数超过1次，则冷却模型。

router_settings: # router_settings是可选的
  routing_strategy: simple-shuffle # 文字值["simple-shuffle", "least-busy", "usage-based-routing","latency-based-routing"]，默认为"simple-shuffle"
  model_group_alias: {"gpt-4": "gpt-3.5-turbo"} # 所有带有`gpt-4`的请求将被路由到带有`gpt-3.5-turbo`的模型
  num_retries: 2
  timeout: 30                                  # 30秒
  redis_host: <your redis host>                # 当使用多个litellm代理部署时设置此项，负载均衡状态存储在redis中
  redis_password: <your redis password>
  redis_port: 1992

os.environ/<YOUR-ENV-VAR> # 运行os.getenv("YOUR-ENV-VAR")

model_list:
  - model_name: gpt-4-team1
    litellm_params: # litellm.completion()的参数 - https://docs.litellm.ai/docs/completion/input#input---request-body
      model: azure/chatgpt-v-2
      api_base: https://openai-gpt-4-test-v-1.openai.azure.com/
      api_version: "2023-05-15"
      api_key: os.environ/AZURE_NORTH_AMERICA_API_KEY # 👈 密钥更改

model_list:
 - model_name: gpt-3.5-turbo
   litellm_params:
     model: openai/gpt-3.5-turbo
     api_key: os.environ/OPENAI_API_KEY
   model_info:
     supported_environments: ["development", "production", "staging"]
 - model_name: gpt-4
   litellm_params:
     model: openai/gpt-4
     api_key: os.environ/OPENAI_API_KEY
   model_info:
     supported_environments: ["production", "staging"]
 - model_name: gpt-4o
   litellm_params:
     model: openai/gpt-4o
     api_key: os.environ/OPENAI_API_KEY
   model_info:
     supported_environments: ["production"]

# 模型特定的参数
model_list:
  - model_name: mistral-7b # 模型别名
    litellm_params: # litellm.completion()的实际参数
      model: "huggingface/mistralai/Mistral-7B-Instruct-v0.1"
      api_base: "<your-api-base>"
      api_key: "<your-api-key>" # [可选] 用于hf推理端点
      initial_prompt_value: "\n"
      roles: {"system":{"pre_message":"<|im_start|>system\n", "post_message":"<|im_end|>"}, "assistant":{"pre_message":"<|im_start|>assistant\n","post_message":"<|im_end|>"}, "user":{"pre_message":"<|im_start|>user\n","post_message":"<|im_end|>"}}
      final_prompt_value: "\n"
      bos_token: " "
      eos_token: " "
      max_tokens: 4096

general_settings:
  database_connection_pool_limit: 100 # 将prisma客户端到postgres数据库的连接池设置为100
  database_connection_timeout: 60 # 为任何数据库连接调用设置60秒超时

环境变量: {}

模型列表:
  - 模型名称: 字符串
    litellm_参数: {}
    模型信息:
      id: 字符串
      模式: 嵌入
      输入成本每标记: 0
      输出成本每标记: 0
      最大标记数: 2048
      基础模型: gpt-4-1106-preview
      附加属性1: {}

litellm_设置:
  # 日志记录/回调设置
  成功回调: ["langfuse"]  # 成功回调列表
  失败回调: ["sentry"]  # 失败回调列表
  回调: ["otel"]  # 回调列表 - 成功和失败时运行
  服务回调: ["datadog", "prometheus"]  # 在datadog, prometheus上记录redis, postgres故障
  关闭消息日志记录: 布尔值  # 防止消息和响应被记录到回调中，但请求元数据仍将被记录。
  用户API密钥信息脱敏: 布尔值  # 从日志中脱敏用户API密钥信息（哈希令牌、用户ID、团队ID等）。目前支持Langfuse、OpenTelemetry、Logfire、ArizeAI日志记录。
  langfuse默认标签: ["cache_hit", "cache_key", "proxy_base_url", "user_api_key_alias", "user_api_key_user_id", "user_api_key_user_email", "user_api_key_team_alias", "semantic-similarity", "proxy_base_url"] # Langfuse日志记录的默认标签
  
  设置详细: 布尔值 # 设置litellm.set_verbose=True以查看详细的调试日志。不要在生产环境中启用此功能
  日志格式为JSON: 布尔值 # 如果为真，日志将以JSON格式输出

  # 回退机制，可靠性
  默认回退: ["claude-opus"] # 设置默认回退，以防特定模型组配置错误/不良。
  内容策略回退: [{"gpt-3.5-turbo-small": ["claude-opus"]}] # 内容策略错误的回退
  上下文窗口回退: [{"gpt-3.5-turbo-small": ["gpt-3.5-turbo-large", "claude-opus"]}] # 上下文窗口超出错误的回退



  # 缓存设置
  缓存: 真 
  缓存参数:        # 为redis设置缓存参数
    类型: redis        # 要初始化的缓存类型

    # 可选 - Redis设置
    主机: "localhost"  # Redis缓存的主机地址。如果类型为"redis"，则为必需。
    端口: 6379  # Redis缓存的端口号。如果类型为"redis"，则为必需。
    密码: "your_password"  # Redis缓存的密码。如果类型为"redis"，则为必需。
    命名空间: "litellm.caching.caching" # redis缓存的命名空间
  
    # 可选 - Redis集群设置
    redis_启动节点: [{"host": "127.0.0.1", "port": "7001"}] 

    # 可选 - Redis哨兵设置
    服务名称: "mymaster"
    哨兵节点: [["localhost", 26379]]

    # 可选 - Qdrant语义缓存设置
    qdrant_语义缓存嵌入模型: openai-embedding # 模型应在模型列表中定义
    qdrant_集合名称: test_collection
    qdrant_量化配置: binary
    相似度阈值: 0.8   # 语义缓存的相似度阈值

    # 可选 - S3缓存设置
    s3_桶名称: cache-bucket-litellm   # S3的AWS桶名称
    s3_区域名称: us-west-2              # S3的AWS区域名称
    s3_aws_访问密钥ID: os.environ/AWS_ACCESS_KEY_ID  # 使用os.environ/<变量名>传递环境变量。这是S3的AWS访问密钥ID
    s3_aws_秘密访问密钥: os.environ/AWS_SECRET_ACCESS_KEY  # S3的AWS秘密访问密钥
    s3_端点URL: https://s3.amazonaws.com  # [可选] S3端点URL，如果你想使用Backblaze/cloudflare的S3桶

    # 通用缓存设置
    # 可选 - 支持的缓存调用类型
    支持的调用类型: ["acompletion", "atext_completion", "aembedding", "atranscription"]
                          # /chat/completions, /completions, /embeddings, /audio/transcriptions
    模式: default_off # 如果为default_off，则需要在每次调用时选择加入缓存
    ttl: 600 # 缓存的ttl


回调设置:
  otel:
    消息日志记录: 布尔值  # OTEL日志记录回调的特定设置

一般设置:
  完成模型: 字符串
  禁用消费日志: 布尔值  # 关闭每次交易写入数据库
  禁用主密钥返回: 布尔值  # 关闭在UI上返回主密钥（在'/user/info'端点上检查）
  禁用重试最大并行请求限制错误: 布尔值  # 当达到最大并行请求限制时关闭重试
  禁用重置预算: 布尔值  # 关闭重置预算的计划任务
  禁用将主密钥哈希添加到数据库: 布尔值  # 关闭在数据库中存储主密钥哈希，用于消费跟踪
  启用JWT认证: 布尔值  # 允许代理管理员通过JWT令牌进行认证，声明中包含'litellm_proxy_admin'
  强制用户参数: 布尔值  # 要求所有openai端点请求都有一个'用户'参数
  允许的路由: ["route1", "route2"]  # 用户可以访问的代理API路由列表（目前仅限JWT-Auth）
  密钥管理系统: google_kms  # 要么是google_kms，要么是azure_kms
  主密钥: 字符串
  数据库URL: 字符串
  数据库连接池限制: 0  # 默认100
  数据库连接超时: 0  # 默认60秒
  自定义认证: 字符串
  最大并行请求: 0  # 每个部署允许的最大并行请求数
  全局最大并行请求: 0  # 代理上允许的最大并行请求总数
  从密钥推断模型: 真
  后台健康检查: 真
  健康检查间隔: 300
  警报: ["slack", "email"]
  警报阈值: 0
  使用客户端凭证传递路由: 布尔值  # 使用客户端凭证进行所有传递路由，如"/vertex-ai", /bedrock/。当此为真时，虚拟密钥认证将不适用于这些端点

router_settings:
  routing_strategy: usage-based-routing-v2 # Literal["simple-shuffle", "least-busy", "usage-based-routing","latency-based-routing"], 默认值为 "simple-shuffle"
  redis_host: <your-redis-host>           # 字符串
  redis_password: <your-redis-password>   # 字符串
  redis_port: <your-redis-port>           # 字符串
  enable_pre_call_check: true             # 布尔值 - 在调用之前检查调用是否在模型上下文窗口内
  allowed_fails: 3 # 如果在1分钟内失败超过1次，冷却模型。
  cooldown_time: 30 # （以秒为单位）如果失败/分钟 > allowed_fails，冷却模型的时间
  disable_cooldowns: True                  # 布尔值 - 禁用所有模型的冷却时间
  enable_tag_filtering: True                # 布尔值 - 使用基于标签的路由请求
  retry_policy: {                          # Dict[str, int]: 不同类型异常的重试策略
    "AuthenticationErrorRetries": 3,
    "TimeoutErrorRetries": 3,
    "RateLimitErrorRetries": 3,
    "ContentPolicyViolationErrorRetries": 4,
    "InternalServerErrorRetries": 4
  }
  allowed_fails_policy: {
    "BadRequestErrorAllowedFails": 1000, # 允许在冷却部署之前出现1000次 BadRequestError
    "AuthenticationErrorAllowedFails": 10, # 整数
    "TimeoutErrorAllowedFails": 12, # 整数
    "RateLimitErrorAllowedFails": 10000, # 整数
    "ContentPolicyViolationErrorAllowedFails": 15, # 整数
    "InternalServerErrorAllowedFails": 20, # 整数
  }
  content_policy_fallbacks=[{"claude-2": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: 内容策略违规的回退模型
  fallbacks=[{"claude-2": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: 所有错误的回退模型

model_list:
  - model_name: gpt-3.5-turbo
    litellm_params:
      model: gpt-3.5-turbo
      api_key: os.environ/OPENAI_API_KEY