Skip to main content

自定义LLM定价

使用此功能为模型注册自定义定价。

有两种跟踪成本的方式：

  • 按token收费
  • 按秒收费

默认情况下，响应成本可以通过日志对象中的kwargs["response_cost"]在成功时访问（同步+异步）。了解更多

info

LiteLLM已经为我们的模型成本映射中的任何模型提供了定价。

按秒收费（例如Sagemaker）​

与LiteLLM代理服务器一起使用​

第一步：在config.yaml中添加定价

model_list:
  - model_name: sagemaker-completion-model
    litellm_params:
      model: sagemaker/berri-benchmarking-Llama-2-70b-chat-hf-4
      input_cost_per_second: 0.000420
  - model_name: sagemaker-embedding-model
    litellm_params:
      model: sagemaker/berri-benchmarking-gpt-j-6b-fp16
      input_cost_per_second: 0.000420

第二步：启动代理

litellm /path/to/config.yaml

第三步：查看支出日志

按token收费（例如Azure）​

与LiteLLM代理服务器一起使用​

model_list:
  - model_name: azure-model
    litellm_params:
      model: azure/<your_deployment_name>
      api_key: os.environ/AZURE_API_KEY
      api_base: os.environ/AZURE_API_BASE
      api_version: os.envrion/AZURE_API_VERSION
      input_cost_per_token: 0.000421 # 👈 仅用于跟踪按token收费的成本
      output_cost_per_token: 0.000520 # 👈 仅用于跟踪按token收费的成本
优云智算