📈 Prometheus 指标

LiteLLM 为 Prometheus 提供了一个 /metrics 端点进行轮询

快速开始​

如果你在使用带有 litellm --config proxy_config.yaml 的 LiteLLM CLI，那么你需要 pip install prometheus_client==0.20.0。这在 litellm Docker 镜像中已经预先安装

将以下内容添加到你的 proxy_config.yaml 中

model_list:
 - model_name: gpt-3.5-turbo
    litellm_params:
      model: gpt-3.5-turbo
litellm_settings:
  callbacks: ["prometheus"]

启动代理

litellm --config config.yaml --debug

测试请求

curl --location 'http://0.0.0.0:4000/chat/completions' \
    --header 'Content-Type: application/json' \
    --data '{
    "model": "gpt-3.5-turbo",
    "messages": [
        {
        "role": "user",
        "content": "你是什么 llm"
        }
    ]
}'

在 /metrics 查看指标，访问 http://localhost:4000/metrics

http://localhost:4000/metrics

# <proxy_base_url>/metrics

虚拟密钥、团队、内部用户指标​

用于跟踪每个 用户、密钥、团队等

代理级别跟踪指标​

用于跟踪整个 LiteLLM 代理的使用情况。

• 跟踪实际流量速率到代理
• 代理的客户端请求和失败次数

LLM API / 供应商指标​

用于 LLM API 错误监控和跟踪剩余的速率限制和令牌限制

跟踪的 LLM API 指标标签​

LLM API 的成功和失败指标​

剩余请求和令牌指标​

| 指标名称 | 描述 | | litellm_remaining_requests_metric | 跟踪从LLM API部署返回的x-ratelimit-remaining-requests。标签："model_group", "api_provider", "api_base", "litellm_model_name", "hashed_api_key", "api_key_alias" | | litellm_remaining_tokens | 跟踪从LLM API部署返回的x-ratelimit-remaining-tokens。标签："model_group", "api_provider", "api_base", "litellm_model_name", "hashed_api_key", "api_key_alias" |

部署状态指标​

备用（故障转移）指标​

请求延迟指标​

虚拟密钥 - 预算，速率限制指标​

用于跟踪LiteLLM代理预算和速率限制逻辑的指标

监控系统健康​

要监控litellm相邻服务（redis / postgres）的健康状况，请执行：

model_list:
 - model_name: gpt-3.5-turbo
    litellm_params:
      model: gpt-3.5-turbo
litellm_settings:
  service_callback: ["prometheus_system"]

🔥 LiteLLM维护的Grafana仪表板 ​

LiteLLM维护的Grafana仪表板链接

https://github.com/BerriAI/litellm/tree/main/cookbook/litellm_proxy_server/grafana_dashboard

以下是您可以使用LiteLLM Grafana仪表板监控的指标的截图

已弃用的指标​