Skip to main content

调试

支持两个级别的调试：

  • 调试（打印信息日志）
  • 详细调试（打印调试日志）

代理还支持 JSON 日志。点击此处查看

debug​

通过命令行

$ litellm --debug

通过环境变量

os.environ["LITELLM_LOG"] = "INFO"

detailed debug​

通过命令行

$ litellm --detailed_debug

通过环境变量

os.environ["LITELLM_LOG"] = "DEBUG"

调试日志​

使用 --detailed_debug 运行代理以查看详细的调试日志

litellm --config /path/to/config.yaml --detailed_debug

在发出请求时，您应该会在终端输出中看到 LiteLLM 发送到 LLM 的 POST 请求

POST 请求由 LiteLLM 发送:
curl -X POST \
https://api.openai.com/v1/chat/completions \
-H 'content-type: application/json' -H 'Authorization: Bearer sk-qnWGUIW9****************************************' \
-d '{"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "这是一个测试请求，写一首短诗"}]}'

JSON 日志​

在您的环境中设置 JSON_LOGS="True"：

export JSON_LOGS="True"

或者

在您的 yaml 中设置 json_logs: true：

litellm_settings:
    json_logs: true

启动代理

$ litellm

代理现在将以 JSON 格式记录所有日志。

控制日志输出​

关闭 fastapi 的默认 'INFO' 日志

  1. 开启 'json logs'
litellm_settings:
    json_logs: true
  1. 将 LITELLM_LOG 设置为 'ERROR'

仅在发生错误时获取日志。

LITELLM_LOG="ERROR"
  1. 启动代理
$ litellm

预期输出：

# 没有信息语句

常见错误​

  1. "No available deployments..."
No deployments available for selected model, Try again in 60 seconds. Passed model=claude-3-5-sonnet. pre-call-checks=False, allowed_model_region=n/a.

这可能是由于所有模型都达到了速率限制错误，导致冷却期开始。

如何控制这个？

  • 调整冷却时间
router_settings:
    cooldown_time: 0 # 👈 关键更改
  • 禁用冷却期 [不推荐]
router_settings:
    disable_cooldowns: True

不推荐这样做，因为这将导致请求被路由到超出其 tpm/rpm 限制的部署。