Skip to main content

日志记录GCS、s3存储桶

LiteLLM支持将日志记录到以下云存储桶：

将代理输入/输出日志记录到谷歌云存储桶​

将LLM日志记录到谷歌云存储桶

info

✨ 这是一个仅限企业的功能 在此处开始使用企业版

使用方法​

  1. 在LiteLLM Config.yaml中添加gcs_bucket
model_list:
- litellm_params:
    api_base: https://openai-function-calling-workers.tasslexyz.workers.dev/
    api_key: my-fake-key
    model: openai/my-fake-model
  model_name: fake-openai-endpoint

litellm_settings:
  callbacks: ["gcs_bucket"] # 👈 关键更改 # 👈 关键更改
  1. 设置必需的环境变量
GCS_BUCKET_NAME="<your-gcs-bucket-name>"
GCS_PATH_SERVICE_ACCOUNT="/Users/ishaanjaffer/Downloads/adroit-crow-413218-a956eef1a2a8.json" # 添加service account.json的路径
  1. 启动代理
litellm --config /path/to/config.yaml
  1. 测试它！
curl --location 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--data ' {
      "model": "fake-openai-endpoint",
      "messages": [
        {
          "role": "user",
          "content": "你是什么llm"
        }
      ],
    }
'

在GCS存储桶上预期的日志​

在GCS存储桶上记录的字段​

标准日志对象记录在GCS存储桶上

从谷歌云控制台获取service_account.json​

  1. 前往谷歌云控制台
  2. 搜索IAM & Admin
  3. 点击服务账号
  4. 选择一个服务账号
  5. 点击“密钥” -> 添加密钥 -> 创建新密钥 -> JSON
  6. 保存JSON文件并将路径添加到GCS_PATH_SERVICE_ACCOUNT

将代理输入/输出日志记录到s3存储桶​

我们将使用--config来设置

  • litellm.success_callback = ["s3"]

这将把所有成功的LLM调用日志记录到s3存储桶

步骤1 在.env中设置AWS凭证

AWS_ACCESS_KEY_ID = ""
AWS_SECRET_ACCESS_KEY = ""
AWS_REGION_NAME = ""

步骤2：创建一个config.yaml文件并设置litellm_settings：success_callback

model_list:
 - model_name: gpt-3.5-turbo
    litellm_params:
      model: gpt-3.5-turbo
litellm_settings:
  success_callback: ["s3"]
  s3_callback_params:
    s3_bucket_name: logs-bucket-litellm   # AWS S3的存储桶名称
    s3_region_name: us-west-2              # AWS S3的区域名称
    s3_aws_access_key_id: os.environ/AWS_ACCESS_KEY_ID  # 使用os.environ/<变量名>传递环境变量。这是AWS S3的访问密钥ID
    s3_aws_secret_access_key: os.environ/AWS_SECRET_ACCESS_KEY  # AWS S3的秘密访问密钥
    s3_path: my-test-path # [可选] 设置存储桶中要写入日志的路径
    s3_endpoint_url: https://s3.amazonaws.com  # [可选] S3端点URL，如果你要使用Backblaze/Cloudflare的s3存储桶

步骤3：启动代理，进行测试请求

启动代理

litellm --config config.yaml --debug

测试请求

curl --location 'http://0.0.0.0:4000/chat/completions' \
    --header 'Content-Type: application/json' \
    --data ' {
    "model": "Azure OpenAI GPT-4 East",
    "messages": [
        {
        "role": "user",
        "content": "你是什么llm"
        }
    ]
    }'

你的日志应该可以在指定的s3存储桶中找到

优云智算