OpenMeter - 基于使用量的计费

OpenMeter 是一个面向AI/云应用程序的开源基于使用量的计费解决方案。它与Stripe集成，便于计费。

info

我们希望了解如何改进回调功能！与LiteLLM 创始人会面或加入我们的Discord

快速开始

仅用两行代码，即可使用OpenMeter立即记录您的响应跨所有提供商

从 https://openmeter.cloud/meters 获取您的OpenMeter API密钥

litellm.callbacks = ["openmeter"] # 记录成功调用的成本和使用情况到openmeter

SDK
PROXY

# pip install openmeter 
import litellm
import os

# 从 https://openmeter.cloud
os.environ["OPENMETER_API_ENDPOINT"] = ""
os.environ["OPENMETER_API_KEY"] = ""

# LLM API 密钥
os.environ['OPENAI_API_KEY']=""

# 将openmeter设置为回调，litellm会将数据发送至openmeter
litellm.callbacks = ["openmeter"] 
 
# openai 调用
response = litellm.completion(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ]
)

添加到Config.yaml

model_list:
- litellm_params:
    api_base: https://openai-function-calling-workers.tasslexyz.workers.dev/
    api_key: my-fake-key
    model: openai/my-fake-model
  model_name: fake-openai-endpoint

litellm_settings:
  callbacks: ["openmeter"] # 👈 关键更改

启动代理

litellm --config /path/to/config.yaml

测试它！

curl --location 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--data ' {
      "model": "fake-openai-endpoint",
      "messages": [
        {
          "role": "user",
          "content": "你是哪个llm"
        }
      ],
    }
'

OpenMeter - 基于使用量的计费

快速开始​

快速开始