Skip to main content

Arize AI

AI可观测性与评估平台

tip

此项目由社区维护，如果您遇到错误，请提交问题 https://github.com/BerriAI/litellm

前提条件​

在Arize AI上创建账户

快速开始​

只需两行代码，即可使用arize即时记录所有提供商的响应

litellm.callbacks = ["arize"]
import litellm
import os

os.environ["ARIZE_SPACE_KEY"] = ""
os.environ["ARIZE_API_KEY"] = "" # 默认为litellm-completion

# LLM API密钥
os.environ['OPENAI_API_KEY']=""

# 设置arize作为回调，litellm将数据发送至arize
litellm.callbacks = ["arize"]
 
# openai调用
response = litellm.completion(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ]
)

与LiteLLM代理一起使用​

model_list:
  - model_name: gpt-4
    litellm_params:
      model: openai/fake
      api_key: fake-key
      api_base: https://exampleopenaiendpoint-production.up.railway.app/

litellm_settings:
  callbacks: ["arize"]

environment_variables:
    ARIZE_SPACE_KEY: "d0*****"
    ARIZE_API_KEY: "141a****"
    ARIZE_ENDPOINT: "https://otlp.arize.com/v1" # 可选 - 您的自定义arize api端点

支持与联系创始人​