Skip to main content

输出

格式​

以下是所有模型在litellm completion 调用中预期的确切json输出和类型

{
  'choices': [
    {
      'finish_reason': str,     # 字符串: 'stop'
      'index': int,             # 整数: 0
      'message': {              # 字典 [str, str]
        'role': str,            # 字符串: 'assistant'
        'content': str          # 字符串: "默认消息"
      }
    }
  ],
  'created': str,               # 字符串: None
  'model': str,                 # 字符串: None
  'usage': {                    # 字典 [str, int]
    'prompt_tokens': int,       # 整数
    'completion_tokens': int,   # 整数
    'total_tokens': int         # 整数
  }
}

您可以将响应作为字典或类对象访问，就像OpenAI允许的那样

print(response.choices[0].message.content)
print(response['choices'][0]['message']['content'])

以下是一个示例响应的样子

{
  'choices': [
     {
        'finish_reason': 'stop',
        'index': 0,
        'message': {
           'role': 'assistant',
            'content': "我很好，谢谢你的关心。我是Claude，由Anthropic创建的AI助手。"
        }
      }
    ],
 'created': 1691429984.3852863,
 'model': 'claude-instant-1',
 'usage': {'prompt_tokens': 18, 'completion_tokens': 23, 'total_tokens': 41}
}

附加属性​

您还可以访问延迟等信息。

from litellm import completion
import os
os.environ["ANTHROPIC_API_KEY"] = "your-api-key"

messages=[{"role": "user", "content": "嘿!"}]

response = completion(model="claude-2", messages=messages)

print(response.response_ms) # 616.25# 616.25
优云智算