扩展TensorZero
TensorZero致力于提供卓越的开发者体验,同时让您完全掌握每个模型提供商的底层能力。
我们提供高级功能,让您能够自定义请求并访问TensorZero未直接支持的特定供应商功能。 大多数情况下您可能不需要这些功能,但在必要时它们随时可用。
功能特性
extra_body
你可以使用extra_body
字段来覆盖TensorZero发送给模型提供商的请求体。
您可以在变体配置块、模型提供商配置块或推理时设置extra_body
参数。
详情请参阅配置参考和推理API参考。
extra_headers
你可以使用extra_headers
字段来覆盖TensorZero发送给模型提供商请求头信息。
您可以在变体配置块、模型提供商配置块或推理时设置extra_headers
。
详情请参阅配置参考和推理API参考。
include_original_response
如果在运行推理时启用此功能,网关将返回来自模型提供商的原始响应以及TensorZero的响应。
更多详情请参阅Inference API Reference。
TensorZero 数据
TensorZero将所有数据存储在您自己的ClickHouse数据库中。
您可以直接对ClickHouse实例运行SQL查询来获取这些数据。 如果您特别有冒险精神,也可以直接写入ClickHouse(不过在升级TensorZero部署时需要注意数据库迁移问题)。
更多详情请参阅数据模型。
示例:Anthropic计算机应用
在撰写本文时,TensorZero尚未直接集成Anthropic的计算机使用功能——但它们开箱即用!
具体来说,Anthropic计算机使用需要在请求体中设置额外字段以及请求头。 让我们定义一个包含这些额外参数的TensorZero函数:
[functions.bash_assistant]type = "chat"
[functions.bash_assistant.variants.anthropic_claude_3_7_sonnet_20250219]type = "chat_completion"model = "anthropic::claude-3-7-sonnet-20250219"max_tokens = 2048extra_body = [ { pointer = "/tools", value = [{ type = "bash_20250124", name = "bash" }] }, { pointer = "/thinking", value = { type = "enabled", budget_tokens = 1024 } },]extra_headers = [ { name = "anthropic-beta", value = "computer-use-2025-01-24" },]
这个示例展示了即使TensorZero尚未明确支持某些功能,您仍应能够使用模型提供商提供的大多数特性。