集成

TensorZero网关与各大LLM提供商集成。

模型提供商

服务提供商	聊天功能	JSON功能	流式传输	工具使用	多模态(图像)	嵌入	批量处理
Anthropic	✅	✅	✅	✅	✅	❌	❌
AWS Bedrock	✅	✅	✅	✅	❌	❌	❌
AWS SageMaker	✅	✅	✅	✅	❌	❌	❌
Azure OpenAI Service	✅	✅	✅	✅	❌	❌	❌
DeepSeek	✅	✅	⚠️	❌	❌	❌	❌
Fireworks AI	✅	✅	✅	✅	❌	❌	❌
GCP Vertex AI Anthropic	✅	✅	✅	✅	✅	❌	❌
GCP Vertex AI Gemini	✅	✅	✅	✅	✅	❌	✅
Google AI Studio Gemini	✅	✅	✅	✅	✅	❌	❌
双曲	✅	⚠️	✅	❌	❌	❌	❌
Mistral	✅	✅	✅	✅	❌	❌	❌
OpenAI 和 OpenAI-Compatible	✅	✅	✅	✅	✅	⚠️	✅
SGLang	✅	✅	✅	❌	❌	❌	❌
TGI	✅	✅	⚠️	❌	❌	❌	❌
Together AI	✅	✅	✅	✅	❌	❌	❌
vLLM	✅	✅	✅	❌	❌	❌	❌
xAI	✅	✅	✅	✅	❌	❌	❌

限制

TensorZero网关会尽力统一不同供应商的配置标准。例如，某些供应商不支持tool_choice: required；在这些情况下，TensorZero网关会在底层将请求强制转换为tool_choice: auto。

目前，Fireworks AI和OpenAI是仅有的支持parallel_tool_calls的提供商。 此外，TensorZero Gateway仅对Azure、GCP Vertex AI Gemini、Google AI Studio、OpenAI、Together AI、vLLM和xAI支持strict模式（通常称为结构化输出、引导解码或类似名称）。

以下是各支持模型提供商的已知限制。

• Anthropic
  • Anthropic API不支持来自同一角色的连续消息。
  • Anthropic API不支持tool_choice: none。
  • Anthropic API 不支持 seed 参数。
• AWS Bedrock
  • TensorZero Gateway目前不支持AWS Bedrock的防护栏和追踪功能。
  • TensorZero网关采用非标准结构存储AWS Bedrock推理请求中的ModelInference.raw_response。
  • AWS Bedrock API 不支持 tool_choice: none。
  • AWS Bedrock API 不支持 seed 参数。
• Azure OpenAI Service
  • Azure OpenAI服务API在流式传输时不提供使用情况信息。
  • Azure OpenAI服务API不支持tool_choice: required。
• DeepSeek
  • deepseek-chat模型不支持生产环境下的工具使用场景。
  • deepseek-reasoner模型不支持JSON模式或工具调用。
  • TensorZero Gateway 目前不会在响应中返回 thought 块（即将推出！）
• Fireworks AI
  • Fireworks API 不支持 seed 参数。
• GCP Vertex AI
  • TensorZero Gateway目前仅支持Gemini和Anthropic模型。
  • GCP Vertex AI API 不支持 Gemini Flash 模型的 tool_choice: required 参数。
  • Anthropic模型具有与Anthropic提供商所列相同的限制。
• Hyperbolic
  • Hyperbolic 提供商不支持 JSON 模式或工具使用。JSON 功能仅在 json_mode = "off" 时受支持（不推荐）。
• Mistral
  • Mistral API不支持seed参数。
• SGLang
  • 不支持工具
• TGI
  • TGI API不支持流式JSON模式。
  • 对工具使用的支持非常有限，因此我们不建议使用它。
• Together AI
  • Together AI API 在许多情况下似乎不遵循 tool_choice 参数。
• xAI
  • xAI提供商不支持JSON模式。JSON功能可通过json_mode = "implicit_tool"（推荐）或json_mode = "off"实现。
  • xAI API在多轮工具使用方面存在问题(bug报告)。
  • xAI API存在tool_choice: none的问题(bug报告)。