对比：TensorZero 与 Portkey

TensorZero和Portkey提供多样化功能来简化大语言模型工程流程，包括LLM网关、可观测性工具等。 TensorZero是完全开源且支持自托管的，而Portkey虽然提供开源网关但其他功能需要付费商业（托管）服务。 此外，TensorZero在LLM优化方面具备更多功能（例如高级微调工作流和推理时优化），而Portkey则在用户界面方面功能更全面（例如提示词演练场）。

相似之处

• 统一的推理API。 TensorZero和Portkey都提供统一的推理API，只需一次集成即可访问各大主流模型提供商的LLM，支持结构化输出、批量推理、工具调用、流式传输等功能。
  → TensorZero Gateway 快速入门

• 自动故障转移、重试与负载均衡，提升可靠性。 TensorZero和Portkey均提供自动故障转移、重试及负载均衡功能以提高系统可靠性。
  → 使用TensorZero实现重试与故障转移

• 实验功能（A/B测试或金丝雀测试）。 TensorZero和Portkey都提供实验功能，帮助您测试提示词和模型。
  → Experimentation (A/B Testing) with TensorZero

• 模式与模板。 TensorZero和Portkey都提供模式和模板功能，帮助您管理LLM应用。
  → Prompt Templates & Schemas with TensorZero

• 多模态推理。 TensorZero和Portkey都支持多模态推理（VLMs）。
  → Multimodal Inference with TensorZero

关键差异

TensorZero

• 开源可观测性。 TensorZero提供内置的开源可观测性功能，可将推理和反馈数据收集到您自己的数据库中。 Portkey也提供可观测性功能，但仅限于其商业(托管)版本。

• 内置评估功能。 TensorZero提供内置的评估功能，包括启发式方法和LLM评判机制。 Portkey不提供任何评估特性。
  → TensorZero Evaluations Overview

• 开源推理缓存。 TensorZero提供开源推理缓存功能，允许您缓存请求以降低延迟并减少成本。 Portkey也提供推理缓存功能，但仅限于其商业(托管)版本。
  → Inference Caching with TensorZero

• 开源微调工作流。 TensorZero提供开源内置的微调工作流程，允许您使用自己的数据创建定制模型。 Portkey也提供微调功能，但仅限于他们的企业级(付费)服务。
  → 使用TensorZero进行微调的方案

• 高级微调工作流。 TensorZero提供先进的微调工作流程，包括利用反馈信号（如生产指标）筛选数据集的能力，以及使用RLHF进行强化学习的能力。 Portkey不具备类似功能。
  → Fine-Tuning Recipes with TensorZero

• 推理时优化。 TensorZero提供内置的推理时优化功能（例如动态上下文学习），让您可以优化推理性能。 Portkey不提供任何推理时优化功能。
  → Inference-Time Optimizations with TensorZero

• 编程化与GitOps友好的编排。 TensorZero能够以完全编程化的方式实现GitOps友好的编排。 Portkey可以编程化管理其部分功能，但某些特性依赖于其外部商业托管服务。

Portkey

• 访问控制。 Portkey提供访问控制功能，包括虚拟密钥和预算；不过，这些功能仅在其商业（托管）版本中可用。 TensorZero不提供内置的访问控制功能，而是要求你在外部进行管理（例如使用Nginx）。

• 提示词调试平台。 Portkey在其商业(托管)版本中提供了一个提示词调试平台，允许您在图形界面中测试提示词和模型。 TensorZero目前尚未提供提示词调试平台(即将推出！)。

• 防护栏机制。 Portkey提供防护栏功能，包括与第三方防护栏供应商的集成以及通过webhooks使用自定义防护栏的能力。 目前，TensorZero尚未内置防护栏功能，需要您自行管理集成方案。

• 托管服务。 Portkey除了开源版本外还提供付费的托管(代管)服务。 TensorZero是完全开源且需自行部署的。