对比：TensorZero 与 OpenRouter

TensorZero和OpenRouter都为大语言模型提供统一的推理API，但除此之外它们各有不同的功能特点。 TensorZero提供更全面的功能集（包括可观测性、优化、评估和实验功能），而OpenRouter则具备更动态的路由能力。不过您可以通过在TensorZero内部使用OpenRouter作为模型提供商，来同时获得两者的优势！

相似之处

统一的推理API。 无论是TensorZero还是OpenRouter都提供了一个统一的推理API，只需一次集成即可访问大多数主流模型提供商的LLM，支持结构化输出、工具使用、流式传输等功能。
→ TensorZero网关快速入门
自动故障转移保障更高可靠性。 TensorZero和OpenRouter均提供自动故障转移机制以提升可靠性。
→ TensorZero的重试与故障转移机制

关键差异

TensorZero

开源与自托管。 TensorZero是完全开源且支持自托管的。您的数据始终保留在自有基础设施内，无需依赖外部API而面临服务中断风险。 OpenRouter是一个闭源的外部API。
无额外费用。 TensorZero可免费使用：您只需提供自己的LLM API密钥，无需支付额外费用。当您自带API密钥时，OpenRouter会收取推理费用的5%。
内置可观测性。 TensorZero提供内置的可观测性功能，可在您自己的数据库中收集推理和反馈数据。 OpenRouter不提供任何可观测性功能。
内置评估功能。 TensorZero提供内置功能，包括启发式算法和LLM评判器。 OpenRouter不提供任何评估特性。
→ TensorZero Evaluations Overview
内置实验功能（A/B测试）。 TensorZero提供内置实验功能，允许您对提示、模型和推理策略进行实验。 OpenRouter不提供任何实验功能。
→ 使用TensorZero进行实验（A/B测试）
内置推理时优化。 TensorZero提供内置的推理时优化（例如动态上下文学习），让您可以优化推理性能。 OpenRouter不提供任何推理时优化功能，除了通过NotDiamond实现的动态模型路由。
→ Inference-Time Optimizations with TensorZero
优化配方。 TensorZero提供优化配方（例如监督微调、RLHF、DSPy），利用您自己的数据来提升LLM的性能。 OpenRouter不提供此类功能。
→ 使用TensorZero的优化配方
批量推理。 TensorZero支持与特定模型提供商进行批量推理，这能显著降低推理成本。 OpenRouter不支持批量推理。
→ Batch Inference with TensorZero
推理缓存。 TensorZero提供推理缓存功能，可显著降低推理成本和延迟。 OpenRouter不提供推理缓存功能。
→ Inference Caching with TensorZero
模式、模板与GitOps。 TensorZero支持采用模式优先的方式构建LLM应用，使您能够将应用逻辑与LLM实现细节分离。这种方法让您更轻松地管理复杂的LLM应用，通过GitOps实现提示词与配置管理，反事实优化数据等优势。 OpenRouter仅提供标准化的非结构化聊天补全接口。
→ 使用TensorZero的提示模板与模式

OpenRouter

动态提供商路由。 OpenRouter允许您根据延迟、成本和可用性动态将请求路由到不同的模型提供商。 TensorZero仅提供静态路由功能，即尝试预定义的模型提供商序列。
→ 使用TensorZero的重试与回退
动态模型路由。 OpenRouter与NotDiamond集成，可根据输入提供动态模型路由功能。 TensorZero支持其他推理时优化技术，但目前暂不支持动态模型路由功能。
→ Inference-Time Optimizations with TensorZero
统一计费。 OpenRouter允许您使用单个OpenRouter API密钥访问所有支持的模型。在底层，OpenRouter使用他们自己的API密钥与模型提供商对接。这种方式可以提高您的速率限制并简化计费流程，但会略微增加推理成本。 TensorZero要求您使用自己的API密钥，无需额外费用。

结合TensorZero与OpenRouter

您可以通过在TensorZero内部使用OpenRouter作为模型提供商，实现两全其美的效果。

OpenRouter提供与OpenAI兼容的API接口，因此您可以使用TensorZero兼容OpenAI的端点来调用OpenRouter。了解更多关于OpenAI兼容端点的使用信息。