对比：TensorZero 与 LiteLLM
TensorZero和LiteLLM都为大语言模型提供了统一的推理API，但除此之外它们的功能各有侧重。 TensorZero提供了更广泛的功能（包括可观测性、优化、评估和实验），而LiteLLM则提供更传统的服务网关功能（例如访问控制、队列管理）和第三方集成。 不过您可以通过在TensorZero中使用LiteLLM作为模型提供商，来同时获得两者的优势！
相似之处
-
统一推理API。 TensorZero和LiteLLM都提供统一的推理API，只需一次集成即可访问大多数主流模型提供商的LLM，支持结构化输出、批量推理、工具使用、流式处理等功能。
→ TensorZero Gateway 快速入门 -
自动故障转移机制提升可靠性。 TensorZero和LiteLLM均提供自动故障转移功能来增强系统可靠性。
→ TensorZero的重试与故障转移机制 -
开源与自托管。 TensorZero和LiteLLM均为开源且支持自托管方案。 您的数据始终保留在自有基础设施内，无需因依赖外部API而承担服务中断风险。 TensorZero保持完全开源，而LiteLLM的部分功能需企业版授权方可使用。
-
推理缓存。 TensorZero和LiteLLM都支持缓存请求以降低延迟并节省成本。
→ 使用TensorZero进行推理缓存 -
多模态推理。 TensorZero和LiteLLM都支持多模态推理（视觉语言模型）。
→ Multimodal Inference with TensorZero
关键差异
TensorZero
-
高性能。 TensorZero网关从零开始采用Rust🦀语言构建，专为性能优化（在10,000 QPS下P99延迟<1毫秒）。 而LiteLLM基于Python开发，导致25-100倍以上的延迟开销和显著降低的吞吐量。
→ 性能基准测试：TensorZero vs. LiteLLM -
内置可观测性。 TensorZero提供自身的可观测性功能，可将推理和反馈数据收集到您自己的数据库中。 LiteLLM仅提供与Langfuse等第三方可观测性工具的集成。
-
内置评估功能。 TensorZero提供内置的评估功能，包括启发式方法和LLM评判器。 LiteLLM不提供任何评估功能。
→ TensorZero Evaluations Overview -
内置实验功能(A/B测试). TensorZero提供内置实验功能，允许您对提示词、模型和推理策略进行实验测试。 LiteLLM不提供任何实验功能。
→ 使用TensorZero进行实验(A/B测试) -
内置推理时优化。 TensorZero提供内置的推理时优化（例如动态上下文学习），让您可以优化推理性能。 LiteLLM不提供任何推理时优化功能。
→ 使用TensorZero进行推理时优化 -
优化配方。 TensorZero提供优化配方（例如监督微调、RLHF、DSPy），利用您自己的数据来提升LLM的性能。 LiteLLM不提供此类功能。
→ 使用TensorZero的优化配方 -
模式、模板、GitOps。 TensorZero采用模式优先的方法构建LLM应用，使您能够将应用逻辑与LLM实现细节分离。 这种方法让您更轻松地管理复杂的LLM应用，通过GitOps实现提示和配置管理，反事实优化数据等优势。 而LiteLLM仅提供标准非结构化聊天完成接口。
→ Prompt Templates & Schemas with TensorZero
LiteLLM
-
访问控制。 LiteLLM提供多种访问控制功能，包括身份验证、使用虚拟密钥的服务账户和预算管理。 其中许多功能是开源的，但高级功能需要企业许可证。 TensorZero不提供内置的访问控制功能，而是要求您通过外部方式管理（例如使用Nginx）。
-
动态供应商路由。 LiteLLM 允许您根据延迟、成本和速率限制动态将请求路由到不同的模型供应商。 TensorZero 仅提供静态路由功能，即尝试预定义的模型供应商序列。
→ 使用 TensorZero 的重试与回退 -
请求优先级设置。 LiteLLM 允许您为某些请求设置更高优先级，这在遇到速率限制时对处理高优先级任务非常有用。 TensorZero 不提供请求优先级功能，需要您自行通过外部方式（例如使用 Redis）管理请求队列。
-
内置护栏集成支持。 LiteLLM 提供与AWS Bedrock等护栏工具的内置集成支持。 目前TensorZero尚未提供内置护栏功能，需要您自行管理集成。
-
托管服务。 LiteLLM除了开源版本外还提供付费托管服务。 TensorZero是完全开源且支持自托管的。
结合TensorZero与LiteLLM
您可以通过在TensorZero中使用LiteLLM作为模型提供商，实现两全其美的效果。
LiteLLM 提供与 OpenAI 兼容的 API，因此您可以使用 TensorZero 的 OpenAI 兼容端点来调用 LiteLLM。 了解更多关于使用 OpenAI 兼容端点的信息。