概述

TensorZero构建了一个优化LLM应用的反馈闭环——将生产数据转化为更智能、更快且成本更低的模型。

它是完全开源的。

1. 集成我们的模型网关
2. 发送指标或反馈
3. 优化提示词、模型和推理策略
4. 观察您的LLM模型随时间不断优化提升

它通过统一以下方面，为LLMs提供了一个数据与学习的飞轮：

• 推理: 统一API支持所有大语言模型，P99延迟低于1毫秒
• 可观测性： 推理与反馈 → 您的数据库
• 优化: 从提示词到微调与强化学习
• 实验功能: 内置A/B测试、路由、回退机制

工作原理

1. TensorZero Gateway是一个基于Rust 🦀编写的高性能模型网关，为所有主流大语言模型提供商提供统一的API接口，支持无缝跨平台集成和故障转移。
2. 它能够以低于1毫秒的P99延迟开销处理基于结构化模式的推理（参见基准测试），并内置了可观测性、实验功能以及推理时优化。
3. 它还收集与这些推理相关的下游指标和反馈，并对多步骤LLM系统提供一流支持。
4. 所有数据都存储在您控制的ClickHouse数据仓库中，支持实时、可扩展且对开发者友好的分析。
5. 随着时间的推移，TensorZero Recipes利用这种结构化数据集来优化您的提示词和模型：可以运行预置配方处理常见工作流（如微调），或使用任意语言和平台完全自由地创建您自己的配方。
6. 最后，网关的实验功能和GitOps编排使您能够自信地进行迭代和部署，无论是单个LLM还是数千个LLM。

我们的目标是帮助工程师构建、管理和优化下一代LLM应用：能够从现实经验中学习的人工智能系统。 了解更多关于我们的愿景与路线图。