愿景与路线图

近期路线图

我们的目标是帮助工程师构建、管理和优化下一代LLM应用：这些系统能够从现实经验中学习。 在秘密研发阶段，我们在商业试点和内部基准测试中取得了非常积极的技术成果。 目前我们正致力于在未来几个月内将工作成果开源。

近期规划路线图包括：

优化。 TensorZero提供微调方案、推理时优化以及用于提示优化的DSPy集成。 我们正在努力开源更先进的方案（例如RLHF）和推理时优化（例如推理时推理）。

评估与实验。 TensorZero Gateway支持基础的A/B测试。 我们正在努力开源更高级的评估工具（例如奖励建模、重要性采样）和实验工具（例如多臂老虎机的异步优化）。

可观测性。 TensorZero网关已经将全面的可观测性数据存储在你控制的ClickHouse数据库中。 我们正在致力于开源一套用户友好的工具（例如仪表盘）来支持你的LLM工程工作流。

示例. 我们编写了一份快速入门指南、一份关于TensorZero网关的全面教程，以及许多指南和示例。 我们正在努力添加更完整的示例，特别是针对常见工作流程（如RAG）和挑战（如评估）的示例。

集成支持。 我们已经将TensorZero与众多主流LLM服务商进行了深度整合（详见集成方案）。 我们正在持续推进与更多服务商的对接，同时也在整合第三方LLMOps工具（例如模型微调、可观测性等功能）。

愿景

随着大语言模型（LLMs）变得越来越智能，主要的工程挑战之一将是让它们能够从现实世界的经验中学习。我们喜欢用这样的比喻："如果你把一个聪明人扔到一个全新的工作中，他们一开始可能不会很擅长，但会通过指导或试错快速掌握诀窍。"目前，同样的过程对大语言模型来说极具挑战性，尤其是当人们试图解决日益复杂的用例（例如智能体）时。

终有一天，你将无法通过评估单个模型或盯着推理结果来判断业务成效——就像如今人们处理LLM工程的方式那样。 你必须将这些端到端系统视为整体进行推理论证，同时根据系统长期产生的数据进行迭代优化。

TensorZero 是我们的解决方案。 我们在模型和其他工具之上构建了一个中间层，自动化了大量底层大语言模型工程工作。 通过基于真实世界表现的训练，TensorZero 最终将使人工智能系统能够从经验中学习。 这是我们的长期愿景。