常见问题解答

TensorZero的代理模式使其与应用程序的技术栈无关，与业务逻辑隔离，更易于与其他工具组合，并且部署和管理都很简便。

许多工程师（正确地）对这类代理带来的边际延迟保持警惕，因此我们从零开始构建了这个网关，将性能放在首位。 在基准测试中，即使在极端负载下，它也能实现亚毫秒级的P99延迟开销。 这使得该网关快速轻量到即使在最严苛的大语言模型应用场景中也难以察觉，特别是当以边车容器形式部署时。

TensorZero网关从设计之初就将性能作为核心考量。它采用Rust🦀语言编写，通过高效管理模型提供商的连接、预编译模式和模板、异步日志记录等多种优化手段，有效解决了常见性能瓶颈问题。

在极端负载下，其P99延迟开销低于1毫秒。 根据基准测试，LiteLLM在100 QPS时的延迟比TensorZero Gateway在10,000 QPS时高出25-100倍以上。

ClickHouse是一款开源、极速且多功能的数据库。它支持多种存储后端、查询模式及数据类型，包括向量搜索（这对TensorZero即将推出的功能至关重要）。从一开始，我们就将TensorZero设计为易于部署，同时能够扩展至海量规模。ClickHouse是实现这一目标的最佳工具。

我们是一支位于纽约的小型技术团队。加入我们 →

创始人

Viraj Mehta（首席技术官）近期在卡内基梅隆大学完成博士学位，研究方向聚焦于大语言模型的强化学习与核聚变技术应用，此前曾在KKR集团和一家金融科技初创公司从事机器学习相关工作；他拥有斯坦福大学数学学士学位和计算机科学硕士学位。

Gabriel Bianconi（首席执行官）曾担任Ondo Finance的首席产品官（2024年估值超200亿美元），此前多年为从早期科技初创公司到大型金融机构等各类企业提供机器学习咨询服务；他拥有斯坦福大学计算机科学学士和硕士学位。

TensorZero采用开源的Apache 2.0许可证，该许可证具有宽松的授权条款。

我们不会。

我们很幸运拥有与我们长期愿景一致的投资方，因此能够专注于产品开发，暂时搁置这个问题。

我们受到Databricks和ClickHouse等公司的启发。 有朝一日，我们将推出一个托管服务，进一步简化LLM工程流程，特别是在企业环境中，但开源将始终是我们业务的核心。