BentoML 文档¶

BentoML 是一个统一推理平台，用于在任何云上部署和扩展任何模型的 AI 系统。

精选示例¶

部署一个开源的LLM端点

使用与OpenAI兼容的API和vLLM推理后端服务大型语言模型。

LLM推理：vLLM

使用RAG进行文档问答

使用开源嵌入和大型语言模型部署私有RAG系统。

RAG: 文档摄取与搜索

服务扩散模型

部署图像生成API，具有灵活的定制和优化的批处理功能。

Stable Diffusion XL Turbo

部署 ComfyUI 管道

使用ComfyUI管道自动化可重复的工作流程，实现排队执行。

ComfyUI

Build a phone calling agent

使用开源模型和Twilio构建具有端到端流媒体功能的电话呼叫代理。

https://github.com/bentoml/BentoTwilioConversationRelay

LLM 安全：ShieldGemma

使用Google的安全内容审核模型保护您的LLM API端点免受有害输入的影响。

LLM 安全：ShieldGemma

更多示例 👉

探索开发者们正在使用BentoML构建的内容。

概述

什么是BentoML¶

BentoML 是一个统一推理平台，用于以生产级可靠性部署和扩展 AI 模型，而无需管理基础设施的复杂性。它使您的开发人员能够使用自定义模型以 10 倍的速度构建 AI 系统，在云中高效扩展，并完全控制安全性和合规性。

开始使用 BentoML：

使用 pip 安装 BentoML 开源模型服务框架，该框架作为 Python 包在 PyPI 上分发。
```
# 推荐使用 Python 3.9+
pip install bentoml
```
Sign up for BentoCloud 获取免费试用。

操作指南¶

创建在线API服务

使用 BentoML 构建您的自定义 AI API。

创建在线API服务

创建部署

通过一个命令将您的AI应用程序部署到生产环境。

配置快速自动扩展以实现最佳性能。

在GPU上使用BentoML运行模型推理。

使用您最喜欢的IDE开发强大的云GPU。

使用BentoML加载并提供您的自定义模型。

加载和管理模型

保持关注¶

BentoML团队使用以下渠道发布重要更新，如主要产品发布，并分享教程、案例研究以及社区新闻。

要接收发布通知，请在GitHub上关注并星标BentoML项目。有关发布说明和详细的变更日志，请参阅发布页面。