欢迎来到 vLLM！

Easy, fast, and cheap LLM serving for everyone

Star Watch Fork

vLLM 是一个用于 LLM 推理和服务的快速且易于使用的库。

vLLM 速度快，得益于：

• 最先进的处理吞吐量

• 使用 PagedAttention 高效管理注意力键和值内存

• 持续批处理传入的请求

• 使用 CUDA/HIP 图进行快速模型执行

• 量化：GPTQ, AWQ, INT4, INT8, 和 FP8

• 优化的CUDA内核，包括与FlashAttention和FlashInfer的集成。

• 推测性解码

• 分块预填充

vLLM 具有灵活性和易用性，支持：

• 与流行的 HuggingFace 模型无缝集成

• 通过各种解码算法实现高吞吐量服务，包括 并行采样、束搜索 等

• 张量并行和流水线并行支持分布式推理

• 流式输出

• OpenAI 兼容的 API 服务器

• 支持 NVIDIA GPU、AMD CPU 和 GPU、Intel CPU 和 GPU、PowerPC CPU、TPU，以及 AWS Trainium 和 Inferentia 加速器。

• 前缀缓存支持

• 多LoRa支持

更多信息，请查看以下内容：

• vLLM 宣布博客文章 (PagedAttention 简介)

• vLLM 论文 (SOSP 2023)

• 如何通过连续批处理在LLM推理中实现23倍吞吐量并减少p50延迟 作者：Cade Daniel 等人。

• vLLM 见面会。

文档

入门指南

• 安装
• 使用 ROCm 安装
• 使用 OpenVINO 安装
• 使用CPU安装
• 使用 Neuron 安装
• 使用 TPU 安装
• 使用 XPU 安装
• 快速入门
• 调试技巧
• 示例

服务

• OpenAI 兼容服务器
• 使用 Docker 部署
• 使用 Kubernetes 部署
• 分布式推理和服务
• 生产指标
• 环境变量
• 使用统计收集
• 集成
• 使用 CoreWeave 的 Tensorizer 加载模型
• 兼容性矩阵
• 常见问题

模型

• 支持的模型
• 模型支持政策
• 添加新模型
• 启用多模态输入
• 引擎参数
• 使用 LoRA 适配器
• 使用 VLMs
• vLLM 中的推测性解码
• 性能与调优

量化

• 量化内核支持的硬件
• AutoAWQ
• BitsAndBytes
• GGUF
• INT8 W8A8
• FP8 W8A8
• FP8 E5M2 KV 缓存
• FP8 E4M3 KV 缓存

自动前缀缓存

• 介绍
• 实现
• 通用缓存策略

性能基准测试

• vLLM 的基准测试套件

开发者文档

• 采样参数
  • SamplingParams
• 离线推理
  • LLM 类
  • LLM 输入
• vLLM 引擎
  • LLMEngine
  • AsyncLLMEngine
• vLLM 分页注意力
  • 输入
  • 概念
  • 查询
  • 键
  • QK
  • Softmax
  • 值
  • LV
  • 输出
• 输入处理
  • 指南
  • 模块内容
• 多模态
  • 指南
  • 模块内容
• Dockerfile
• vLLM 分析
• 示例命令及用法：
  • 离线推理：
  • OpenAI 服务器：

社区

• vLLM 聚会
• 赞助商

索引和表格

• 总索引

• 模块索引