跳至内容
vLLM
概述
正在初始化搜索
GitHub
首页
用户指南
开发者指南
API参考文档
社区
vLLM
GitHub
首页
User Guide
User Guide
用户指南
vLLM V1
General
General
常见问题
生产指标
可复现性
安全
故障排除
使用数据收集
Inference and Serving
Inference and Serving
离线推理
OpenAI兼容服务器
分布式推理与服务
集成
Deployment
Deployment
使用Docker
使用Kubernetes
使用Nginx
框架
集成
Training
Training
基于人类反馈的强化学习
Transformers 强化学习
Configuration
Configuration
概述
内存优化
引擎参数
环境变量
模型分辨率
优化与调优
服务器参数
Models
Models
支持的模型
生成模型
模型池化
扩展功能
Features
Features
兼容性矩阵
自动前缀缓存
解耦预填充(实验性功能)
LoRA适配器
多模态输入
提示词嵌入输入
推理输出
推测式解码
结构化输出
工具调用
量化
开发者指南
API参考文档
社区
配置选项
¶
本节列出了运行vLLM时最常用的选项。
配置主要分为三个层级,按优先级从高到低依次为:
Request parameters
和
input arguments
引擎参数
环境变量
Back to top