服务器参数

vllm serve 命令用于启动兼容OpenAI的服务器。

命令行参数¶

vllm serve 命令用于启动兼容OpenAI的服务器。要查看可用的命令行参数，请运行 vllm serve --help！

配置文件¶

您可以通过YAML配置文件加载CLI参数。参数名称必须使用上文中列出的完整形式。

例如：

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

要使用上述配置文件：

vllm serve --config config.yaml

注意

如果某个参数同时通过命令行和配置文件提供，命令行提供的值将优先生效。优先级顺序为 command line > config file values > defaults。例如 vllm serve SOME_MODEL --config config.yaml 中，SOME_MODEL 的优先级高于配置文件中 model 的值。