基准测试套件¶

vLLM包含两组基准测试：

• 性能基准测试
• Nightly benchmarks

性能基准测试¶

性能基准测试用于开发过程中确认新变更是否在各种工作负载下提升了性能。每当提交带有perf-benchmarks和ready标签的代码时，以及当PR合并到vLLM时，都会触发这些测试。

最新的性能结果发布在公开的vLLM性能仪表板上。

有关性能基准测试及其参数的更多信息，请点击这里查看。

夜间基准测试¶

这些对比展示了vLLM在重大更新时（例如升级到新版本）与其他替代方案（tgi、trt-llm和lmdeploy）的性能差异。它们主要供用户评估何时选择vLLM而非其他选项，并在每次提交时触发，同时带有perf-benchmarks和nightly-benchmarks标签。

最新的夜间基准测试结果会在主要版本发布的博客文章中分享，例如vLLM v0.6.0。

有关夜间基准测试及其参数的更多信息，请参见此处。