概述¶

配置¶

vLLM配置类的API文档。

• vllm.config.ModelConfig
• vllm.config.CacheConfig
• vllm.config.LoadConfig
• vllm.config.ParallelConfig
• vllm.config.SchedulerConfig
• vllm.config.DeviceConfig
• vllm.config.SpeculativeConfig
• vllm.config.LoRAConfig
• vllm.config.MultiModalConfig
• vllm.config.PoolerConfig
• vllm.config.DecodingConfig
• vllm.config.ObservabilityConfig
• vllm.config.KVTransferConfig
• vllm.config.CompilationConfig
• vllm.config.VllmConfig

离线推理¶

大语言模型类。

• vllm.LLM

大语言模型输入。

• vllm.inputs.PromptType
• vllm.inputs.TextPrompt
• vllm.inputs.TokensPrompt

vLLM 引擎¶

用于离线和在线推理的引擎类。

• vllm.LLMEngine
• vllm.AsyncLLMEngine

推理参数¶

vLLM API的推理参数。

• vllm.SamplingParams
• vllm.PoolingParams

多模态¶

vLLM通过vllm.multimodal包为多模态模型提供实验性支持。

多模态输入可以通过vllm.inputs.PromptType中的multi_modal_data字段，与文本和令牌提示一起传递给支持的模型。

想要添加自己的多模态模型？请按照此处列出的说明操作。

• vllm.multimodal.MULTIMODAL_REGISTRY

输入¶

面向用户的输入。

• vllm.multimodal.inputs.MultiModalDataDict

内部数据结构。

• vllm.multimodal.inputs.PlaceholderRange
• vllm.multimodal.inputs.NestedTensors
• vllm.multimodal.inputs.MultiModalFieldElem
• vllm.multimodal.inputs.MultiModalFieldConfig
• vllm.multimodal.inputs.MultiModalKwargsItem
• vllm.multimodal.inputs.MultiModalKwargs
• vllm.multimodal.inputs.MultiModalInputs

数据解析¶

• vllm.multimodal.parse

数据处理¶

• vllm.multimodal.processing

内存性能分析¶

• vllm.multimodal.profiling

注册表¶

• vllm.multimodal.registry

模型开发¶

• vllm.model_executor.models.interfaces_base
• vllm.model_executor.models.interfaces
• vllm.model_executor.models.adapters