模型解析¶

vLLM通过检查模型仓库中config.json文件的architectures字段，并查找注册到vLLM的对应实现来加载兼容HuggingFace的模型。然而，我们的模型解析可能会因以下原因失败：

• 模型仓库的config.json缺少architectures字段。
• 非官方仓库指的是使用vLLM中未记录的替代名称的模型。
• 相同的架构名称被用于多个模型，导致在加载哪个模型时产生歧义。

要解决这个问题，请通过向hf_overrides选项传递config.json覆盖来明确指定模型架构。例如：

from vllm import LLM

llm = LLM(
    model="cerebras/Cerebras-GPT-1.3B",
    hf_overrides={"architectures": ["GPT2LMHeadModel"]},  # GPT-2
)

我们的支持模型列表展示了vLLM能够识别的模型架构。