跳至内容

模型池化

vLLM还支持池化模型，包括嵌入、重排序和奖励模型。

在vLLM中，池化模型实现了VllmModelForPooling接口。 这些模型使用[Pooler][vllm.model_executor.layers.Pooler]来提取输入的最终隐藏状态， 然后将其返回。

注意

我们目前支持池化模型主要是出于便利性考虑。 如兼容性矩阵所示，大多数vLLM功能不适用于池化模型，因为它们仅作用于生成或解码阶段，因此性能提升可能有限。

对于池化模型，我们支持以下--task选项。所选选项将设置用于提取最终隐藏状态的默认池化器：

任务 池化类型 归一化 Softmax
Embedding (embed) LAST ✅︎ ❌
Classification (classify) LAST ❌ ✅︎
Sentence Pair Scoring (score) * * *

*默认池化器始终由模型定义。

注意

如果模型在vLLM中的实现定义了自己的池化器，则默认池化器将被设置为该池化器，而非本表中指定的池化器。

加载Sentence Transformers模型时，我们会尝试根据其Sentence Transformers配置文件(modules.json)覆盖默认的池化器。

提示

您可以通过--override-pooler-config选项自定义模型的池化方法，该选项优先级高于模型和Sentence Transformers的默认设置。

离线推理

LLM 类提供了多种离线推理的方法。初始化模型时的选项列表请参阅configuration。

LLM.encode

encode 方法可用于 vLLM 中的所有池化模型。 该方法直接返回提取的隐藏状态，这对奖励模型非常有用。

from vllm import LLM

llm = LLM(model="Qwen/Qwen2.5-Math-RM-72B", task="reward")
(output,) = llm.encode("Hello, my name is")

data = output.outputs.data
print(f"Data: {data!r}")

LLM.embed

embed 方法会为每个提示词输出一个嵌入向量。该方法主要针对嵌入模型设计。

from vllm import LLM

llm = LLM(model="intfloat/e5-mistral-7b-instruct", task="embed")
(output,) = llm.embed("Hello, my name is")

embeds = output.outputs.embedding
print(f"Embeddings: {embeds!r} (size={len(embeds)})")

代码示例可在此处找到： examples/offline_inference/basic/embed.py

LLM.classify

classify 方法为每个提示输出一个概率向量。它主要设计用于分类模型。

from vllm import LLM

llm = LLM(model="jason9693/Qwen2.5-1.5B-apeach", task="classify")
(output,) = llm.classify("Hello, my name is")

probs = output.outputs.probs
print(f"Class Probabilities: {probs!r} (size={len(probs)})")

代码示例可在此处找到： examples/offline_inference/basic/classify.py

LLM.score

score 方法输出句子对之间的相似度分数。该方法专为嵌入模型和交叉编码器模型设计。嵌入模型使用余弦相似度，而cross-encoder models在RAG系统中充当候选查询-文档对的重新排序器。

注意

vLLM只能执行RAG的模型推理组件（例如嵌入、重排序）。要更高级地处理RAG，您应该使用集成框架如LangChain。

from vllm import LLM

llm = LLM(model="BAAI/bge-reranker-v2-m3", task="score")
(output,) = llm.score("What is the capital of France?",
                      "The capital of Brazil is Brasilia.")

score = output.outputs.score
print(f"Score: {score}")

代码示例可在此处找到： examples/offline_inference/basic/score.py

在线服务

我们的OpenAI兼容服务器提供了与离线API对应的端点：

套娃嵌入

Matryoshka Embeddings 或 Matryoshka Representation Learning (MRL) 是一种用于训练嵌入模型的技术。它允许用户在性能和成本之间进行权衡。

警告

并非所有嵌入模型都采用套娃表示学习(Matryoshka Representation Learning)进行训练。为避免误用dimensions参数，vLLM会对试图更改不支持套娃嵌入模型输出维度的请求返回错误。

例如，在使用BAAI/bge-m3模型时设置dimensions参数会导致以下错误。

{"object":"error","message":"Model \"BAAI/bge-m3\" does not support matryoshka representation, changing output dimensions will lead to poor results.","type":"BadRequestError","param":null,"code":400}

手动启用Matryoshka嵌入

目前没有官方接口用于指定对Matryoshka Embeddings的支持。在vLLM中，如果config.json里的is_matryoshka设为True，则允许将输出改为任意维度。使用matryoshka_dimensions可以控制允许的输出维度。

对于支持Matryoshka Embeddings但未被vLLM识别的模型，请手动使用hf_overrides={"is_matryoshka": True}、hf_overrides={"matryoshka_dimensions": []}（离线）或--hf_overrides '{"is_matryoshka": true}'、--hf_overrides '{"matryoshka_dimensions": []}'（在线）覆盖配置。

以下是一个启用Matryoshka嵌入功能来部署模型的示例。

vllm serve Snowflake/snowflake-arctic-embed-m-v1.5 --hf_overrides '{"matryoshka_dimensions":[256]}'

离线推理

您可以通过在PoolingParams中使用dimensions参数来更改支持套娃嵌入(Matryoshka Embeddings)的嵌入模型的输出维度。

from vllm import LLM, PoolingParams

model = LLM(model="jinaai/jina-embeddings-v3", 
            task="embed", 
            trust_remote_code=True)
outputs = model.embed(["Follow the white rabbit."], 
                      pooling_params=PoolingParams(dimensions=32))
print(outputs[0].outputs)

代码示例可在此处找到： examples/offline_inference/embed_matryoshka_fy.py

在线推理

使用以下命令启动vllm服务器。

vllm serve jinaai/jina-embeddings-v3 --trust-remote-code

您可以通过使用dimensions参数来更改支持Matryoshka嵌入的嵌入模型的输出维度。

curl http://127.0.0.1:8000/v1/embeddings \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "input": "Follow the white rabbit.",
    "model": "jinaai/jina-embeddings-v3",
    "encoding_format": "float",
    "dimensions": 32
  }'

预期输出：

{"id":"embd-5c21fc9a5c9d4384a1b021daccaf9f64","object":"list","created":1745476417,"model":"jinaai/jina-embeddings-v3","data":[{"index":0,"object":"embedding","embedding":[-0.3828125,-0.1357421875,0.03759765625,0.125,0.21875,0.09521484375,-0.003662109375,0.1591796875,-0.130859375,-0.0869140625,-0.1982421875,0.1689453125,-0.220703125,0.1728515625,-0.2275390625,-0.0712890625,-0.162109375,-0.283203125,-0.055419921875,-0.0693359375,0.031982421875,-0.04052734375,-0.2734375,0.1826171875,-0.091796875,0.220703125,0.37890625,-0.0888671875,-0.12890625,-0.021484375,-0.0091552734375,0.23046875]}],"usage":{"prompt_tokens":8,"total_tokens":8,"completion_tokens":0,"prompt_tokens_details":null}}

一个OpenAI客户端示例可以在这里找到： examples/online_serving/openai_embedding_matryoshka_fy.py