Jina 嵌入
Qdrant 兼容 Jina AI 嵌入。您可以从 Jina 嵌入 获取免费试用密钥以获取嵌入。
Qdrant用户可以通过使用代码QDRANT在Jina AI API上获得10%的折扣。
技术总结
| 模型 | 维度 | 语言 | MRL (套娃) | 上下文 |
|---|---|---|---|---|
| jina-clip-v2 | 1024 | 多语言（100+，重点关注30种） | 是 | 文本/图像 |
| jina-embeddings-v3 | 1024 | 多语言（89种语言） | 是 | 8192 |
| jina-embeddings-v2-base-en | 768 | 英文 | 否 | 8192 |
| jina-embeddings-v2-base-de | 768 | 德语 & 英语 | 否 | 8192 |
| jina-embeddings-v2-base-es | 768 | 西班牙语 & 英语 | 否 | 8192 |
| jina-embeddings-v2-base-zh | 768 | 中文 & 英文 | 否 | 8192 |
Jina 建议在纯文本任务中使用
jina-embeddings-v3，在多模态任务或需要增强视觉检索时使用jina-clip-v2。
在基础模型之上，jina-embeddings-v3 已经针对不同的嵌入用途训练了5个特定任务的适配器。在您的请求中包含 task 以优化您的下游应用：
- retrieval.query: 用于在检索任务中对用户查询或问题进行编码。
- retrieval.passage: 用于在索引时对检索任务中的大文档进行编码。
- classification: 用于为文本分类任务编码文本。
- text-matching: 用于编码文本以进行相似性匹配，例如测量两个句子之间的相似性。
- separation: 用于聚类或重新排序任务。
jina-embeddings-v3 和 jina-clip-v2 支持嵌套表示学习，允许用户控制嵌入维度，同时性能损失最小。
在请求中包含dimensions以选择所需的维度。
默认情况下，dimensions设置为1024，建议使用256到1024之间的数字。
您可以参考下表了解维度与性能的提示：
| 维度 | 32 | 64 | 128 | 256 | 512 | 768 | 1024 |
|---|---|---|---|---|---|---|---|
| 平均检索性能 (nDCG@10) | 52.54 | 58.54 | 61.64 | 62.72 | 63.16 | 63.3 | 63.35 |
jina-embeddings-v3 支持 晚期分块，这是一种利用模型的长上下文能力生成上下文块嵌入的技术。在您的请求中包含 late_chunking=True 以启用上下文块表示。当设置为 true 时，Jina AI API 将连接输入字段中的所有句子，并将它们作为单个字符串提供给模型。在内部，模型嵌入这个长连接字符串，然后执行后期分块，返回与输入列表大小匹配的嵌入列表。
Example
Jina Embeddings v3
下面的代码演示了如何使用jina-embeddings-v3与Qdrant：
import requests
import qdrant_client
from qdrant_client.models import Distance, VectorParams, Batch
# Provide Jina API key and choose one of the available models.
JINA_API_KEY = "jina_xxxxxxxxxxx"
MODEL = "jina-embeddings-v3"
DIMENSIONS = 1024 # Or choose your desired output vector dimensionality.
TASK = 'retrieval.passage' # For indexing, or set to retrieval.query for querying
# Get embeddings from the API
url = "https://api.jina.ai/v1/embeddings"
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {JINA_API_KEY}",
}
data = {
"input": ["Your text string goes here", "You can send multiple texts"],
"model": MODEL,
"dimensions": DIMENSIONS,
"task": TASK,
"late_chunking": True,
}
response = requests.post(url, headers=headers, json=data)
embeddings = [d["embedding"] for d in response.json()["data"]]
# Index the embeddings into Qdrant
client = qdrant_client.QdrantClient(":memory:")
client.create_collection(
collection_name="MyCollection",
vectors_config=VectorParams(size= DIMENSIONS, distance=Distance.DOT),
)
qdrant_client.upsert(
collection_name="MyCollection",
points=Batch(
ids=list(range(len(embeddings))),
vectors=embeddings,
),
)
Jina CLIP v2
下面的代码演示了如何使用jina-clip-v2与Qdrant：
import requests
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct
# Provide your Jina API key and choose the model.
JINA_API_KEY = "jina_xxxxxxxxxxx"
MODEL = "jina-clip-v2"
DIMENSIONS = 1024 # Set the desired output vector dimensionality.
# Define the inputs
text_input = "A blue cat"
image_url = "https://i.pinimg.com/600x315/21/48/7e/21487e8e0970dd366dafaed6ab25d8d8.jpg"
# Get embeddings from the Jina API
url = "https://api.jina.ai/v1/embeddings"
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {JINA_API_KEY}",
}
data = {
"input": [
{"text": text_input},
{"image": image_url},
],
"model": MODEL,
"dimensions": DIMENSIONS,
}
response = requests.post(url, headers=headers, json=data)
response_data = response.json()["data"]
# The model doesn't differentiate between images and text, so we extract output based on the input order.
text_embedding = response_data[0]["embedding"]
image_embedding = response_data[1]["embedding"]
# Initialize Qdrant client
client = QdrantClient(url="http://localhost:6333/")
# Create a collection with named vectors
collection_name = "MyCollection"
client.recreate_collection(
collection_name=collection_name,
vectors_config={
"text_vector": VectorParams(size=DIMENSIONS, distance=Distance.DOT),
"image_vector": VectorParams(size=DIMENSIONS, distance=Distance.DOT),
},
)
client.upsert(
collection_name=collection_name,
points=[
PointStruct(
id=0,
vector={
"text_vector": text_embedding,
"image_vector": image_embedding,
}
)
],
)
# Now let's query the collection
search_query = "A purple cat"
# Get the embedding for the search query from the Jina API
url = "https://api.jina.ai/v1/embeddings"
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {JINA_API_KEY}",
}
data = {
"input": [{"text": search_query}],
"model": MODEL,
"dimensions": DIMENSIONS,
# "task": "retrieval.query" # Uncomment this line for text-to-text retrieval tasks
}
response = requests.post(url, headers=headers, json=data)
query_embedding = response.json()["data"][0]["embedding"]
search_results = client.query_points(
collection_name=collection_name,
query=query_embedding,
using="image_vector",
limit=5
).points
for result in search_results:
print(f"ID: {result.id}, Score: {result.score}")