时间: 10 分钟级别: 初学者Open In Colab

Mistral

Qdrant 兼容新发布的 Mistral Embed 及其官方 Python SDK,可以像安装其他包一样安装:

设置

安装客户端

pip install mistralai

然后我们设置这个:

from mistralai.client import MistralClient
from qdrant_client import QdrantClient
from qdrant_client.models import PointStruct, VectorParams, Distance

collection_name = "example_collection"

MISTRAL_API_KEY = "your_mistral_api_key"
client = QdrantClient(":memory:")
mistral_client = MistralClient(api_key=MISTRAL_API_KEY)
texts = [
    "Qdrant is the best vector search engine!",
    "Loved by Enterprises and everyone building for low latency, high performance, and scale.",
]

让我们看看如何使用嵌入模型API来嵌入文档以进行检索。

以下示例展示了如何使用models/embedding-001嵌入文档,任务类型为retrieval_document

嵌入文档

result = mistral_client.embeddings(
    model="mistral-embed",
    input=texts,
)

返回的结果有一个数据字段,其键为:embedding。该键的值是一个浮点数列表,表示文档的嵌入。

将此转换为Qdrant点

points = [
    PointStruct(
        id=idx,
        vector=response.embedding,
        payload={"text": text},
    )
    for idx, (response, text) in enumerate(zip(result.data, texts))
]

创建一个集合并插入文档

client.create_collection(collection_name, vectors_config=VectorParams(
        size=1024,
        distance=Distance.COSINE,
    )
)
client.upsert(collection_name, points)

使用Qdrant搜索文档

一旦文档被索引,你可以使用相同的模型和retrieval_query任务类型来搜索最相关的文档:

client.search(
    collection_name=collection_name,
    query_vector=mistral_client.embeddings(
        model="mistral-embed", input=["What is the best to use for vector search scaling?"]
    ).data[0].embedding,
)

使用Mistral嵌入模型与二进制量化

你可以使用Mistral嵌入模型与二进制量化 - 一种技术,允许你将嵌入的大小减少32倍,而不会过多地降低搜索结果的质量。

在过采样为3且限制为100的情况下,启用重新评分后,我们对于精确最近邻的召回率为95%。

过采样112233
重新评分FalseTrueFalseTrueFalseTrue
限制
100.534440.8577780.5344440.9188890.5333330.941111
200.5083330.8377780.5083330.9038890.5083330.927778
500.4922220.8344440.4922220.9035560.4928890.940889
1000.4991110.8454440.4985560.9183330.4976670.944556

就是这样!您现在可以在Qdrant中使用Mistral嵌入模型了!

这个页面有用吗?

感谢您的反馈!🙏

我们很抱歉听到这个消息。😔 你可以在GitHub上编辑这个页面,或者创建一个GitHub问题。