文本嵌入推理

本笔记本演示如何配置 TextEmbeddingInference 嵌入。

第一步是部署嵌入服务器。详细说明请参阅Text Embeddings Inference官方仓库。如果您在Habana Gaudi/Gaudi 2上部署，请参考tei-gaudi仓库。

部署完成后，以下代码将连接并提交嵌入向量进行推理。

如果您在 Colab 上打开这个笔记本，您可能需要安装 LlamaIndex 🦙。

%pip install llama-index-embeddings-text-embeddings-inference

!pip install llama-index

from llama_index.embeddings.text_embeddings_inference import (
    TextEmbeddingsInference,
)


embed_model = TextEmbeddingsInference(
    model_name="BAAI/bge-large-en-v1.5",  # required for formatting inference text,
    timeout=60,  # timeout in seconds
    embed_batch_size=10,  # batch size for embedding
)

embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]

embeddings = await embed_model.aget_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]