Redis 作为向量数据库快速入门指南

了解如何使用Redis作为向量数据库

本快速入门指南帮助您：

  1. 了解什么是向量数据库
  2. 创建一个Redis向量数据库
  3. 创建向量嵌入并存储向量
  4. 查询数据并执行向量搜索

了解向量数据库

数据通常是非结构化的，这意味着它没有通过明确定义的模式来描述。非结构化数据的例子包括文本段落、图像、视频或音频。存储和搜索非结构化数据的一种方法是使用向量嵌入。

什么是向量？ 在机器学习和人工智能中，向量是表示数据的数字序列。它们是模型的输入和输出，以数字形式封装了底层信息。向量将非结构化数据（如文本、图像、视频和音频）转换为机器学习模型可以处理的格式。

  • 为什么它们重要？ 向量捕捉数据中固有的复杂模式和语义含义，使其成为各种应用中的强大工具。它们使机器学习模型能够更有效地理解和操作非结构化数据。
  • 增强传统搜索。 传统的关键词或词汇搜索依赖于单词或短语的精确匹配，这可能会有限制。相比之下，向量搜索或语义搜索利用了向量嵌入中捕获的丰富信息。通过将数据映射到向量空间中，相似的项目根据它们的意义被放置在彼此附近。这种方法允许更准确和有意义的搜索结果，因为它考虑了查询的上下文和语义内容，而不仅仅是使用的确切单词。

创建一个 Redis 向量数据库

你可以使用Redis Stack作为向量数据库。它允许你：

  • 在哈希或JSON文档中存储向量和相关的元数据
  • 创建和配置用于搜索的二级索引
  • 执行向量搜索
  • 更新向量和元数据
  • 删除和清理

入门的最简单方法是使用Redis Cloud：

  1. 创建一个免费账户。

  2. 按照说明创建一个免费数据库。

这个免费的Redis Cloud数据库开箱即用，包含所有Redis Stack功能。

你也可以使用安装指南在你的本地机器上安装Redis Stack。

您需要为您的Redis服务器配置以下功能：JSON以及搜索和查询。

安装所需的Python包

创建一个 Python 虚拟环境并使用 pip 安装以下依赖项：

  • redis: 您可以在此文档站点的clients部分找到有关redis-py客户端库的更多详细信息。
  • pandas: Pandas 是一个数据分析库。
  • sentence-transformers: 你将使用SentenceTransformers框架来生成全文的嵌入。
  • tabulate: pandas 使用 tabulate 来渲染 Markdown。

你还需要在Python代码中添加以下导入：

连接

连接到Redis。默认情况下，Redis返回二进制响应。要解码它们，您需要将decode_responses参数设置为True：


提示：
您可以从Redis Cloud数据库配置页面复制并粘贴连接详细信息，而不是使用本地的Redis Stack服务器。这里是一个托管在AWS区域us-east-1并监听端口16379的云数据库的连接字符串示例：redis-16379.c283.us-east-1-4.ec2.cloud.redislabs.com:16379。连接字符串的格式为host:port。您还必须复制并粘贴您的云数据库的用户名和密码。连接默认用户的代码行将更改为client = redis.Redis(host="redis-16379.c283.us-east-1-4.ec2.cloud.redislabs.com", port=16379, password="your_password_here", decode_responses=True)。

准备演示数据集

本快速入门指南也使用了bikes数据集。以下是其中的一个示例文档：

{
  "model": "Jigger",
  "brand": "Velorim",
  "price": 270,
  "type": "Kids bikes",
  "specs": {
    "material": "aluminium",
    "weight": "10"
  },
  "description": "Small and powerful, the Jigger is the best ride for the smallest of tikes! ..."
}

description 字段包含自行车的自由格式文本描述，并将用于创建向量嵌入。

1. 获取演示数据

你需要首先获取演示数据集作为JSON数组：

检查其中一个自行车JSON文档的结构：

2. 将演示数据存储在Redis中

现在遍历bikes数组，使用JSON.SET命令将数据存储为JSON文档到Redis中。以下代码使用pipeline来最小化网络往返时间：

加载后，您可以使用JSONPath表达式从Redis中的一个JSON文档中检索特定属性：

3. 选择一个文本嵌入模型

HuggingFace 拥有大量文本嵌入模型，这些模型可以通过 SentenceTransformers 框架在本地提供服务。这里我们使用在搜索引擎、聊天机器人和其他AI应用中广泛使用的 MS MARCO 模型。

from sentence_transformers import SentenceTransformer

embedder = SentenceTransformer('msmarco-distilbert-base-v4')

4. 生成文本嵌入

遍历所有以bikes:为前缀的Redis键：

使用键作为输入到JSON.MGET命令，连同$.description字段，以收集描述到一个列表中。然后，将描述列表传递给.encode()方法：

使用JSON.SET命令将向量化的描述插入到Redis中的自行车文档中。以下命令在每个文档的JSONPath $.description_embeddings下插入一个新字段。再次强调，使用管道来避免不必要的网络往返：

使用JSON.GET命令检查其中一个更新的自行车文档：

注意：
当在JSON文档中存储向量嵌入时，嵌入以JSON数组的形式存储。在上面的示例中，为了可读性，数组被大大缩短了。

创建索引

1. 创建一个带有向量字段的索引

您必须创建一个索引来查询文档元数据或执行向量搜索。使用FT.CREATE命令：

以下是VECTOR字段定义的详细说明：

  • $.description_embeddings AS vector: 向量字段的JSON路径及其字段别名 vector。
  • FLAT: 指定索引方法，可以是平面索引或分层可导航小世界图（HNSW）。
  • TYPE FLOAT32: 设置向量组件的浮点精度，在这种情况下为32位浮点数。
  • DIM 768: 嵌入的长度或维度，由所选的嵌入模型决定。
  • DISTANCE_METRIC COSINE: 选择的距离函数: cosine distance.

您可以在向量参考文档中找到所有这些选项的更多详细信息。

2. 检查索引的状态

一旦你执行了FT.CREATE命令，索引过程就会在后台运行。在短时间内，所有的JSON文档都应该被索引并准备好被查询。为了验证这一点，你可以使用FT.INFO命令，它提供了关于索引的详细信息和统计。特别值得关注的是成功索引的文档数量和失败的数量：

执行向量搜索

本快速入门指南主要关注向量搜索。然而，您可以在文档数据库快速入门指南中了解更多关于如何基于文档元数据进行查询的信息。

1. 嵌入您的查询

以下代码片段显示了你将在Redis中执行向量搜索的文本查询列表：

首先，使用相同的SentenceTransformers模型将每个输入查询编码为向量嵌入：


提示：
使用相同的嵌入模型来嵌入您的查询和文档是至关重要的。使用不同的模型将导致语义搜索结果不佳或错误。

KNN算法根据选择的距离函数计算查询向量与Redis中每个向量之间的距离。然后返回与查询向量距离最小的前K个项目。这些是语义上最相似的项目。

现在构建一个查询来做到这一点：

query = (
    Query('(*)=>[KNN 3 @vector $query_vector AS vector_score]')
     .sort_by('vector_score')
     .return_fields('vector_score', 'id', 'brand', 'model', 'description')
     .dialect(2)
)

让我们分解上面的查询模板：

  • 过滤表达式 (*) 表示 all。换句话说，没有应用任何过滤。你可以用一个根据额外元数据进行过滤的表达式来替换它。
  • 查询的KNN部分搜索前3个最近的邻居。
  • 查询向量必须作为参数 query_vector 传入。
  • 到查询向量的距离以vector_score返回。
  • 结果按此vector_score排序。
  • 最后，它为每个结果返回字段 vector_score, id, brand, model, 和 description。
注意：
要使用FT.SEARCH命令进行向量查询，您必须指定DIALECT 2或更高版本。

您必须将向量化查询作为字节数组传递，参数名称为query_vector。以下代码从查询向量创建了一个Python NumPy数组，并将其转换为紧凑的字节级表示，可以作为参数传递给查询：

client.ft('idx:bikes_vss').search(
    query,
    {
      'query_vector': np.array(encoded_query, dtype=np.float32).tobytes()
    }
).docs

有了查询模板后，你可以在循环中执行所有查询。请注意，脚本为每个结果计算vector_score为1 - doc.vector_score。因为使用余弦距离作为度量标准，距离最小的项目更接近，因此与查询更相似。

然后，遍历匹配的文档并创建一个结果列表，该列表可以转换为Pandas表格以可视化结果：

查询结果显示每个查询的前三个匹配项（我们的K参数）以及每个查询的自行车ID、品牌和型号。

例如，对于查询“最佳儿童山地自行车”，最高相似度分数（0.54），因此最接近的匹配是'Nord'品牌的'Chook air 5'自行车型号，描述为：

Chook Air 5 为六岁及以上的儿童提供了一款耐用且超轻的山地自行车，适合他们在小径上的初次体验以及轻松穿越森林和田野。较低的上管使得在任何情况下上下车都变得容易，为您的孩子在小径上提供了更大的安全性。Chook Air 5 是山地骑行的完美入门选择。

从描述来看，这辆自行车非常适合年幼的孩子，嵌入准确地捕捉了描述的语义。

查询 分数 编号 品牌 型号 描述
最佳儿童山地自行车 0.54 bikes:003 Nord Chook air 5 Chook Air 5 为六岁及以上的儿童提供了一款耐用且超轻的山地自行车，适合他们在小径上的首次体验以及在森林和田野中的轻松巡航。较低的上管使得在任何情况下都能轻松上下车，为您的孩子在小径上提供更大的安全性。Chook Air 5 是山地自行车的完美入门选择。
0.51 bikes:010 nHill Summit 这款来自nHill的预算山地自行车在自行车道和小径上表现良好。100mm行程的前叉可以吸收崎岖地形。宽大的Kenda Booster轮胎在转弯和湿滑小径上提供抓地力。Shimano Tourney传动系统提供了足够的齿轮，以便找到舒适的爬坡节奏，而Tektro液压盘式刹车则平稳制动。无论您是想拥有一辆可以上班使用，也可以在周末进行小径骑行的经济实惠的自行车，还是仅仅追求稳定性能，...
0.46 bikes:001 Velorim Jigger 小巧而强大，Jigger 是最适合最小孩子的骑行工具！这是市场上唯一一款没有 coaster 刹车的最小儿童踏板车，Jigger 是那些渴望出发的坚韧小骑手的选择。我们说罕见是因为这款火热的小车不适合紧张的新手骑手，但对于真正的速度爱好者来说，它确实能带来兴奋。Jigger 是一款 12 英寸的轻便儿童自行车，它将满足您孩子对速度的需求。这是一款单速...

下一步

  1. 您可以通过阅读向量参考文档了解更多关于查询选项的信息，例如过滤器和向量范围查询。
  2. 完整的Redis 查询引擎文档可能对你有用。
  3. 如果你想更互动地跟随代码示例，那么你可以使用Jupyter notebook，它启发了这个快速入门指南。
  4. 如果你想查看更多关于Redis向量数据库的高级示例，请访问GitHub上的Redis AI资源页面。
RATE THIS PAGE
Back to top ↑