向量搜索索引入门#

小型数据集（少于10万向量）#

这些数据集非常小，GPU是否能够提供任何价值是值得怀疑的。如果维度也相对较小（< 1024），你可以直接在CPU上使用暴力搜索或HNSW并获得出色的性能。如果维度相对较大（1536, 2048, 4096），你应该考虑使用HNSW。如果构建时间性能至关重要，你应该考虑使用CAGRA来构建图并将其转换为HNSW图进行搜索（此功能目前存在于独立的cuVS/RAFT库中，并将很快添加到Milvus中）。IVF平面索引在这里也是一个很好的候选方案，因为它可以通过分区向量空间来减少搜索空间，从而提高搜索性能。

可能不需要GPU的小数据集（少于100万向量）#

对于较小的维度，例如1024或以下，您可以考虑在GPU上使用暴力（即平面）索引，并获得非常好的搜索性能和精确结果。您也可以在CPU上使用基于图的索引，如HNSW，或在GPU上使用CAGRA。如果构建时间至关重要，您甚至可以在GPU上构建CAGRA图，并将其转换为CPU上的HNSW图。

对于更大的维度（1536、2048、4096），在更高质量的搜索设置下，使用HNSW时您将开始看到构建时间性能下降，因此更明显地看出构建CAGRA图可能更有用。

大型数据集（大于100万向量），目标是以牺牲搜索质量为代价快速创建索引#

对于快速摄入且搜索质量稍低（召回率85%及以上）可接受的情况，IVF（倒排文件索引）方法非常有用，因为它们可以非常快速地构建，并且仍然具有可接受的搜索性能。IVF-flat索引将向量划分为一定数量的簇（由用户指定为n_lists），在搜索时，将对每个查询向量使用暴力搜索方法搜索一定数量的最近簇（由n_probes定义）。

IVF-PQ 与 IVF-flat 类似，主要区别在于向量使用有损产品量化压缩进行压缩，因此索引在 GPU 上的占用空间可以小得多。通常建议将 n_lists 设置为 sqrt(n_vectors)，并将 n_probes 设置为 n_lists 的某个百分比（例如 1%、2%、4%、8%、16%）。由于 IVF-PQ 是一种有损压缩，可以通过最初增加邻居数量（通过某个倍数因子）并使用原始向量计算精确距离来执行细化步骤，最终将邻域缩小到大小 k。即使是 2 倍的细化（最初查询 k*2）也可以非常有效地弥补 PQ 压缩导致的召回率损失，但这确实需要保留原始向量（考虑到许多数据库无论如何都会存储原始向量）。

大型数据集（大于100万向量），目标是以牺牲快速索引创建为代价实现高质量搜索#

通过权衡索引创建性能，可以构建一个极其高质量的搜索模型。通常，所有向量搜索索引类型都有与搜索精度直接相关的超参数，因此可以调整这些参数以提高召回率。不幸的是，这也会显著增加索引构建时间并降低搜索吞吐量。这里的技巧是找到能够以最低延迟或最高吞吐量实现最佳召回率的最快构建时间。

至于推荐的索引类型，基于图的算法如HNSW和CAGRA往往能够很好地扩展到更大的数据集，同时在质量方面具有优越的搜索性能。挑战在于，基于图的索引需要学习图，因此，正如本节副标题所暗示的，它们往往比其他选项构建得更慢。在GPU上使用CAGRA算法可以显著减少构建时间，同时与在CPU上搜索相比，具有更高的吞吐量（和更低的延迟）。目前，在GPU上使用CAGRA的缺点是它需要图和原始向量都适合GPU内存。可以通过在GPU上构建CAGRA图并将其转换为HNSW，以在CPU上进行高质量（且速度适中）的搜索，来达到一个折衷方案。