别忘了连接！通过基于图的重新排序改进RAG

发布于2024年5月28日

By Jialin Dong, Bahare Fatemi, Bryan Perozzi, Lin F. Yang, Anton Tsitsulin

arXiv:2405.18414 [ cs.CL, cs.AI, cs.LG, cs.SI ]

摘要

检索增强生成（RAG）通过利用现有文档中的上下文来生成内容，极大地提高了大型语言模型（LLM）响应的性能。当文档与问题上下文明显相关时，这些系统表现良好。但是，当文档包含部分信息或与上下文的联系不那么明显时，情况会如何？我们应该如何推理文档之间的联系？在这项工作中，我们试图回答关于RAG生成的这两个核心问题。我们引入了G-RAG，这是一种基于图神经网络（GNNs）的重新排序器，位于RAG中的检索器和阅读器之间。我们的方法结合了文档之间的联系和语义信息（通过抽象意义表示图），为RAG提供了一个基于上下文的排序器。G-RAG在计算资源较少的情况下，表现优于最先进的方法。此外，我们评估了PaLM 2作为重新排序器的性能，发现其表现显著低于G-RAG。这一结果强调了即使在使用大型语言模型时，重新排序对RAG的重要性。