G-Retriever: 用于文本图理解和问答的检索增强生成

发布于2024年2月12日

By Xiaoxin He, Yijun Tian, Yifei Sun, Nitesh V. Chawla, Thomas Laurent, Yann LeCun, Xavier Bresson, Bryan Hooi

arXiv:2402.07630 [ cs.LG ] github:XiaoxinHe/G-Retriever

摘要

给定一个带有文本属性的图，我们使用户能够“与他们的图聊天”：也就是说，通过对话界面询问关于图的问题。针对用户的问题，我们的方法提供文本回复并突出显示图的相关部分。虽然现有工作以各种方式集成了大型语言模型（LLMs）和图神经网络（GNNs），但它们主要集中在传统的图任务（如节点、边和图分类）或在小或合成图上回答简单的图查询。相比之下，我们开发了一个灵活的问答框架，针对现实世界的文本图，适用于包括场景图理解、常识推理和知识图推理在内的多种应用。为了实现这一目标，我们首先开发了一个图问答（GraphQA）基准，数据来自不同的任务。然后，我们提出了我们的G-Retriever方法，引入了第一个针对一般文本图的检索增强生成（RAG）方法，可以通过软提示进行微调以增强图的理解。为了防止幻觉并允许文本图大大超过LLM的上下文窗口大小，G-Retriever通过将此任务表述为奖赏收集斯坦纳树优化问题来在图上执行RAG。实证评估表明，我们的方法在多个领域的文本图任务上优于基线，随着图大小的增加而扩展良好，并减轻了幻觉。~\footnote{我们的代码和数据集可在以下网址获取： \url{https://github.com/XiaoxinHe/G-Retriever}}