图链式思维：通过在图上的推理增强大型语言模型

发布于2024年4月10日

By Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Zheng Li, Ruirui Li, Xianfeng Tang, Suhang Wang, Yu Meng, Jiawei Han

arXiv:2404.07103 [ cs.CL, cs.IR, cs.LG ] github:PeterGriffinJin/Graph-CoT

摘要

大型语言模型（LLMs）虽然表现出卓越的性能，但在知识密集型任务上容易出现幻觉。现有的工作建议通过从外部知识库中检索的单个文本单元来增强LLMs，以缓解这一问题。然而，在许多领域中，文本是相互关联的（例如，文献图中的学术论文通过引用和合著关系链接），形成了一个（文本属性的）图。这种图中的知识不仅编码在单个文本/节点中，还编码在它们相关的连接中。为了促进使用图增强LLMs的研究，我们手动构建了一个名为GRBench的图推理基准数据集，包含1,740个问题，这些问题可以通过10个领域图的知识来回答。然后，我们提出了一个简单而有效的框架，称为图思维链（Graph-CoT），通过鼓励LLMs在图上迭代推理来增强LLMs。每个Graph-CoT迭代由三个子步骤组成：LLM推理、LLM-图交互和图执行。我们在GRBench上使用三个LLM骨干进行了系统实验，其中Graph-CoT始终优于基线。代码可在https://github.com/PeterGriffinJin/Graph-CoT获取。