图上的解码：通过生成格式良好的链在知识图上进行忠实和合理的推理

发布于2024年10月24日

By Kun Li, Tianhua Zhang, Xixin Wu, Hongyin Luo, James Glass, Helen Meng

摘要

知识图谱（KGs）由于其结构化的知识表示，可以作为问答（QA）的可靠知识来源。现有关于利用KG进行大型语言模型（LLMs）的研究普遍依赖于子图检索器或迭代提示，忽视了LLMs的逐步推理能力和KGs的结构性质之间的潜在协同作用。在本文中，我们提出了DoG（Decoding on Graphs），这是一个促进LLMs和KGs之间深度协同的新框架。我们首先定义了一个概念，即良好形成的链，它由KGs上的一系列相互关联的事实三元组组成，从问题实体开始并引导到答案。我们认为这个概念可以作为KGQA进行忠实和合理推理的原则。为了使LLMs能够生成良好形成的链，我们提出了图感知约束解码，其中从KG的拓扑结构派生的约束调节了LLMs的解码过程。这种约束解码方法确保了生成良好形成的链，同时充分利用了LLMs的逐步推理能力。基于上述内容，DoG作为一种无需训练的方法，能够提供基于KGs的忠实和合理的推理轨迹。在不同背景KGs的各种KGQA任务中的实验表明，DoG实现了卓越且稳健的性能。DoG还展示了与各种开源LLMs的普遍适用性。