图思考：大型语言模型在知识图谱上的深度与负责任推理

发布于2023年7月15日

By Jiashuo Sun, Chengjin Xu, Lumingyuan Tang, Saizhuo Wang, Chen Lin, Yeyun Gong, Lionel M. Ni, Heung-Yeung Shum, Jian Guo

arXiv:2307.07697 [ cs.CL ] github:IDEA-FinAI/ToG

摘要

尽管大型语言模型（LLMs）在各种任务中取得了显著的成功，但它们常常在处理幻觉问题上遇到困难，尤其是在需要深入和负责任推理的场景中。这些问题可以通过在LLM推理中引入外部知识图谱（KG）来部分解决。在本文中，我们提出了一种新的LLM-KG集成范式“$\hbox{LLM}\otimes\hbox{KG}$”，该范式将LLM视为一个代理，以交互方式探索KG上的相关实体和关系，并基于检索到的知识进行推理。我们进一步通过引入一种称为“图思考”（ToG）的新方法来实现这一范式，其中LLM代理在KG上迭代执行束搜索，发现最有希望的推理路径，并返回最可能的推理结果。我们通过一系列精心设计的实验来检验和说明ToG的以下优势：1）与LLMs相比，ToG具有更好的深度推理能力；2）ToG通过利用LLMs推理和专家反馈，具有知识可追溯性和知识可修正性；3）ToG为不同的LLMs、KGs和提示策略提供了一个灵活的即插即用框架，无需任何额外的训练成本；4）在某些场景下，ToG与小型LLM模型的性能可以超过大型LLM如GPT-4，这降低了LLM部署和应用的成本。作为一种无需训练、计算成本较低且具有更好通用性的方法，ToG在9个数据集中的6个上实现了总体SOTA，而大多数之前的SOTA依赖于额外的训练。