统一大型语言模型和知识图谱：路线图

发布于2023年6月14日

By Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, Xindong Wu

摘要

大型语言模型（LLMs），如ChatGPT和GPT4，由于其涌现能力和泛化能力，正在自然语言处理和人工智能领域掀起新的浪潮。然而，LLMs是黑箱模型，往往难以捕捉和访问事实知识。相比之下，知识图谱（KGs），例如维基百科和Huapu，是结构化知识模型，明确存储了丰富的事实知识。KGs可以通过为推理和可解释性提供外部知识来增强LLMs。同时，KGs的构建和演化具有挑战性，这对现有方法在生成新事实和表示未见知识方面提出了挑战。因此，将LLMs和KGs统一起来并同时利用它们的优势是互补的。在本文中，我们提出了一个前瞻性的路线图，用于统一LLMs和KGs。我们的路线图由三个通用框架组成，即1）KG增强的LLMs，在LLMs的预训练和推理阶段或为了增强对LLMs所学知识的理解而融入KGs；2）LLM增强的KGs，利用LLMs进行不同的KG任务，如嵌入、补全、构建、图到文本生成和问答；以及3）协同的LLMs + KGs，其中LLMs和KGs扮演同等角色，并以互利的方式工作，以增强由数据和知识驱动的双向推理的LLMs和KGs。我们在路线图中回顾和总结了这三个框架内的现有努力，并指出了它们的未来研究方向。