StructRAG: 通过推理时混合信息结构化提升LLMs的知识密集型推理能力

发布于2024年10月11日

By Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li

arXiv:2410.08815 [ cs.CL, cs.AI ] github:Li-Z-Q/StructRAG

摘要

检索增强生成（RAG）是在许多基于知识的任务中有效增强大型语言模型（LLMs）的关键手段。然而，现有的RAG方法在处理知识密集型推理任务时遇到困难，因为这些任务所需的有用信息非常分散。这一特性使得现有的RAG方法难以准确识别关键信息并在这种嘈杂的增强中进行全局推理。在本文中，受到认知理论的启发，即人类在处理知识密集型推理时将原始信息转换为各种结构化知识，我们提出了一个新的框架，StructRAG，它能够识别任务所需的最佳结构类型，将原始文档重构为这种结构化格式，并基于生成的结构推断答案。在各种知识密集型任务中的广泛实验表明，StructRAG实现了最先进的性能，特别是在具有挑战性的场景中表现出色，展示了其作为增强LLMs在复杂现实世界应用中的有效解决方案的潜力。