LightRAG: 简单快速的检索增强生成

发布于2024年10月8日

By Zirui Guo, Lianghao Xia, Yanhua Yu, Tu Ao, Chao Huang

arXiv:2410.05779 [ cs.IR, cs.AI ] github:HKUDS/LightRAG

摘要

检索增强生成（RAG）系统通过整合外部知识源来增强大型语言模型（LLMs），从而提供更准确且符合用户需求的上下文相关响应。然而，现有的RAG系统存在显著的限制，包括对平面数据表示的依赖和上下文意识的不足，这可能导致答案的碎片化，无法捕捉复杂的相互依赖关系。为了解决这些挑战，我们提出了LightRAG，它将图结构引入文本索引和检索过程中。这一创新框架采用双层检索系统，增强了从低层次和高层次知识发现中全面检索信息的能力。此外，图结构与向量表示的集成促进了相关实体及其关系的高效检索，显著提高了响应时间，同时保持了上下文的相关性。这一能力通过增量更新算法进一步增强，确保新数据的及时集成，使系统在快速变化的数据环境中保持有效和响应迅速。广泛的实验验证表明，与现有方法相比，检索准确性和效率有显著提升。我们已将LightRAG开源，并可在以下链接获取：https://github.com/HKUDS/LightRAG。