HippoRAG：受神经生物学启发的大型语言模型长期记忆

发布于2024年5月23日

By Bernal Jiménez Gutiérrez, Yiheng Shu, Yu Gu, Michihiro Yasunaga, Yu Su

arXiv:2405.14831 [ cs.CL, cs.AI ] github:OSU-NLP-Group/HippoRAG

摘要

为了在敌对和不断变化的自然环境中茁壮成长，哺乳动物的大脑进化出存储大量关于世界的知识，并在避免灾难性遗忘的同时不断整合新信息的能力。尽管取得了令人印象深刻的成就，大型语言模型（LLMs），即使通过检索增强生成（RAG），在预训练后仍然难以高效且有效地整合大量新经验。在这项工作中，我们引入了HippoRAG，这是一种新颖的检索框架，灵感来源于人类长期记忆的海马索引理论，以实现对新经验的更深层次和更高效的知识整合。HippoRAG协同协调LLMs、知识图谱和个性化PageRank算法，以模仿人类记忆中新皮层和海马的不同角色。我们在多跳问答任务中将HippoRAG与现有的RAG方法进行比较，并显示我们的方法显著优于最先进的方法，最高可达20%。HippoRAG的单步检索实现了与IRCoT等迭代检索相当或更好的性能，同时成本降低了10-30倍，速度提高了6-13倍，并且将HippoRAG集成到IRCoT中带来了进一步的显著收益。最后，我们展示了我们的方法可以处理现有方法无法应对的新类型场景。代码和数据可在https://github.com/OSU-NLP-Group/HippoRAG获取。