GraphReader: 构建基于图的代理以增强大型语言模型的长上下文能力

发布于2024年6月20日

By Shilong Li, Yancheng He, Hangyu Guo, Xingyuan Bu, Ge Bai, Jie Liu, Jiaheng Liu, Xingwei Qu, Yangguang Li, Wanli Ouyang, Wenbo Su, Bo Zheng

arXiv:2406.14550 [ cs.CL, cs.AI ]

摘要

长上下文能力对于大型语言模型（LLMs）处理复杂和长输入任务至关重要。尽管已经做出了许多努力来优化LLMs的长上下文处理能力，但在稳健处理长输入方面仍然存在挑战。在本文中，我们介绍了GraphReader，这是一个基于图的代理系统，旨在通过将长文本结构化为图并利用代理自主探索该图来处理长文本。在接收到问题时，代理首先进行逐步分析并制定合理的计划。然后，它调用一组预定义的函数来读取节点内容和邻居，从而促进从粗到细的图探索。在整个探索过程中，代理不断记录新的见解并反思当前情况以优化过程，直到它收集到足够的信息来生成答案。在LV-Eval数据集上的实验结果表明，使用4k上下文窗口的GraphReader在16k到256k的上下文长度范围内始终大幅优于GPT-4-128k。此外，我们的方法在四个具有挑战性的单跳和多跳基准测试中表现出卓越的性能。