来自Microsoft Research的最新研究成果:From Local to Global: A Graph RAG Approach to Query-Focused Summarization(《从局部到全球:基于图的RAG方法实现查询聚焦总结》),作者为Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, Jonathan Larson。
论文内容介绍如下:
摘要
本文提出了一种图检索增强生成(Graph RAG)方法,旨在解决传统RAG系统在处理整个文本语料库的全局问题时的局限性。传统RAG在本地问答中效果显著,但在全局总结任务中则表现不足。提出的Graph RAG方法使用大语言模型(LLM)以两阶段构建基于图的文本索引:首先从源文档中创建实体知识图,然后预生成社区总结。这些社区总结用于生成部分响应,最后汇总成用户查询的最终响应。
引言
在科学发现和情报分析等领域,自动化解析大规模文本语料库的需求日益增加。传统的RAG方法检索与查询相关的本地文本块,但对于全局解析问题则显得不足。本文提出的Graph RAG方法旨在通过利用图的模块化特性进行数据分区,实现全面的全局总结。
方法
Graph RAG流程包含几个关键阶段:
- 源文档到文本块:提取输入文本并将其分块处理。选择块大小以平衡LLM提取过程的召回率和准确率。
- 文本块到元素实例:使用多部分LLM提示识别和提取文本块中的图节点和边。
- 元素实例到元素摘要:将图元素(节点、边、协变量)的实例总结为描述性文本块。
- 元素摘要到图社区:创建一个同质无向加权图,并使用社区检测算法将该图分区为模块化社区。
- 图社区到社区摘要:生成图层次结构中每个社区的摘要,提供关于数据集全局结构和语义的见解。
- 社区摘要到社区答案到全局答案:在给定用户查询的情况下,社区摘要生成部分答案,然后汇总成最终的全局答案。
评估
评估集中在两个数据集(播客转录和新闻文章)上,比较Graph RAG与传统RAG和全局文本总结方法的性能。评估指标包括全面性、多样性、赋能性和直接性。结果表明,Graph RAG在全面性和多样性方面显著优于传统RAG,且中级和低级社区摘要表现最佳。
主要发现
- 提高全面性和多样性:Graph RAG提供的答案比传统RAG更全面和多样。
- 可扩展性:该方法在文本语料库大小和查询复杂度方面表现出良好的扩展性。
- 效率:根级社区摘要的Graph RAG需要更少的上下文令牌,是一种高效的迭代问答解决方案。
讨论与未来工作
作者讨论了评估的局限性,指出需要在不同类型的问题、数据和数据集上进行进一步验证。他们还强调了未来工作的潜力,如增强元素提取提示,探索将嵌入匹配与Map-Reduce总结机制结合的混合RAG方案。
结论
Graph RAG方法成功结合了知识图生成、RAG和查询聚焦总结,支持大规模文本语料库的全局解析。初步评估显示其在全面性和多样性方面相比传统RAG基线有显著改进,并与其他全局方法相比表现良好。对于需要对同一数据集进行多次全局查询的情况,实体图索引中的根级社区摘要提供了一种优于传统RAG且在令牌成本上具有竞争力的数据索引方法。
总结
本文提出了一种新颖的Graph RAG方法用于查询聚焦总结,利用图结构的模块化特性进行数据分区,生成全面、多样的全局查询答案。该方法在多个关键指标上优于传统RAG方法,是各种领域自动化解析复杂查询的有价值工具。
P.S., GraphRAG Accelerator on GitHub: https://github.com/Azure-Samples/graphrag-accelerator/