GraphRAG社区报告:将知识图谱转化为答案。
GraphRAG如何从文本中构建图结构,运用分层Leiden算法识别社区,生成社区报告,并将其用于全局及局部搜索。
来源: Building the Graph with GraphRAG: Community Reports and Summaries
一大堆文档很少会因为信息不足而无法使用,问题在于其内容之间的关联性较差。某段文字提到一个人名,另一段描述某个事件,还有一段解释其结果,但这些内容之间没有任何联系。
传统的RAG技术能够较好地检索出相关段落,但在处理宽泛或抽象的问题时往往力不从心,尤其是那些涉及整个数据集的问题。GraphRAG则通过从文本中构建知识图谱、对相关内容进行聚类,并撰写有助于对整个数据集进行推理的摘要,来弥补这一缺陷。
知识图谱是由实体及其之间的关联构成的网络。从形式上来看,它由实体、关系以及三元组组成,每个三元组都通过特定类型的连接将两个事物关联起来。这类图谱已能用于搜索、事实核查和问答任务,因此非常适合那些需要超越孤立文本片段的系统。
从原始文本到图谱
构建图谱的第一步是将源材料拆分成更小的单元。在GraphRAG的标准流程中,文档会被转换为文本单元,系统会从每个单元中提取实体、关系,有时还会提取相关陈述。随后系统会合并重复的实体和关联,并将其描述简化为更基础的图谱对象。最终得到的是一个结构化的索引,其中包含表格和嵌入向量,能够保留重要的关联关系,而非仅仅是一份扁平的事实列表。
这听起来很简单,但一个优质的图表并不仅仅是列出名称而已。研究表明,一个完善的处理流程还需要能够处理代词和别名,识别关系短语,并将这些短语与正确的实体和动作关联起来。在实践中,这就需要实现共指消解、实体链接、关系链接以及三元组提取。如果其中某个环节存在缺陷,那么在任何人进行总结之前,该图表就可能已经出现不准确之处。
从实体到社群
在实体图准备就绪后,接下来的任务就是确定其结构。GraphRAG通过分层社区检测技术,将相关节点在多个层级上聚类成组。此时该图不再仅仅是查找表,而变成了主题、子主题及局部话题的映射关系。微软的文档将此描述为用于理解整个数据集的自下而上式总结方法,而微软研究院则表示这种层级结构可以从宏观主题一直细化到非常具体的话题。
聚类算法至关重要。GraphRAG采用分层Leiden社区检测算法,该算法在网络科学研究中已有应用。Leiden算法旨在确保形成连接紧密的社区,《科学报告》上的一篇论文指出,它往往能比Louvain算法产生更好的划分结果且运行速度更快。更紧密的社区意味着更好的总结效果,因为模型能够整合真正相关的文本内容。
社区报告包含哪些内容
正是社区报告让图表变得有用。一旦形成社区,GraphRAG就会为每个社区生成一份报告。顶层报告可描述整个数据集,而较低层级的报告则聚焦于更小的实体、关系和主题群体。微软表示,这样能在用户提出任何问题之前就展现数据的结构。
一份优秀的报告绝非短短一段文字。在GraphRAG的标准输出中,它可包含标题、摘要、完整内容、相关性评分、该评分的解释以及大约五到十个关键发现。文档指出,这些报告既供人阅读,也供搜索系统使用,其中的简短摘要可作为后续操作的快速参考。
这样每个社区就能承担两项任务:一方面帮助人们理解图表中各部分的含义,另一方面为系统提供可重复使用的上下文以应对新问题。该报告既可作为对人类的解释,也可作为机器的记忆层,正因如此,社区报告并非可有可无的附加功能,而是GraphRAG能够将原始数据转化为有用答案的核心原因。
摘要如何推动全局与局部搜索
当问题出现时,社区生成的摘要就能发挥作用。GraphRAG论文指出,传统的RAG技术在处理全局性问题时表现不佳,这类问题涉及整个数据集而非单一事实。GraphRAG会提前编写社区摘要,并用这些摘要来应对这类广泛的查询。论文的摘要显示,在约100万个标记的数据集上,使用此类方法能够得到更为全面且多样的答案。
在官方的全球搜索流程中,报告以批处理方式通过映射还原模式进行处理。每批处理会生成带有重要性得分的中间结果,得分最高的那些结果会被整合为最终答案。文档中指出这是一种权衡:层级较低的搜索方式能提供更详细的答案,但由于需要读取更多报告,因此会耗费更多时间和计算资源。
对于范围更窄的查询,GraphRAG会切换到本地搜索模式。该模式下,结构化图谱与相关的源文本会被结合在一起,从而使模型能够在更好的上下文支持下回答关于特定实体的详细问题。这两种模式的并存恰恰说明了社区总结的重要性——它们让系统能够在不每次都重新构建全部上下文的情况下,要么关注宏观主题,要么深入细节。
提升社区报告质量的经验
一份出色的图表源于细致的实体提取,而不仅仅是优秀的聚类算法。当实体被拆分、别名无法匹配或关系模糊不清时,由于相关群体本身定义就不明确,生成的社区分析报告往往也会显得泛泛而谈。提取、合并、聚类和报告这些环节最好作为一个连贯的整体流程来执行,而非四项相互独立的任务,唯有如此才能产生最精准的总结。
操作次数也很重要。GraphRAG项目组警告称,建立索引可能会耗费大量资源,建议从较小的规模开始搭建。据说1.0版本具有更简单的配置、更为精简的数据模型,以及比以往更小的存储需求。相关指南还建议对提示词进行优化,因为默认设置并不适用于所有数据集。实际上,优质的报告需要通过反复迭代才能得出:先调整信息提取的提示词,检查聚类质量,再修改报告生成的相关提示词,之后才逐步扩大规模。
另一个启示来自GraphRAG的演变过程。微软研究院采用的动态社区筛选机制增加了一道过滤步骤:在执行全局搜索之前,系统会先筛选社区报告,仅保留与问题相关的部分。在基于AP News数据的测试中,该方法在某一层级上将平均token成本降低了77%,同时输出质量仍与静态方法相近。深入搜索虽能获取更多细节,但成本也会随之上升。结论是:并非所有报告都值得同等处理,因此挑选合适的报告与做好总结同样重要。
总体意义
构建图谱的本质在于创造上下文。将分散的文本相互关联正是图谱的价值所在。社区检测则将这些关联的意义分层次呈现。报告与摘要则将这些层次转化为对人类和语言模型都有用的内容。如果处理得当,这些摘要并非装饰性文字,而是理解庞大且混乱的数据集的核心工具。
快速解答
在GraphRAG中,社区报告是什么? 它是由大型语言模型针对图谱中的某个社区所撰写的文本文档。通常包含标题、摘要、完整内容、带有依据的排名以及几项关键发现。人们会阅读它,而搜索步骤之后也会重新使用它。
为何要使用社区摘要而非单纯的文本片段?有些问题具有全局性而非局部性。论文与文档都指出,对于涉及整个语料库的主题或模式这类广泛性问题,单纯的向量检索难以有效处理,而预先生成的摘要则能提供涵盖整个数据集的视角,进而整合出更优质的答案。
为何莱顿算法如此重要?摘要的质量不可能超过其所描述的聚类结果。莱顿算法能够生成彼此关联紧密的社区,在实际应用中无论是在运行时间还是分区质量方面都表现优异,因此它成为构建分层报告体系的理想基础。