分块:导致错误答案的被忽视的RAG决策因素
为何拆分文档会严重降低检索质量,结构感知与父子分块如何有所帮助,以及如何衡量分块效果。
来源: Chunking: The RAG Decision Everyone Skips, and Shouldn’t
当RAG聊天机器人给出错误答案时,人们的通常反应是责怪模型。于是他们换用更大的大语言模型、重新设计提示词或尝试其他嵌入模型。然而这些做法往往无法触及真正的根源,而问题其实出在更早的流程阶段——即文档被分割成片段的那一刻。这个步骤被称为分块。它对信息检索质量有着重大影响,但由于位于人们通常会调整的环节之前,很容易被忽视。
一个具体案例可以清楚地说明这一点。有顾客询问客服机器人,损坏的商品是否可以退款。机器人表示30天内可办理退款。这听起来没问题,但政策中也规定该规则不适用于已标记为最终销售的商品。机器人根本没看到那条条款,因此模型并无过错,只是相关句子被分到了与被检索到的内容不同的片段中而已。
接下来的内容将介绍什么是分块处理、为何简单的实现方式会以这种方式失败,以及生产系统是如何解决这个问题的。这些内容基于供应商文档和框架文档,并尽可能避免凭猜测行事。
什么是分块处理
要检索您的文档,AI系统首先需要将它们拆分成更小的单元。有两个实际因素促使这样做。
首先是检索精度问题。如果将整份文档作为一个整体进行嵌入和存储,那么搜索“退款政策”时就会返回整个文件,其中大部分内容其实并不相关。人们需要的是能够回答问题的具体段落。微软的Azure AI Search文档明确指出了这一点:即便文档大小在模型的输入限制范围内,将其拆分成更小的部分通常也能获得更好的检索结果,因为一个向量难以很好地表示多个不同的子主题。
第二点是嵌入模型存在的硬性输入限制。分块处理可以避免超出该限制的内容被悄悄截断。
整个流程如下:文档会被分割成多个块,每个块都会被转换为一个向量或嵌入值,这些向量会被存储在向量数据库中。用户的查询也会被转换为嵌入值,系统会根据所使用的检索方法——纯粹的向量相似度、结合向量和关键词的混合搜索,或是后续的重排步骤——找出排名最高的那些块。
正是这最后一步,分块方式可能带来问题。系统只能检索到已给定的内容。如果某个答案的依据分散在两个块中,而系统只检索到了其中一个块,模型就只能基于不完整的上下文来作答,且无法知晓缺失的部分存在于其他地方。
为何简单方法会失效
最简单的方法是固定大小分块。无论文本包含多少标记或字符,都按每N个进行分割。这种方法之所以流行,是因为它简单、可预测,且几乎不需要额外的处理。
就连将固定大小分块视为良好起点的Azure也明确指出,合适的块大小和重叠比例取决于内容的结构以及用户发送的查询类型,高度结构化的数据可能需要与连续的散文采用不同的处理方式。关键在于,并非块越小就越好。过细的分割可能会将本应一起阅读的信息分开,退款政策的问题正是如此产生的。
再演示那个例子。假设关于30天期限的句子位于一个数据块中,而最终销售异常情况则位于另一个数据块中。涉及退款的查询会因为“refund”这个词而与第一个数据块高度匹配。包含异常情况的数据块则永远不会被调取。模型能够根据所接收到的信息进行正确推理,但它接收到的信息并不完整。
这就是分块方法的根本缺陷:无论嵌入模型或多语言大语言模型有多强大,检索质量都受限于数据块的质量。团队们花费数周时间调整嵌入参数和重新排序,而真正的瓶颈其实早在之前,就在于信息来源的分割方式。
实际生产系统是如何处理的
有两种模式反复出现。
考虑结构的分块
这种方法不再将文档视为无结构的字符串。它不会每隔N个标记就进行分割,而是首先根据标题、章节和段落等自然分隔符进行拆分,只有当某个部分过长时才会施加长度限制。Azure AI Search通过其“文档布局”功能实现这一功能,该功能利用文档智能模型识别结构,并生成连贯的章节以便后续分块。
在引入结构感知功能之前,微软目前的建议是起始长度约为512个标记,各部分之间保留约25%的重叠度,同时强调最佳设置需根据内容和使用场景而定。
父子级分块
这种方式也被称为分层检索或从小到大检索,它从另一个角度来解决同一个问题。系统不会直接获取一个完整的块并期望其中包含所有相关内容,而是先找到一个小型且精确的子块进行精准匹配,然后再扩展结果范围,将更大的父板块纳入其中以获取完整上下文。
有多款流行工具实现了这一技术:
- LlamaIndex 使用
HierarchicalNodeParser构建从粗到细的节点层次结构。只有那些较小的叶节点块会被索引用于向量搜索,而它们较大的父节点则存储在单独的文档库中。一旦有足够多的子节点被一起检索出来,AutoMergingRetriever便会将对应的父节点重新加入结果中。
ParentDocumentRetriever采用类似思路。它会嵌入小型子片段以便进行精准搜索,在接收到查询时,会查找每个匹配项对应的父文档并返回完整的文本,从而在精准检索与保持足够上下文长度之间取得平衡。这种分割方式之所以有效,是因为小块和大数据块各有优势。小块能够生成清晰、精准的嵌入向量,从而支持高精度的检索;大块则为模型提供足够的上下文文本,避免其仅依据零散片段作答。通过父子块划分,可以让不同大小的块各尽其长,而非强制某一种大小同时承担检索和生成的任务。
不过这种方法并非适用于所有情况。对于那些本身就已经是独立单元的语料,比如常见问题解答条目或产品列表,或是严格遵循表格结构与模式的数据,采用父块扩展的方式往往只会增加开销,却无法带来相应的收益。
没有绝对最佳的设置
并没有一种固定的块大小或策略能在所有情况下都表现最佳。究竟哪种方式合适,取决于文档的编排结构、用户实际提出的问题、检索与重排系统的设计,以及你对整个系统的评估标准。
语义分块是根据文本含义而非结构或长度进行分组的方法,通常被认为是一种更先进的解决方案。AWS将其列为与固定大小分块和层次结构分块并列的可行策略,但它需要额外的参数并带来一定的权衡,因此应针对自身的文档和查询进行测试,而非直接认定其更优。只有当某种更为复杂的分块策略能解决你实际遇到的问题时,它才有价值。
验证分块效果
选择分块策略并非一次性决策,而需要持续衡量和调整。系统上线后,有三项指标值得跟踪。
- 检索召回率。针对任意问题,查看检索到的分块集合是否包含得出正确答案所需的证据;若没有,后续的提示优化也无法挽救该答案。
分别追踪这三项,而不仅仅是判断最终答案是否正确,才能让片段划分从凭猜测进行转变为可不断优化的过程。
一个简单的入门方法
一个简单的初步实验很有帮助。收集二三十个真实问题以及对应的问题解答段落。用两三种分块方式处理这些数据,比如固定大小带重叠、基于结构的分割以及父子节点扩展。针对每种分块方式,统计在检索结果中所需证据出现的频率。在您自己的文档上表现最佳的分块方式,比任何通用建议都更有价值。
需要记住的事项
分块并非只需设置一次即可忽略的预处理步骤。它是系统做出的第一个检索决策,从嵌入模型到重排序再到生成,后续的所有流程都会受到该决策的影响。
再强大的嵌入模型也无法修复分块不当的文档。如果RAG系统给出的答案显得随机、不完整或明显错误,应在调整模型之前先检查分块情况。
参考资料
上述内容来源于 Microsoft Azure AI Search 的公开文档,包括其关于文档分块及 Document Layout 技能的指导;Azure-Samples 仓库中关于设计和评估 RAG 解决方案的资料;LlamaIndex 页面中关于自动合并检索器与节点解析器的说明;LangChain 中关于 ParentDocumentRetriever 的参考文档;以及 Amazon Bedrock 页面中关于知识库内容分块机制的说明。不同版本间的设置可能有所变化,建议以最新文档为准。