MultiDocFusion:针对长PDF文档的基于层次结构的RAG数据块划分方法。
MultiDocFusion能在长PDF的每个数据块中保留章节上下文:通过布局检测、OCR技术以及基于标题树的LLM和DFS分组方式,使RAG检索效率提升8-15%。
大多数RAG系统都是基于一个几乎无人注意到的假设起步的:将文档分割成若干块,对它们进行嵌入处理,获取最相关的结果,其余部分则交由系统自行处理。但当遇到篇幅很长的工业PDF文件时,这种假设就暴露出了问题——显然文档并非设计用来像彩纸碎片那样被随意拆分的。
典型的系统会检索出相关的内容块,然后让大语言模型基于这些内容块来回答问题。为使较长的文档可被搜索,必须将其切割成更小的部分,而常用的切割方法相当粗糙:要么按固定字数分割,要么仅依据语义相似度来划分。实际上,真实文档远不止纯文本那么简单,它们还包含:
- 多层嵌套的标题和子标题
- 表格、图表以及依赖页面布局的其他元素
- 在页面之间延续的段落
- 需要OCR处理的扫描版PDF
按长度分割文本就如同随意拆分教科书一样。标题会与所属章节分离,段落会失去解释内容的表格,关键背景信息也会丢失。这样一来检索到的信息就会支离破碎,答案质量也会下降。这种做法对工业文档、财务报告、法律合同以及扫描件造成的损害最为严重。
三种信号的融合
要对长文档进行准确的RAG处理,需要同时建模三种类型的信号:
- 视觉布局,即页面的呈现形式
- 文本内容,即页面上的文字内容
- 结构层次,即文档的组织结构
MultiDocFusion正是基于这种组合而设计的。“融合”指的是将布局、文本和层次结构结合起来,而“MultiDoc”则表明该技术支持多种文档格式以及基于整个语料库的多文档RAG处理。
图中的处理流程如下:首先由文档解析器进行布局提取,接着通过OCR技术读取并标注文本;随后DSHP-LLM根据检测到的章节标题和普通节点构建层次树结构;最后通过基于DFS的分组步骤形成连贯的层次化块。颜色编码用于区分根节点、标题、章节标题以及表格、图表和文本块等普通节点。
固定长度分割器会在标记边界处对书籍进行分割。MultiDocFusion的处理方式更为细致,它会实时重建文档的结构树,类似生成目录的过程,将属于同一类别的内容归为一组。因此它非常适合处理长篇且结构复杂的文档。
四个步骤
1. 布局检测
首先将每一页视为图像来处理。系统会识别出标题、副标题、正文、表格和图片的位置,这便是布局识别。其中使用了DETR、DiT和VGT算法,这些模型都在DocLayNet数据集上进行了微调。输出结果不仅仅是文本,而是带有位置的框,每个框都会记录对应页面的信息、坐标以及标题或表格之类的类型。
2. OCR
在定位出各个区域后,OCR会读取每个框中的文本。我们在不同设置下对比了EasyOCR、Tesseract和TrOCR的性能,但需注意,最终结果仍会受到扫描质量、字体和语言的影响。现在系统既知道某个框的存在,也知道其中的内容,例如一个框里可能是“2. 方法”这样的标题,另一个框里则是表格数据。
3. 构建层次结构
这一步是该技术的核心贡献。通过专门训练的大型语言模型来理解文档中的层级结构。诸如“1 引言”这样的标题可能处于最高层级,“1.1 背景”则位于其下的第二层级,而具体的段落或表格则会与相应的标题对应起来。
该系统并非仅提取文本,而是会重新构建逻辑化的目录,从而揭示文档中隐藏的框架结构。
在对比了包括Llama-3.2和Qwen-2.5在内的几款开放权重模型后,团队选定Mistral-8B作为最强大的核心模型。该模型通过LoRA技术结合4位量化(QLoRA技术)进行了微调。DSHP-LLM的训练与评估数据来源于DocHieNet的1,673份文档以及HRDH的约1,500篇学术论文。该模型的唯一输入是结构化的HeaderList,它以此构建树的骨架。一旦大语言模型重建出这个标题树,系统就会遍历每一个片段,无论是文本块还是表格,都会根据其空间坐标将其归入相应的标题下。
为何要使用专用大型语言模型而非普通规则?真实的文档极为复杂。诸如“字体越大则表示标题”或“1.2节必须位于1节之下”之类的经验法则,在扫描件、旧版PDF以及结构复杂的文档中往往失效。许多现有方法仅分析文本或仅分析视觉布局,这导致难以准确还原层级结构,尤其是对于扫描件或格式不规则的文档。
大型语言模型能够推断章节标题之间的父子关系,其他内容块则通过空间顺序被附加到相应位置,且在同一层级任务中不会由大型语言模型共同预测。
4. 层级化分块
借助这种结构,系统能够按逻辑对内容进行分组,而不会随意拆分。一个章节的标题、文本和表格会保持在一起,只有在内容过长时才会被拆分。每个部分都保留其层级关系,例如“文档标题 → 第1章 → 1.1节 → 具体段落”。这样一来,检索结果会返回带有上下文的完整片段,而非零散的文字,且每个部分内部的层级结构有助于避免上下文丢失。
从实现细节来看,处理后的各个部分会将它们的层级关系以 Markdown 标题(#、##等)的形式呈现出来,从而将结构信息融入到纯文本中,便于后续的检索与生成操作。
数据所显示的内容
在大多数数据集中,MultiDocFusion都展现了最佳的检索性能,尤其是在DUDE、MPVQA和MOAMOB这类更为复杂的数据集上优势更为明显。检索精度提升了大约8%至15%。早期的系统往往只能获取分散在各个页面上的不完整片段,而具备层次结构意识的分块方式则更有可能返回结构完整、能够保留段落上下文的片段,即便出于长度限制仍需对整个段落进行分割。
在问答任务方面,整体表现也有提升,ANLS指标上升了约2%至3%。这符合结构更完善的上下文有助于生成更好答案的思路,不过该研究并未将检索质量视为问答性能提升的唯一原因。
真正的关键在于将长文档转换为便于检索的“树形路径表示”。DSHP-LLM能够发现标题、段落和表格之间通过空间顺序形成的关联,随后通过深度优先搜索将上级标题纳入每个数据块中。实际上,它在索引时进行了结构化的重写。
两个问题
- 一个有疑问的假设。该方法将一个标题与下一个标题之间的所有节点都视为属于当前标题之下。但这并不总是成立,尤其是在双栏布局、侧边栏、浮动表格或图片、跨页脚注以及相互引用的附录情况下。页面上相邻的两个元素并不一定在意义上存在关联。
- 索引膨胀问题。反复将父级标题复制到子块中会导致大量块的产生,总计20,773个块,平均每个块包含521.65个标记。这样一来,检索时可能会更依赖章节标题而非文本中的实际内容,尤其是对于那些文件标题相似的企业模板文档。该研究本身也承认了这一权衡关系,并指出复制父级上下文会增加索引大小、存储成本以及检索延迟。在大规模应用中需要采用注重成本控制的块划分策略或节点级去重技术。
与MoDora的相似之处
MoDora是一种将损坏的OCR块转换为完整文档树的相关方法,其核心思路与之相同:首先重建内部结构,之后再交由检索和质量检测系统处理。
- MultiDocFusion 先通过 DSHP-LLM 将文本从解析和 OCR 转换为分层树结构,再通过 DFS 生成分层块。这是一种具备结构感知能力的建模与分块方法。
- MoDora 首先将 OCR 元素整合为具备布局感知能力的组件,随后构建 CCTree。它在检索与分析之前会对组件的层次结构、布局差异以及组件间的关系进行建模。
这两种方法均不会将文档视为单纯的连续文本,而是在检索之前通过中间步骤明确体现其层次结构。
相关阅读
- 实用指南:2026年如何从零学习RAG:相关课程 — 该实用指南的详细操作步骤,包括适用于采用该模式的团队的契约、检查项及可直接使用的代码片段。
- 实用指南:将RAG投入生产的全流程常见陷阱 — 该实用指南的详细操作步骤,包括适用于采用该模式的团队的契约、检查项及可直接使用的代码片段。