首页 / 文章

KohakuRAG:通过遍历文档树来定位正确的证据。

KohakuRAG通过四级文档树结构来查找证据:采用多查询检索方式,对空结果进行重试并通过投票机制决策,这些方法已在WattBot 2025任务中得到验证。

发布者:REACTAPP.TOP阅读约 5 分钟1122 词

来源: KohakuRAG: Climb the Document Tree, Find the Right Evidence

检索增强生成在演示中往往表现优异,但面对实际问题时却会大打折扣。2026年一篇arXiv论文中介绍的KohakuRAG框架通过简单的工程手段试图填补这一差距,值得仔细研究。

普通RAG的不足之处

像WattBot 2025挑战赛这样的任务就暴露出了其弱点。这类任务要求答案的精确度达到0.1%以内,同时还需明确标注信息来源。标准处理流程中的三个习惯会对此造成影响:

  • 将文本切分为简单块状会忽略段落和文档结构,使得追溯答案来源变得更加困难,引用内容也难以获得信任。
  • 当问题与文档用不同表述表达相同含义时,单个查询很容易错过有用的证据。
  • 单次生成过程并不稳定。不同运行次数的结果及引用内容会发生变化,而那些害怕产生幻觉的模型即便上下文中存在相关证据,也可能不会返回任何结果。
  • 从扁平块到树结构

    KohakuRAG是一个基于四级索引构建的紧凑型框架:文档、章节、段落、句子。由于嵌入向量是从底层逐层组合而成的,因此结构得以保留。通过大语言模型进行查询规划,并对多个查询结果进行重新排序,可提升检索覆盖率。答案则通过多轮生成后的投票机制来稳定,同时会对空白输出进行特殊处理。

    离线模式:构建索引

    首先进行解析,每个文档都会被转化为四层结构的树形结构。图片和表格会被视为带有自动生成标题的特殊段落节点。PyMuPDF负责提取图片,而视觉语言模型(Qwen3-VL)则负责撰写侧重于技术内容、数字及坐标轴标签的标题。

    大部分解析工作都是基于规则的。PyMuPDF先提取文本和布局,再通过字体大小、间距及格式等特征来还原层次结构:

    • 章节:字体大小至少为中位数1.2倍的文本块可视为候选标题,而1.2或A.3这样的编号有助于确定章节边界。
    • 段落:相邻文本块之间的行高差小于1.5时会被合并,较大的间距则意味着新段落的开始。
    • 句子分割:由NLTK的sent_tokenize功能完成,同时针对图示、et al.、i.e.等技术缩写有额外规则。

    接下来是嵌入处理。作为最底层单元的句子会直接被嵌入。每个父节点的值是其子节点值的平均值,权重根据词元数量确定,因此较长的文本片段会带来更大的影响。目前支持两种后端:用于文本处理的Jina v3(768维,上下文长度可达8K),以及用于多模态检索的Jina v4(Matryoshka维度介于128到2048之间,可直接处理文本和图像)。存储方面采用轻量级的向量后端sqlite-vec。

    在线模式:多查询检索

    在提问阶段,大型语言模型会将原始问题扩展为多个相关查询,包括重述、缩写展开以及子问题。每个查询都会在句子和段落节点范围内进行余弦相似度搜索。此外还有一个可选的混合步骤,仅在段落索引上使用BM25稀疏检索,其结果会附加在密集检索的结果之后。

    随后会根据频率、得分或两者的组合对不同查询的结果进行重新排序,从而使被多个查询匹配的节点排名更高。系统会遍历该树结构并扩展上下文:对于每一个匹配结果,都会引入其父节点和兄弟节点。匹配到的句子会关联其所在段落,而匹配到的段落则会关联其所在章节。章节级别的匹配结果因过于粗略而被舍弃。虽然可以选择通过去重步骤消除父子节点之间的重叠以节省上下文窗口空间,但本次竞赛并未采用这一方法。

    生成答案

    提示词会将检索到的上下文置于问题之前,从而避免“中间丢失”效应,而引用标记则便于模型标注来源。输出为结构化的 JSON,其中包含答案、提取的值、引用编号、解释以及表示结果为空的标志。当证据不足时,模型应明确表示无法回答。需要注意的是,引用是在文档编号层面进行判断的,而非按页面或片段判断,这一点在理解系统优化目标时很重要。

    重试循环用于处理空白结果。如果模型表示证据不足,系统会采用 top-k 方法再次检索,不断重复此过程,直到得到有效答案或达到重试次数上限。

    多轮生成后再投票

    系统不会要求一个答案,而是独立生成多个答案。在投票前,只要存在至少一个有效答案,空白答案就会被剔除。如果所有尝试的结果都是空白,则系统选择弃权。投票有助于稳定答案和引用内容。

    结果

    该框架是为 WattBot 2025 挑战赛开发的,因此结果主要来自该测试:共有32份关于人工智能能源使用的技术文档,包括论文、报告和幻灯片,总字数约为50万token。主题涵盖能耗、用水量、碳足迹以及模型性能特征。

    KohakuRAG 在公开排行榜上的得分为0.902,在私有排行榜上的得分为0.861,它是唯一在两个排行榜上都位居第一的方法。

    有两个发现尤为突出。提示词的顺序至关重要:将问题放在检索到的上下文之后而非之前,能带来80%的相对提升,这支持了“信息丢失在中间”这一观点。有时最大的改进来自最简单的改动。而仅靠密集检索或许就已足够。虽然结合BM25的混合搜索通常被视为强大的基准,但结构良好的分层密集检索方式也具有很强的竞争力,而加入BM25仅能带来约3.1%的提升。

    评估

    这里没有哪一项技术是彻底全新的。其优势在于如何将几种已知技术(分层索引、每个问题多次查询、模型无法回答时重新尝试以及多数投票机制)整合在一起,以实现一个艰巨的目标:提供准确的答案、精确的引用,并在证据不足时选择不给出答案。

    它还涉及企业级问答中最棘手的难题之一——在那种情况下,可追溯性甚至比答案的正确性更为重要。从这个角度看,这种树结构并非只是更复杂的文本分块方式,而是用于引用、审计和错误分析的基础设施。

    仍有两个问题需要考虑。首先是解析质量的敏感性,可能还包括查询规划的质量。真实的企业内容往往包含杂乱的PDF文件和不一致的布局,基于规则的内容分段检测可能会从基础层面就出错。其次是成本和延迟。集成方法会使成本大致呈线性上升,而重试操作则会加剧尾部延迟,因此这种设计更适合高可靠性、低吞吐量的场景,不太适合高并发的在线问答系统。

    相关论文的标题为“KohakuRAG:一种具有分层文档索引的简单RAG框架”,可在arXiv上找到。