工程类维基上的检索方法:BM25、令牌安全密集窗口与RRF。
针对技术类维基的以评估优先的检索方法:精确证据目标、BM25基准模型、MiniLM截断错误、令牌窗口以及互斥排名融合结果。
在这个以评估为导向的RAG项目中,检索阶段的运作始终遵循一个核心理念,该项目是在一个庞大的工程维基上运行的:
被匹配到的内容与最终返回的内容不一定是同一回事。
分块处理已经生成了规模较小、范围明确的搜索记录,同时每个原始父分块也得以完整保留。这引发了一些实际问题:搜索应基于关键词还是嵌入向量?匹配到的子分块是否应直接传递给语言模型?应该返回多少条结果?又该如何在不依赖少数看似有说服力的查询的情况下比较这些选择呢?
由于该维基是私有的,此处展示的示例均为合成数据,语料库的相关细节也相当有限。不过实现方案及测量结果都是真实的。目前的相关性标签仍处于探索阶段,不应被视为实际应用中的标准答案。
证据契约优先
并非所有的搜索记录都能被视为权威证据。普通的标题块既可以作为匹配单元,也可以作为返回的单元。而递归子节点、JSON片段或代码窗口则不同——它们的存在是为了让搜索能够找到更大的结构,绝不能替代该结构本身。
因此,每条搜索记录最终都会对应一个检索目标:
ordinary chunk -> exact chunk
recursive child -> exact parent chunk
JSON locator -> exact source document
code locator -> exact source document
此映射在最终排序之前执行。当同一父节点下的两个重叠子项都匹配时,它们会合并为一个目标,因此不会为指向相同证据的片段占用两个结果位置。
补全操作在排序之后进行。检索器会获取目标ID并加载原始的父节点数据块或源文档,保留其内容、来源路径、行号范围以及哈希值。较小的子项会作为匹配线索保留,但不会作为完整答案的上下文提供。用一句话概括就是:通过优化的定位器进行搜索,对唯一目标进行排序,返回权威的证据。
从词汇基线开始
密集检索通常被视为RAG的默认方式,但实际上技术类维基中充斥着许多词汇搜索可以轻松处理的术语,比如API名称、配置键、路径、错误代码、shell命令、机构缩写以及服务名称等。
BM25优先被选用,因为它速度快、可解释性强,且在处理精确标识符时难以被超越。该分词器会保留api/v2、config.yaml和error-code这类术语的完整形式,而不会去掉使其具有独特性的字符。每条记录都会连同周围的上下文一起被索引:
document title
heading path
exact record content
标题和路径非常重要,因为单独的简短片段可能含义模糊。像“重启工作进程”这样的文字,在索引中还包含“操作 > 故障排除 > 恢复”等内容后,其含义就会更加清晰。这些上下文仅用于匹配,而不会被整合到权威的源内容中。
BM25提供了强大且易于理解的基准,同时也揭示了评估集的一个特点:从源文档中提取的问题往往重复使用源文档中的词汇,这有利于词表搜索。因此,在该数据集上BM25表现优异,并不能说明其在未来的用户查询中也能保持优势。
高密度检索与一个隐蔽的截断错误
所使用的密集基线模型为 sentence-transformers/all-MiniLM-L6-v2,它能生成标准化的384维嵌入向量,因此余弦相似度可简化为点积运算。该模型的初始版本会将每条搜索记录作为单个字符串进行嵌入处理。分块机制已设置了单词数量限制,看似较为安全。
但实际上并非如此。分块限制是以近似单词数来计算的,而MiniLM模型最多只能处理256个模型令牌。路径、标记、JSON格式数据以及标识符等内容的单词与令牌比例并不确定,因此即便在分块限制范围内,某条记录仍可能超出模型的处理能力。Sentence Transformers会在不提前通知的情况下截断这类记录。长记录末尾的文本根本无法被编码器处理。虽然这些内容确实存在且已被纳入索引,但由于相关句子在编码前就被截断了,查询仍可能无法找到对应结果。
教训是:除非两者都是使用所选模型的分词器来测量的,否则分块限制并不等同于嵌入限制。
安全的分词窗口
修正后的密集索引会直接调用模型分词器。对于每条记录,分词预算中有一部分用于文档标题和标题路径,剩余部分用于内容。较长的内容会形成重叠的分词窗口,每个窗口之间有32个分词的重叠部分。在生成最终文本后,会再次对其进行分词,以确认其长度仍在256个分词以内。
search record
-> contextual prefix
-> tokenizer-aware content windows
-> normalized embedding per window
-> collapse matching windows to one retrieval target
整个实验生成的密集窗口数量大约是源搜索记录的两倍,这是在预期之中的。窗口虽然扩大了匹配范围,但并不会带来新的可返回证据,因为多个窗口最终仍会指向同一个父块或源文档。
此处有三个概念容易混淆:
- 源单元:原始文档或确切的父块。
- 搜索单元:具有结构感知能力的子块或普通块。
- 嵌入单元:尺寸恰好适合分词器的搜索文本窗口。
只有源单元才算作证据,搜索单元和嵌入单元仅起到指向它的作用。
超越“看起来不错”的评估标准
为覆盖程序性、概念性、标识符密集型以及跨领域模式,共设计了20个基于源文本的问题。每个问题都会列出一个或多个相关的检索目标ID。这些标签被刻意标记为待审核状态。基于源文本的问题能够很好地测试整个处理流程,但存在两个缺陷:用语若与源文本相似则会导致结果偏向BM25算法,而且最初的标签可能忽略其他同样能够合理回答问题的段落。因此,这些分数仅可作为该数据集的对比依据,而不能作为实际应用的基准。
评估标准为返回5篇结果,并依据三项指标进行衡量:
- MRR@5用于显示第一个相关结果出现的早程度。
- Recall@5用于显示已知的相关内容中有多少出现在前五名结果中。
首次比较得出的数值如下:
- 上下文 BM25:MRR@5 0.4875,Recall@5 0.5583,nDCG@5 0.4533。
- 窗口化 MiniLM:MRR@5 0.1392,Recall@5 0.2500,nDCG@5 0.1593。
- 采用互反排名融合的混合模型:MRR@5 0.5308,Recall@5 0.7583,nDCG@5 0.5480。
在这个数据集上,BM25明显优于密集检索方法。但这并不意味着嵌入模型毫无用处——这两种检索方式存在不同缺陷,因此才有融合的必要。
无需混合索引的混合检索
BM25与密集检索索引保持独立,它们的排序结果通过互反排名融合技术进行合并。对于某个目标 d,其融合得分是所有检索器对应的 1 除以(k加上该检索器针对 d 的排名)之和,本实验中 k 设为 60。
每个检索器会提供其排名前10的独特目标,融合模块会对这些排名进行整合,最终返回排名最高的5个结果。由于融合模块关注的是排名位置而非原始分数的绝对值,因此无需对词汇得分和密集度得分进行相互校准。
仅使用BM25时的Recall@5值为0.5583,而使用融合方法后上升至0.7583,同时首次命中排名和nDCG指标也有所提升。在这个测试集上,尽管单纯的密集度检索效果较弱,但互补的密集匹配机制仍发挥了作用。
该实现方式采用的是协调型检索器,而非第三个独立的物理索引:
query
-> BM25 top 10 targets
-> dense top 10 targets
-> target-level RRF
-> top 5 targets
-> exact parent/source hydration
它还会记录每条检索结果的排名以及对应的定位器。这样的设计使得所有结果都能被清晰解释,表明是 BM25、密集检索还是两者共同找到了该结果,以及是哪个子项或嵌入窗口引导到了权威目标。
适得其反的多样性
混合输出方式有时会包含同一文档中的多段内容,显得冗余。人们尝试了“每篇文档最多显示一段”的选择方式,虽然输出内容更加多样化,但检索质量却下降了。在流程性或结构复杂的文档中,往往需要同一页面上的多个部分内容。此时文档多样性更多是作为一种视觉偏好,而非相关性指标。该选择功能仍保留用于后续实验,默认情况下处于关闭状态。
需要牢记的区别是:重复的文档并不等同于重复的证据。将指向同一目标的子项合并是正确的做法。仅仅因为某些内容来自同一文档就舍弃它们,这是一个需要特定任务证据来支撑的独立决策。
最终路径的保障
- BM25与密集索引覆盖相同的上下文搜索记录。
- 密集记录会根据模型实际的标记数量限制进行窗口处理。
- 子项匹配与窗口匹配会被合并为唯一的检索目标。
- 融合阶段会将每个检索器输出的十个候选项直接组合,无需进行分数校准。
- 最终会返回五个完全匹配的父项片段或源文档。
- 原始内容及其哈希值仍具有权威性。
- 每个检索器的排序结果及匹配定位的来源均可被查看。
- 只有当有证据表明其有益时,才会应用文档多样性策略。
Retriever的设计理念极为简洁。它通过协调现有的索引、融合与整合功能来实现信息检索,既不会将相关行为隐藏在框架抽象层之后,也不会增加额外的数据存储。
仍缺失的内容
目前该系统能够接收查询并返回五个按相关性排序的精确证据段落,同时注明这些段落的来源,并能用可重复验证的指标来比较不同的检索结果。但这仍不算一个完整的RAG系统。接下来的阶段需要解决如何将这些段落整合到模型上下文中、需要怎样的引用方式、如何处理矛盾或不足的证据,以及系统应在何时放弃检索。此外,检索指标还需与答案的准确性及引用的正确性相关联,这样才能确保生成的答案清晰区分维基页面中的内容与模型仅知晓的信息。