首页 / 文章

RAG的混合检索方案:BM25、排名融合与重排机制优于向量搜索。

纯向量搜索无法检索到完全匹配的术语。通过结合BM25与嵌入模型、互反排名融合技术以及交叉编码器重排器,该RAG系统的检索准确率提升到了91%。

发布者:REACTAPP.TOP阅读约 6 分钟1365 词

来源: `I Stopped Using Vector Databases. My RAG Got Better.`

早期关于RAG的建议几乎一致:选择Pinecone、Weaviate或Chroma,嵌入文档,存储向量,运行语义搜索即可。许多团队完全按照这个方案操作——他们将文档分割成小块,使用托管模型生成嵌入向量,加载向量数据库,并编写检索函数来为每个查询找出最相似的五个文档片段。这种方法在某种程度上确实有效,但问题恰恰出现在精度开始变得重要的时候。

纯向量搜索的局限性

简单、开放式的查询能够得到不错的检索结果,但任何需要精确性的查询都会出现问题:具体的日期、精确的数字、对特定章节的引用,以及包含大量关键词的技术性查询。此时大语言模型会基于错误的文档片段自信地生成答案。这并非模型的错,因为检索环节提供了错误的上下文。

常见的反应是将问题归咎于生成环节。人们会调整提示词,添加“仅从给定上下文作答”的指令,还会构建自我反思循环。但当检索到的内容有误时,这些方法都毫无用处。问题出在搜索环节,而非生成环节。

嵌入模型在处理含义方面表现良好,但在处理具体细节时却会出错,一个实际案例可以说明这一点。假设某份报告中有这样一句话:2024年第四季度的营收达到1280万美元,较第三季度增长23%。若用户询问2024年第四季度的营收数值,对嵌入模型来说似乎应是件简单的事。

实际发生的情况是这样的:嵌入模型会将查询语句及每个文本片段转换为高维向量,进而判断它们与“收入”“财务表现”及“季度业绩”这些概念的相似度。它可能会返回与收入相关的各类内容,包括前瞻性预测数据或第三季度的财务数据,因为这些内容都与季度收入的概念相近。而包含“1280万美元”这一信息的文本片段可能会排在第四或第五位,或者因为文本片段的分界位置不当而完全被忽略。如果使用简单的关键词搜索“2024年第四季度收入”,则能立即找到该信息。

规模越大问题越严重

当文档数量为50份时,语义搜索效果尚可,部分原因是竞争的文本片段较少。但一旦文档达到5,000份,搜索效果就会严重下降。更大的语料库中存在更多在语义上相近但在事实层面无关的文本片段,导致信噪比急剧降低,检索结果往往会从“相近范围”中选出包含错误信息的段落。

在一组约3,000页的技术类语料库(包括API文档、变更日志和集成指南)上进行的测试显示,纯向量检索的准确率接近62%。这意味着每十次查询中就有近四次向大语言模型提供的上下文不完整或错误。由于底层机制本身存在缺陷,任何提示工程手段都无法解决这一问题。

放弃向量搜索并非解决办法,问题恰恰在于过度依赖它。通过采用三部分组合的方案,该测试中的准确率从62%提升到了91%。

第一部分:用于精确匹配词项的BM25算法

BM25起源于20世纪90年代,至今仍属于最强大的检索算法之一。与那些会模糊语义的嵌入模型不同,它直接匹配确切的词汇:对于“2024年第四季度营收”这样的查询,它会提取包含这些词汇的所有片段,并根据这些片段在语料库中的词频和相关性对它们进行排序。该算法速度很快,每次都能给出相同的结果,而且无需GPU即可运行。已有小型库可以实现这一功能,不需要向量数据库,仅需基于这些片段构建的文本索引即可。

第二部分:保留嵌入模型,但将其视为统一来源

嵌入模型之所以有价值,是因为它们能够捕捉用户意图并呈现相关内容。当用户询问“如何处理身份验证?”时,针对标题为“管理用户登录”的文档,语义搜索能够找到匹配结果,而BM25则无法做到这一点。因此,嵌入模型只是候选结果的一种来源,而非唯一的来源。

两种检索器得到的最佳结果会通过互逆排名融合(RRF)方法进行合并,这是一种简单直接的技术,通过给同时出现在两个列表中的片段赋予更高权重来整合排序后的列表。那些在BM25算法中排名第一、在语义搜索中排名第三的片段,其得分会远高于仅出现在一个列表中的片段。这样一来,那些在关键词和语义层面都具有相关性的片段自然会获得更高的排名。该实现仅需约20行Python代码,且不需要任何框架。

第三部分:重新排序

重新排序阶段是大多数团队会忽略的步骤,但它对排序结果的影响最大。当混合融合方法产生15到20个候选项后,会使用交叉编码器重新排序器为每个候选项打分。嵌入模型会分别独立地对查询和文档进行编码,而交叉编码器则会让查询与某个候选项一起输入模型,这样得出的分数就能反映这两者之间的匹配程度。

一个小型重新排序模型只会增加大约200毫秒的延迟,却能显著提升进入最终上下文的候选项质量。经过重新排序后排名前五的几乎总是最合适的候选项。用捕鱼作比喻很恰当:BM25加上语义搜索相当于撒下大网,而重新排序则负责筛选渔获,只保留最好的那些。

改进前后对比

混合处理流程相较于纯向量搜索的指标表现如下:

指标
仅向量搜索 混合重排算法
前5项检索准确率 62% 91%
答案正确率 58% 87%
幻觉生成率 31% 8%
用户反馈的错误答案数量 每天约3条 每周约2条

一个意外的副作用是成本问题。由于取消了托管式向量数据库,基础设施支出减少了约60%。BM25可在单个CPU上运行,而重排算法则只需一台性能一般的GPU或延迟可接受的CPU即可。

为何建议倾向于向量数据库

向量数据库公司已经筹集了巨额资金,他们的营销内容出现在所有以“第一步:搭建你的向量数据库”开头的教程、课程和视频中。那些销售向量数据库的公司绝不会承认,在大多数场景下,一种存在数十年的算法加上简单的重排器就能比他们的产品更有效。

不过,向量数据库并非毫无用处。它们在以下方面具有价值:

  • 探索性搜索,即用户用于浏览而非查找具体信息。
  • 跨图像、音频或代码的多模态检索。
  • 包含数十亿份文档的庞大数据集,此时BM25索引已难以应对。

对于大多数RAG系统,比如内部知识库、文档搜索、客服机器人和合规工具而言,不使用专用向量存储的混合检索方式不仅能取得更好的效果,还能降低成本。

实用的迁移路径

无需进行彻底的拆解,逐步推进即可:

  1. 在现有的向量搜索旁添加 BM25。使用如 rank-bm25 这样的 Python 库可以对相同的数据块建立索引,耗时约一小时。
  2. 通过 Reciprocal Rank Fusion 合并搜索结果。其评分公式简单且文档完备。
  3. 添加一个开源的 cross-encoder 重排器,可在本地运行或通过 API 调用。将合并后的候选结果传递给该重排器,保留排名前五的结果。
  4. 进行测试。构建一个小的 评估集,比如包含 50 个已知答案的问题,比较处理前后的检索准确率。提升效果会很快显现。
  5. 之后再判断是否仍需要向量数据库。对于许多系统而言,其实并不需要。

更宏观的思路

炒作往往不会指向最佳选择。更好的方案通常显得平淡、简单且易于理解。BM25虽然平淡,混合搜索也很直接,而信息检索领域的研究人员数十年来一直在研究重排序技术。一个关于重复使用30年旧算法的故事很难吸引风险投资或社交媒体的关注。即便某些工具已过时,可靠的AI依然需要选择合适的工具来实现。

当RAG流程表现不佳时,人们很容易将责任归咎于大语言模型、重新编写提示词或微调嵌入模型。但实际上问题往往出在检索环节,因此应该从这里着手解决。解决方案可能是采用更古老、更简单的搜索方法,再搭配现代重排序技术来弥补差距。有时候,进步意味着首先要回顾过去。

相关阅读

  • Gemini的100万窗口取代了我的向量存储;存在延迟与溯源问题 —— 对500个支持类问题进行的完整上下文填充与RAG技术的对比测试:准确率、延迟及成本方面的结果,为何溯源如此重要,以及如何通过混合架构同时获得两种优势。