为何重排序是RAG流程中最具成本效益的重大改进
获取50条结果后进行5级重排:交叉编码器重排如何解决RAG流程中的排序问题,预期能带来的收益与延迟,何时应跳过该步骤,以及应交付哪些内容。
即便检索器找到了正确的文本片段,它也可能将其排名定得过低,导致模型根本无法看到它。第二次评分步骤可以解决这个问题:先筛选出一组较广的候选文本,再用更强大的模型对它们重新评分,最终只将得分最高的文本呈现给大语言模型。
一个流程中隐藏的两项任务
RAG系统中的检索功能实际上承担着两项独立的任务:既要找到合适的文本片段,又要将其排名提升到足够高的位置,以便模型能够使用它。团队往往只注重第一项任务而忽视第二项,正因如此,检索指标可能看起来很理想,但生成的答案却依然不尽如人意。
模型只能看到输入提示词中的内容。如果只发送了排名前5的片段,原本排名第7的正确片段就会丢失,实际上就相当于它处于排名第700的位置。这就是为什么在答案错误的情况下,Recall@50的数值仍可能看起来很好:因为相关信息虽然被找到了,却从未进入上下文窗口。
重排序功能弥补了这一缺陷。作为第二阶段的处理,它会重新评估检索器已找到的候选项,并根据它们回答查询的准确度对它们进行排序。对于许多系统而言,这种方式能在不改变架构及其余组件的前提下,实现最佳的质量提升效果。
为何需要两个阶段
密集检索器会预先为每份文档生成嵌入向量。查询时,它再为查询语句生成嵌入向量并搜索附近的向量。由于在比较之前查询和文档都会被压缩成各自的向量,这种压缩会丢失关于二者匹配程度的详细信息,因此查询与文档实际上从未真正“相遇”。但其优势在于速度极快,足以快速扫描数百万份文档。
交叉编码器的工作方式则不同。它将查询语句和单份文档作为同一输入一起送入模型,并对这一对数据进行完整的正向传播处理。由于两段文本能够同时呈现,因此可以综合考虑否定词、限定词以及那些能让某段文字真正回答问题的具体表述,而不仅仅是表面的相似性。
这种精确度是有代价的。由于无法预先计算,查询时每个候选项都需要处理一次。面对百万份文档时这显然是不可行的,但当文档数量仅为50份且第一阶段已筛选出候选项时,这种方法就既快速又实用。因此才有了两阶段处理思路:先大规模低成本地检索,再精确地对结果进行筛选。
Cohere的指南、OpenAI的RAG操作手册以及大多数实际应用方案都大致遵循相同的三步流程:
- 大规模检索。选取排名前50的候选项,这些结果通常来自混合搜索方式,即结合密集向量搜索和BM25搜索的结果,并通过互反排名融合技术进行处理。广泛的检索范围能提高找到合适内容片段的可能性。
- 重新排序。使用交叉编码器为每对查询文档打分,然后根据得分对结果列表进行排序。
- 保留最佳项。仅将得分最高的几项传递给大语言模型。
在各项基准测试中经验证有效的经验法则是:先检索50个结果,再对它们进行重排序,最终保留5个最佳结果。第一阶段通过将正确的信息片段纳入候选集来提升召回率,而重排序阶段则通过将优质结果置于顶部来提升精确率。无需重新嵌入数据,也不需要重建索引,检索器本身保持不变,这正是该解决方案效果显著且实施简单的原因。
其优势与代价
准确率提升既稳定又足够显著,具有实际意义:
- 在MTEB和BEIR基准测试中,NDCG@10值通常提升5到15。
- 在那些存在噪声的检索系统中,precision@3值可提升40%到60%,而这正是重排序技术要解决的问题。
- 在Databricks针对原始嵌入相似度进行的测试中,幻觉现象减少了35%,因为更可靠的片段减少了模型编造内容的空间。
延迟确实会有所上升,但相对于整个处理流程而言增幅很小:
- 在GPU上,对50个候选项进行评分所需时间不到50毫秒。
- 在CPU上,当这些候选项被放入同一个批量调用中时,对同样的50个候选项进行评分需要100到300毫秒。
- 像FlashRank这样的超轻量级库仅需15到30毫秒。
- 大语言模型补全方法在时间和成本方面仍占据优势,因此重新排序几乎不会改变总成本。
在大多数应用中,为提升前3名结果的准确率40%以上而付出大约120到200毫秒的代价,已是整个处理流程中最佳的折衷方案。
何时有效,何时无效
重新排序虽然收益显著,但并非适用于所有情况,其核心作用是优化排序结果而非寻找最优解。它在以下情况下能发挥效果:
- 尽管召回率不错,但顶部结果质量较差。合适的片段虽能进入前50名,但排名仅在第6或第12位。在50个样本上的召回率很高,但在3个样本上的精确率很低,这充分说明了需要重新排序的必要性。
- 提示词预算有限。如果只有3到5个片段能传递给模型,排序就决定了最终结果,而糟糕的前3名会导致错误的答案。
- 问题难度过高或表述模糊。当含义取决于限定词或否定词时,比如将发票转换为CSV格式与将报告转换为PDF格式,通过共同评分可以区分双编码器容易混淆的相似结果。
- 语料库中存在大量近似重复内容。支持文件和政策文件中有很多看似相似但实际回答不同问题的段落,重新排序工具可以帮它们区分开来。
以下情况会令人失望:
- 第一阶段召回率较低。重新排序模型只能重新排列输入内容。如果前50个结果中缺少正确的片段,应首先通过更优的片段划分或混合搜索方式提升检索效果。
- 召回率已经很高。如果正确的片段通常就会出现在列表顶部,那么重新排序只会无谓地打乱本已正确的结果顺序,几乎无法带来提升。一个快速判断方法:如果在有或没有重新排序模型的情况下,大多数查询中都是同一个片段胜出,那就说明该模型没有发挥应有的作用。
- 容错能力较差的生成器。能够处理20个松散关联片段的长上下文模型,在仅前3个结果的限制下,其表现会不如仅处理5个片段的模型。
- 严格的延迟限制。在必须满足实时服务等级协议的情况下,150毫秒可能就已经超出限制。此时应选择像FlashRank这样的快速重新排序模型,或者干脆不使用此类模型。
要判断适用哪种情况,需分别测量顶部的recall@50和precision值。Recall反映检索系统是否能找到对应片段,precision则体现其是否能对片段进行正确排序,而重新排序只能解决精度问题。
交叉编码器还是LLM重新排序器
目前存在两种类型,选择时只需在准确率与延迟之间权衡。
- 交叉编码器是默认选择。它们速度快、成本低、性能可预测,还能生成可用于设定阈值的数值分数。对于绝大多数实际应用系统而言,它们都是最佳且最终的解决方案。
- LLM重排器会让大型模型自行判断内容相关性。在那些极其复杂、需要大量推理的查询中,它们在某些任务上可能能提升5%到8%的准确率,但同时会增加4到6秒的处理时间,成本也高得多。用户通常在3秒左右就会放弃搜索,因此这类技术更适合离线处理或高价值批量任务,几乎无法用于交互式功能。
首先应使用交叉编码器。只有在检测到复杂查询确实存在性能差距,并且确认额外的处理时间在可接受范围内时,才考虑使用LLM重排器。
两种实现方式
团队通常会选择自托管的交叉编码器或托管的API,这两种方式都只需几行代码即可实现。
通过sentence-transformers进行自托管搭配常用的开源默认版本BGE-reranker-v2-m3效果很好,该版本支持多语言,且采用Apache 2.0许可证:
from sentence_transformers import CrossEncoder
# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)
def rerank(query, candidates, top_n=5):
pairs = [(query, doc) for doc in candidates] # one batched pass
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
return ranked[:top_n]
# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)
当不需要运行模型时,Cohere Rerank 是可供使用的托管选项:
import cohere
co = cohere.ClientV2()
resp = co.rerank(
model="rerank-v3.5",
query="How do I cancel my subscription?",
documents=candidates, # the top 50 from the retriever
top_n=5,
)
# resp.results carries the reranked indices and relevance scores
这两种方法使用相同的输入,即检索器得到的前50个结果,但能输出更精简的前5个结果。LangChain之类的框架会将这两种方法置于统一的接口之后,因此要在它们之间切换只需进行一行代码修改。
选择模型
根据延迟要求、支持的语言以及是否可自行托管,该领域已形成了几种明确的选择:
- 开源默认选项:BGE-reranker-v2-m3,支持多语言,遵循Apache 2.0许可,对50个候选结果在CPU上的处理时间约为80毫秒。处理以英语为主的任务时可使用bge-reranker-large。
- 最简便的托管方案:Cohere Rerank只需一次API调用且无需服务器,每千次搜索的成本约为1美元。
- 对速度要求最高的选项:FlashRank或紧凑型的MiniLM交叉编码器,可在CPU上以不到30毫秒的时间完成重排序,且质量损失较小。
- 长文档:建议选择如 Jina Reranker v2 这类支持长上下文的重排模型,因为普通的交叉编码器在输入长度超过 512 个标记时就会停止处理。
作为大致参考,对于每日查询量在一万次以内的场景,使用托管 API 是成本最低的选择。超过这个量级后,自托管的 BGE 模型往往能更快实现成本回收。
核心要点
重排机制能够提升精确度,从而将良好的召回率转化为准确的答案。检索器会以较低成本撒出广泛的搜索网,得到大量杂乱的结果,随后交叉编码器会通过检索器无法实现的、针对查询的重新评分过程,将真正相关的内容放到模型会实际关注的位置上。
这是回报最高的RAG优化方法,因为它具有可控性:检索50个结果,再对其中5个进行排序,其余部分不变,然后用自身数据衡量提升效果。准确率提升通常显著,延迟成本较低,决策的关键在于一个问题:检索器在排序能力上是否与其检索能力相匹配?通常情况下并不匹配,而重新排序正是缩小这一差距的手段。
数据来源
- Cohere的重新排序文档
- BAAI的BGE-reranker-v2-m3模型说明文档
- sentence-transformers的CrossEncoder文档
- ARAGOG,一份包含重新排序在内的先进RAG方法的分级对比研究(arXiv 2404.01037)
- Databricks对长上下文RAG及重新排序技术的评估
- GitHub上的低延迟重新排序库FlashRank
相关阅读
- 生产环境中的高级RAG:架构、工具与权衡 —— 深入探讨生产环境中的RAG应用:数据摄取、解析、分块、嵌入、向量存储、混合检索、重排序、评估与安全措施,以及每种方法的相应权衡。
- RAG中的重排序:跨编码器真正发挥作用的狭窄范围 —— 为何跨编码器仅能在召回率下限与K值上限之间提升RAG性能,什么是幻影匹配,以及如何在一个下午内自行测量查询数据在这两个边界上的表现。