首页 / 文章

为何重排序是RAG流程中最具成本效益的重大改进

获取50条结果后进行5级重排:交叉编码器重排如何解决RAG流程中的排序问题,预期能带来的收益与延迟,何时应跳过该步骤,以及应交付哪些内容。

发布者:REACTAPP.TOP阅读约 8 分钟1755 词

来源: Reranking: The Highest-Return Fix in RAG

即便检索器找到了正确的文本片段,它也可能将其排名定得过低,导致模型根本无法看到它。第二次评分步骤可以解决这个问题:先筛选出一组较广的候选文本,再用更强大的模型对它们重新评分,最终只将得分最高的文本呈现给大语言模型。

一个流程中隐藏的两项任务

RAG系统中的检索功能实际上承担着两项独立的任务:既要找到合适的文本片段,又要将其排名提升到足够高的位置,以便模型能够使用它。团队往往只注重第一项任务而忽视第二项,正因如此,检索指标可能看起来很理想,但生成的答案却依然不尽如人意。

模型只能看到输入提示词中的内容。如果只发送了排名前5的片段,原本排名第7的正确片段就会丢失,实际上就相当于它处于排名第700的位置。这就是为什么在答案错误的情况下,Recall@50的数值仍可能看起来很好:因为相关信息虽然被找到了,却从未进入上下文窗口。

重排序功能弥补了这一缺陷。作为第二阶段的处理,它会重新评估检索器已找到的候选项,并根据它们回答查询的准确度对它们进行排序。对于许多系统而言,这种方式能在不改变架构及其余组件的前提下,实现最佳的质量提升效果。

为何需要两个阶段

密集检索器会预先为每份文档生成嵌入向量。查询时,它再为查询语句生成嵌入向量并搜索附近的向量。由于在比较之前查询和文档都会被压缩成各自的向量,这种压缩会丢失关于二者匹配程度的详细信息,因此查询与文档实际上从未真正“相遇”。但其优势在于速度极快,足以快速扫描数百万份文档。

交叉编码器的工作方式则不同。它将查询语句和单份文档作为同一输入一起送入模型,并对这一对数据进行完整的正向传播处理。由于两段文本能够同时呈现,因此可以综合考虑否定词、限定词以及那些能让某段文字真正回答问题的具体表述,而不仅仅是表面的相似性。

这种精确度是有代价的。由于无法预先计算,查询时每个候选项都需要处理一次。面对百万份文档时这显然是不可行的,但当文档数量仅为50份且第一阶段已筛选出候选项时,这种方法就既快速又实用。因此才有了两阶段处理思路:先大规模低成本地检索,再精确地对结果进行筛选。

Cohere的指南、OpenAI的RAG操作手册以及大多数实际应用方案都大致遵循相同的三步流程:

  1. 大规模检索。选取排名前50的候选项,这些结果通常来自混合搜索方式,即结合密集向量搜索和BM25搜索的结果,并通过互反排名融合技术进行处理。广泛的检索范围能提高找到合适内容片段的可能性。
  2. 重新排序。使用交叉编码器为每对查询文档打分,然后根据得分对结果列表进行排序。
  3. 保留最佳项。仅将得分最高的几项传递给大语言模型。

在各项基准测试中经验证有效的经验法则是:先检索50个结果,再对它们进行重排序,最终保留5个最佳结果。第一阶段通过将正确的信息片段纳入候选集来提升召回率,而重排序阶段则通过将优质结果置于顶部来提升精确率。无需重新嵌入数据,也不需要重建索引,检索器本身保持不变,这正是该解决方案效果显著且实施简单的原因。

其优势与代价

准确率提升既稳定又足够显著,具有实际意义:

  • 在MTEB和BEIR基准测试中,NDCG@10值通常提升5到15。
  • 在那些存在噪声的检索系统中,precision@3值可提升40%到60%,而这正是重排序技术要解决的问题。
  • 在Databricks针对原始嵌入相似度进行的测试中,幻觉现象减少了35%,因为更可靠的片段减少了模型编造内容的空间。

延迟确实会有所上升,但相对于整个处理流程而言增幅很小:

  • 在GPU上,对50个候选项进行评分所需时间不到50毫秒。
  • 在CPU上,当这些候选项被放入同一个批量调用中时,对同样的50个候选项进行评分需要100到300毫秒。
  • 像FlashRank这样的超轻量级库仅需15到30毫秒。
  • 大语言模型补全方法在时间和成本方面仍占据优势,因此重新排序几乎不会改变总成本。

在大多数应用中,为提升前3名结果的准确率40%以上而付出大约120到200毫秒的代价,已是整个处理流程中最佳的折衷方案。

何时有效,何时无效

重新排序虽然收益显著,但并非适用于所有情况,其核心作用是优化排序结果而非寻找最优解。它在以下情况下能发挥效果:

  • 尽管召回率不错,但顶部结果质量较差。合适的片段虽能进入前50名,但排名仅在第6或第12位。在50个样本上的召回率很高,但在3个样本上的精确率很低,这充分说明了需要重新排序的必要性。
  • 提示词预算有限。如果只有3到5个片段能传递给模型,排序就决定了最终结果,而糟糕的前3名会导致错误的答案。
  • 问题难度过高或表述模糊。当含义取决于限定词或否定词时,比如将发票转换为CSV格式与将报告转换为PDF格式,通过共同评分可以区分双编码器容易混淆的相似结果。
  • 语料库中存在大量近似重复内容。支持文件和政策文件中有很多看似相似但实际回答不同问题的段落,重新排序工具可以帮它们区分开来。

以下情况会令人失望:

  • 第一阶段召回率较低。重新排序模型只能重新排列输入内容。如果前50个结果中缺少正确的片段,应首先通过更优的片段划分或混合搜索方式提升检索效果。
  • 召回率已经很高。如果正确的片段通常就会出现在列表顶部,那么重新排序只会无谓地打乱本已正确的结果顺序,几乎无法带来提升。一个快速判断方法:如果在有或没有重新排序模型的情况下,大多数查询中都是同一个片段胜出,那就说明该模型没有发挥应有的作用。
  • 容错能力较差的生成器。能够处理20个松散关联片段的长上下文模型,在仅前3个结果的限制下,其表现会不如仅处理5个片段的模型。
  • 严格的延迟限制。在必须满足实时服务等级协议的情况下,150毫秒可能就已经超出限制。此时应选择像FlashRank这样的快速重新排序模型,或者干脆不使用此类模型。

要判断适用哪种情况,需分别测量顶部的recall@50和precision值。Recall反映检索系统是否能找到对应片段,precision则体现其是否能对片段进行正确排序,而重新排序只能解决精度问题。

交叉编码器还是LLM重新排序器

目前存在两种类型,选择时只需在准确率与延迟之间权衡。

  • 交叉编码器是默认选择。它们速度快、成本低、性能可预测,还能生成可用于设定阈值的数值分数。对于绝大多数实际应用系统而言,它们都是最佳且最终的解决方案。
  • LLM重排器会让大型模型自行判断内容相关性。在那些极其复杂、需要大量推理的查询中,它们在某些任务上可能能提升5%到8%的准确率,但同时会增加4到6秒的处理时间,成本也高得多。用户通常在3秒左右就会放弃搜索,因此这类技术更适合离线处理或高价值批量任务,几乎无法用于交互式功能。

首先应使用交叉编码器。只有在检测到复杂查询确实存在性能差距,并且确认额外的处理时间在可接受范围内时,才考虑使用LLM重排器。

两种实现方式

团队通常会选择自托管的交叉编码器或托管的API,这两种方式都只需几行代码即可实现。

通过sentence-transformers进行自托管搭配常用的开源默认版本BGE-reranker-v2-m3效果很好,该版本支持多语言,且采用Apache 2.0许可证:

from sentence_transformers import CrossEncoder

# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

def rerank(query, candidates, top_n=5):
    pairs = [(query, doc) for doc in candidates]   # one batched pass
    scores = reranker.predict(pairs)
    ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
    return ranked[:top_n]

# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)

当不需要运行模型时,Cohere Rerank 是可供使用的托管选项:

import cohere

co = cohere.ClientV2()
resp = co.rerank(
    model="rerank-v3.5",
    query="How do I cancel my subscription?",
    documents=candidates,   # the top 50 from the retriever
    top_n=5,
)
# resp.results carries the reranked indices and relevance scores

这两种方法使用相同的输入,即检索器得到的前50个结果,但能输出更精简的前5个结果。LangChain之类的框架会将这两种方法置于统一的接口之后,因此要在它们之间切换只需进行一行代码修改。

选择模型

根据延迟要求、支持的语言以及是否可自行托管,该领域已形成了几种明确的选择:

  • 开源默认选项:BGE-reranker-v2-m3,支持多语言,遵循Apache 2.0许可,对50个候选结果在CPU上的处理时间约为80毫秒。处理以英语为主的任务时可使用bge-reranker-large。
  • 最简便的托管方案:Cohere Rerank只需一次API调用且无需服务器,每千次搜索的成本约为1美元。
  • 对速度要求最高的选项:FlashRank或紧凑型的MiniLM交叉编码器,可在CPU上以不到30毫秒的时间完成重排序,且质量损失较小。
  • 长文档:建议选择如 Jina Reranker v2 这类支持长上下文的重排模型,因为普通的交叉编码器在输入长度超过 512 个标记时就会停止处理。

作为大致参考,对于每日查询量在一万次以内的场景,使用托管 API 是成本最低的选择。超过这个量级后,自托管的 BGE 模型往往能更快实现成本回收。

核心要点

重排机制能够提升精确度,从而将良好的召回率转化为准确的答案。检索器会以较低成本撒出广泛的搜索网,得到大量杂乱的结果,随后交叉编码器会通过检索器无法实现的、针对查询的重新评分过程,将真正相关的内容放到模型会实际关注的位置上。

这是回报最高的RAG优化方法,因为它具有可控性:检索50个结果,再对其中5个进行排序,其余部分不变,然后用自身数据衡量提升效果。准确率提升通常显著,延迟成本较低,决策的关键在于一个问题:检索器在排序能力上是否与其检索能力相匹配?通常情况下并不匹配,而重新排序正是缩小这一差距的手段。

数据来源

  • Cohere的重新排序文档
  • BAAI的BGE-reranker-v2-m3模型说明文档
  • sentence-transformers的CrossEncoder文档
  • ARAGOG,一份包含重新排序在内的先进RAG方法的分级对比研究(arXiv 2404.01037)
  • Databricks对长上下文RAG及重新排序技术的评估
  • GitHub上的低延迟重新排序库FlashRank

相关阅读

  • 使用 Spring AI 和 Pinecone 在 RAG 中进行重排序:将一个答案的排名从第 4 名提升到第 1 名 — 该 Spring Boot 示例通过人力资源手册作为测试数据,对比了单纯向量相似度计算与结合 Pinecone bge-reranker 算法的排序效果,展示了原本排名靠后的答案如何凭借更高的相关性得分跃居首位。