RAG系统虽能正常运行,但仍可能将错误的证据排在最前面。
密集搜索和混合搜索的Recall@5得分均为满分,但MRR指标因RRF机制而降低了其中一个正确结果的评分。为何RAG评估需要针对每个查询进行单独检查,而非使用平均值。
检索流程即便能返回正确的数值,仍可能将错误的证据排在最前面。在包含22个查询的测试中,密集搜索以及结合互反排名融合(RRF)的混合搜索的5%召回率均为1.0。而平均互反排名则显示了不同结果:密集搜索的值为0.9545,混合搜索的为0.8977。这一差距几乎完全源于一个同义改写查询q006。融合处理将原本正确的仅密集搜索结果从首位挤到了第四位,且无论RRF参数k在0到100之间的取值为何,都无法使其重新回到首位。实际经验表明,并不存在所谓的“完美设置”,关键在于养成能够及时发现此类性能下降问题的习惯,而非仅依赖某个综合评分。
测试环境概览
有三种检索方法在相同的标注数据集上进行了测试:用于词汇匹配的BM25、来自all-MiniLM-L6-v2的密集向量表示,以及k=60时结合RRF的混合融合方法。无论是密集向量法还是混合方法,都能将所有黄金片段都排在前五名之内。不过两者的MRR得分并不一致,其中q006因素导致了较大的分数差异,而调整k值也无法恢复密集向量法原有的排序结果。
Recall@5指标显示两种方法的性能相当,但MRR指标则表明两者存在差异。
解读评分结果
BM25在Recall@5指标上的得分为0.9545,在MRR@5指标上的得分为0.8818。密集向量法在这两项指标上的得分分别为1.0/0.9545,混合方法则为1.0/0.8977。如果仅关注标注片段是否出现在前五名结果中,那么密集向量法与混合方法的表现似乎相当出色。
“在第五位左右”这个说法正是陷阱所在。Recall问题询问黄金物品是否存在,而MRR则询问第一个有用物品出现的时间有多早。将答案藏在第五位,再将其放在第一位,在Recall问题中看起来并无区别,但对于只阅读列表顶部的用户或智能体而言,两者的体验却大相径庭。
简短的定义能让这种差异更加清晰:
def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
"""1 if the gold chunk appears anywhere in the top k, else 0."""
return int(gold_id in ranked_ids[:k])
def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
"""1/rank of the gold chunk's first appearance, 0 if absent."""
for rank, doc_id in enumerate(ranked_ids, start=1):
if doc_id == gold_id:
return 1.0 / rank
return 0.0
首要结论:绿色指标虽能回答其设计时的问题,却仍会掩盖你真正关心的问题。
逐个查询进行比较
不必一次性调整混合模型,只需将密集模型与混合模型并排对比。在22个可回答的问题中,有18个问题的黄金排名保持不变;混合模型对其中一个问题有帮助,但对三个问题产生了负面影响。最糟糕的情况是q006——密集模型将带标签的段落放在首位,而混合模型则将其排在第四位。这一案例成为了后续研究的重点。
为何融合模型会降低正确结果的排名
Hybrid算法通过合并排名位置而非对BM25得分与余弦相似度取平均值来进行处理,因为这两种数值体系没有统一的量纲。因此RRF会单独考虑排名因素的影响。这是合理的设计,也体现了实际的权衡。在q006任务中,dense算法明显更青睐带标签的文本块,但其他候选项在两个列表中的排名都很高。这些出现在两个列表中的候选项同时获得了BM25算法和dense算法的加分,结果原本领先的dense算法最终跌至第四名。
一种简洁的融合函数:
def reciprocal_rank_fusion(
rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
"""Fuse multiple ranked lists using rank position only."""
scores: dict[str, float] = {}
for ranking in rankings.values():
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
各个检索器之间的结果一致是一个线索,但并非正确性的证明。那种表述方式比“混合MRR下降”更有用。现在有了可以用来检查的机制,而不仅仅是仪表板上的波动数据。
调整参数能解决问题吗?
操作方式很常见:改变一个变量,再重新测量。保持深度和top-k不变,将k依次设置为0、10、20、40、60、80和100时,召回率依然保持完美。MRR仅略有变化,从k=0时的约0.91下降到0.90左右。q006的排名从第二位降到第三位、第四位,再也没能回到第一位。将候选项数量从5增加到30,同时保持k为60时,召回率依然完美,混合MRR也接近0.90,但仍低于密集型方法的水平。在这次测试中,那些显而易见的参数调整并未缩小排名差距。
从模拟数据到实际应用
企业很少关心检索架构的名称,他们关注的是答案是否可靠、改进是否能提升质量,以及是否有人能够解释性能下降的原因。这促使工作流程从“构建、尝试几个提示词、发布”转变为测量、拆分、检查、解释、调整,然后再测量。
有用的成果并非单一的分数,而是每条查询的排序、返回的片段、检索器之间存在分歧的部分、按问题类型划分的数据、具体的故障案例以及导致这些问题的配置。当仪表板上的数值发生变化时,这些资料能为工程师提供着手解决的起点。
在更大规模上,Uber在其即时辅助工具Genie中也采用了类似的分离方式:检索质量与答案质量会分别依据由领域专家构建的基准集进行评估。有一个细节值得注意:糟糕的PDF提取功能甚至在检索开始之前就会破坏表格结构与内容分割。那些看似排名错误的问题,其实可能源于文档质量的问题。
标签也有可能出错
评估者仅知晓自己所获得的关联度标签。某个内容片段虽然确实有用,但如果并非标记为基准的理想内容,仍可能被判定为不相关。重叠的片段会让情况更加复杂。当查询结果变差时,需要同时检查检索系统和基准集。关联度集合是否完整?两个片段能否共同回答该问题?是否有片段边界导致某项陈述与其解释分离?评估工具无法替代人工判断,只是为判断提供更有效的依据。
五位守护者
- Perfect Recall@5并非完美的排名标准。若加入MRR指标,才能确定答案确实存在。
- 需深入分析查询内容而不仅仅是平均值,一个异常案例就可能影响整体评分。
- 检索器一致性只是线索而非定论。RRF算法会优先考虑双列表的流行度,这仅是一种启发式方法。
- 单纯调整参数并不能真正理解其机制。k扫描已证明存在回归现象,唯有融合数学模型才能解释这一现象。
- 应像审视模型一样仔细检查标签,“错误”的匹配结果可能是被错标的高价值数据。
结语
依靠少量数据集取得的胜利很少能直接造就冠军。正是像q006这样的失败案例,才迫使人们从指标出发,经过查询、数据块处理、融合计算,最终形成可控实验。只有当评估能开启新的研究而非终结现有研究时,它才有价值。演示可以证明流程能够运行,而良好的循环结构则能表明你可以信任后续的改动。
链接
- GitHub上的RAG系统评估平台
- Hugging Face Spaces上的实时演示
- Cormack、Clarke和Buettcher关于互斥排名融合的研究
- Uber也发布过一篇关于改进型代理式RAG的工程文章
- Uber的Genie相关内容发布在公司的工程博客上,标题即为Genie