首页 / 文章

以Turbopuffer为例,评估超越ANN召回率的RAG检索效果。

即使使用快速的向量索引,也仍可能找不到答案。了解Turbopuffer的存储权衡、混合BM25与向量搜索技术,以及如何通过黄金集来衡量实际的召回率。

发布者:REACTAPP.TOP阅读约 7 分钟1671 词

来源: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

启动 RAG 项目的团队通常会首先面临一个问题:该选择哪种向量数据库。这确实是个值得考虑的问题,但并非最关键的因素。更好的数据库能够降低成本、加快搜索速度,并让大型系统的操作更为简单。不过它无法决定用户是否真的获得了所需的信息。

Turbopuffer 是一个值得研究的典型案例,原因有二:其一,它的存储与服务模式与众不同;其二,它凸显出了大多数 RAG 团队会忽略的步骤——对检索功能进行恰当测试。

Turbopuffer 如何存储和服务数据

数据的持久副本存储在对象存储中,内存和 NVMe 则用作缓存。查询服务器是无状态的,因此一台服务器可以服务多个命名空间,且无需永久保存某个客户的所有数据。

这适用于在多个租户之间共享的大型数据集。想象一种B2B产品,每个客户都拥有一组文档,但任何时刻只有少数客户在活跃使用。将每个客户的完整索引都存储在RAM中成本极高。不活跃的数据可以以较低成本存储在对象存储中,而活跃的命名空间则可加载到NVMe和内存中以提升性能。

这种设计存在一定的权衡。对于包含一百万份文档的命名空间,Turbopuffer的快速查询p50值为14毫秒,而针对相同规模的不活跃命名空间的首次查询p50值则为874毫秒。因此“始终快速”这一描述并不准确,更恰当的说法是数据处于静止状态时成本较低,一旦开始使用则响应迅速。许多大型RAG系统应该能接受这样的平衡,不过如果即使是对近期未被访问过的数据也要求每次查询都快速响应,那这种设计就显得不够理想了。

该产品还侧重于第一阶段的检索,将庞大的数据集缩小为数量有限的候选集。其余工作则由应用程序负责:混合搜索、重新排序以及决定哪些内容传递给模型的逻辑。这种分工有助于明确一个事实——数据库能够实现检索功能,但是否有效的检索仍由应用程序来判定。

为何基本流程存在不足

最简单的RAG流程如下所示:

User question → vector search → top 5 chunks → LLM answer

用于演示尚可,但在实际生产环境中表现不佳。真实用户不会只提出简洁的语义类问题,他们会粘贴错误代码、询问规则例外情况、使用缩写和产品名称,需要旧版本的文档,或者希望得到涵盖多份文档的答案。

结合使用这两种搜索方式是合理的:

  • 向量搜索能够处理语义内容,它可以将“生完孩子后的休假”与标题为“育儿假”的页面关联起来。
  • BM25则负责处理精确的文字匹配,因此包含 ERR_PAYMENT_042、SKU-78291 或 AuthMiddleware 的查询能够准确定位到对应页面。

这两种方法都可通过 multi_query 在 Turbopuffer 中使用,其结果还可通过互反排名融合技术(即 RRF)进行合并。之后应用程序可对排名靠前的 20 到 50 个结果重新排序,仅将其中最相关的几部分提供给大语言模型。混合搜索并不一定就更优——向量检索与关键词检索的失效方式各不相同,因此需要通过应用程序自身的测试集来判断这两种方法是否都具备实用价值。

需要衡量的三项指标

较高的向量召回率会让许多团队误以为 RAG 已经发挥了作用,但实际上这个数值并不能说明问题。

需要衡量三项独立的指标:

  1. 索引精确度:近似向量检索得到的结果是否与精确向量检索的结果一致?
  2. 检索相关性:检索结果是否能够提供解答问题的有效证据?
  • 答案质量:模型是否正确且安全地使用了该证据?
  • Turbopuffer很好地解决了第一个问题。它抽取1%的实时查询流量,将近似最近邻搜索的结果与全面向量搜索的结果进行比较,并统计两者之间的重叠程度。根据其分析,对于许多工作负载而言,90%到95%的@10召回率是一个合理的平衡点。这能够表明索引是否能找到与精确向量搜索相同的结果,但无法说明精确向量搜索是否适合该问题。

    假设有一名用户提出如下问题:

    What does ERR_PAYMENT_042 mean?
    

    答案存在于知识库的错误代码页面上,但该代码仅出现在一个巨大的表格中一次。向量搜索可能会返回三份通用的支付指南,因为它们在含义上与问题较为接近,而精确向量搜索也会返回同样的三份内容。数据库会显示100%的ANN召回率,但实际上正确答案从未被模型获取到。

    对ERR_PAYMENT_042进行一次BM25搜索就能解决这个问题。无论如何调整向量索引都无法解决,因为向量索引本身并未出错——它原本就工作得很好,只是被分配了错误的任务。因此核心观点是:ANN召回率不等于RAG召回率。前者衡量的是索引与数学搜索的匹配程度,后者则衡量用户是否获得了正确的信息。

    构建小型黄金数据集

    在更改分块大小、嵌入模型、Top-K算法或重排器之前,先收集一批真实的题目,并标明每个分块应回答哪些问题。一开始一百道题目就足够了,而且无需做到完美无缺。可以参考搜索日志、支持工单以及用户报告的故障案例,再加入一些领域专家提供的题目。每条记录只需很少的信息即可:

    {
      "query": "How much parental leave do employees get?",
      "relevant_chunk_ids": ["benefits/parental-leave#3"],
      "query_type": "semantic_paraphrase",
      "must_contain": ["16 weeks"],
      "must_abstain": false
    }
    

    题库应包含不同类型的问题:

    • 确切的标识符和缩写词,
    • 普通的语义问题,
    • 冗长复杂的用户问题,
    • 需要参考两份文档的问题,
    • 没有答案的问题,以及
    • 虽然有答案但用户不应看到的敏感问题。

    那些没有答案的问题非常重要。RAG系统应当能够明确表示在现有文档中找不到相关内容,这总比编造答案要好。

    一个值得采用的规则:在修复每个真正的RAG故障之前,先将其转化为测试用例。如果跳过这一步,虽然漏洞得到了修复,但相关示例会被遗忘,六周后同样的缺陷还会出现。

    从简单的检索指标开始

    不应先依赖大语言模型进行判断。简单的检索指标就能完成初步筛选:

    • Recall@K用于判断正确的片段是否出现在前K个结果中。
    • 平均互反排名(MRR)则衡量第一个正确片段出现的顺序。位于第1位的正确片段与位于第5位、被四个干扰片段隔开的正确片段并非等同。
    • 标准化折现累积增益(nDCG)在某些片段可被评定为“高度相关”而其他片段为“稍有相关”时才具有实用价值。Turbopuffer的混合搜索指南建议构建包含理想结果的查询测试集,并以此评估nDCG。

    单一的整体平均值会掩盖太多信息,因此应将结果按问题类型分开分析。一个有用的发现可能是:混合搜索提升了整体召回率,但几乎所有提升都来自错误代码和缩写词,而对普通语义问题的提升则微乎其微。平均值无法体现这一点。

    逐项对比不同设置

    保持实验规模小且可重复,使用同一组标准数据集在多种配置下进行测试:

    • 测试A:仅使用向量搜索,作为基准。
    • 测试B:仅使用BM25搜索,展示精确匹配的优势。
    • 测试C:将向量搜索与BM25结合并通过RRF算法优化,验证混合方式是否有效。
    • 测试D:在测试C的基础上加入重排器,判断质量提升是否足以弥补额外的延迟和成本。

    每次运行只修改一个参数,并记录以下数据:5次和10次检索时的召回率、MRR(在标注评分后还需加上nDCG)、冷启动延迟与热启动延迟的数值,以及1,000次查询的耗时。Turbopuffer支持测试命名空间以及生产命名空间的分支,这简化了实验过程,因为可以在不影响真实命名空间的情况下使用真实数据进行测试。

    还应跟踪Turbopuffer自身的ANN召回率,作为索引健康状况检查。如果该数值下降,说明索引无法很好地匹配精确搜索需求。如果索引健康但黄金集得分较低,则问题出在其他方面:嵌入向量、分块处理、混合搜索机制、过滤条件或重排算法。这是一种非常实用的诊断方法。

    接着检查结果

    当合适的文本片段被传递给大语言模型后,需通过五个问题来检验最终答案:它正确吗?每一个重要论点都有对应的检索文本作为支撑吗?它包含了所有关键信息吗?其中的引用能否支持其对应的论点?当没有合适答案时,模型是否给出了合理回应?

    简单的事实应当用简单的检查方法:对于必须明确写出“16周”这样的答案,可以直接搜索该短语。对于更复杂的判断,比如长篇回复是否具有依据且内容完整,才需要借助大语言模型来进行评估。虽然Ragas之类的工具可以提供帮助,但它们无法替代完善的测试集。

    最危险的情况是检索失败,而大语言模型仍凭借自身的训练数据给出看似合理的答案。端到端的检查可能会认为答案没有问题,但实际上RAG流程已经失败。当答案涉及特定公司信息、近期变更的内容或敏感信息时,这种情况就会变得十分危险。

    更深层的启示

    Turbopuffer适用于需要检索大量数据及多个命名空间的场景,其成本模型不会让闲置数据产生过高成本。不过关键点并不在于该产品本身,而在于衡量标准。Turbopuffer会检查其近似搜索结果与实时流量下的全面搜索结果是否一致,这体现了良好的工程思维。RAG系统也应效仿这一做法,通过检查是否检索到了正确的证据、模型是否有效使用了这些证据,以及新的变更是否真的恶化了用户的实际工作流程。

    速度并不等同于准确性,因为快速的检索工具可能在几毫秒内就返回错误的文档。解决方法是构建小型“黄金数据集”,一次只修改一个变量,并将每一次失败都转化为回归测试。正是通过这种方式,RAG才从看似神奇的工具转变为可以逐步改进的系统。