首页 / 文章

RouteRAG:利用强化学习教会小型模型何时以及如何进行检索。

RouteRAG通过两阶段GRPO训练小型模型,采用段落、图谱或混合检索方式,减少检索轮次并提升多跳问答的准确率。

发布者:REACTAPP.TOP阅读约 6 分钟1410 词

来源: RouteRAG: An RL Router That Teaches RAG When to Search

将RAG与强化学习相结合已成为更为常见的研究方向,RouteRAG便是典型的例子。该论文训练语言模型自行决定从文本、图结构或两者中获取信息的方式,以及何时停止检索。

其要解决的痛点

语言模型的知识在预训练阶段就已固定。对于需要外部或最新信息的问题,它往往只能给出过时或错误的答案。较新的方法采用多轮检索机制,即模型先进行推理、获取新信息,再再次推理并重复这一过程。较小的开源模型难以应对这种循环机制,它们在决定何时搜索、如何构建查询语句以及如何分析返回结果方面存在困难。许多基于提示词的流程实际上依赖于那些具备强大内置推理与规划能力的大型闭源模型。

图结构增加了另一层难度。它使实体间的关系更加明确,这有利于多跳推理,但获取和处理图结构中的证据需要较高的计算成本。大多数系统还将图检索视为流程中的单一固定步骤,并依赖启发式方法,无法在推理过程中引入更多图结构证据。

获取更多文档或在图结构与文本之间切换并不能解决问题。模型需要一个通过强化学习训练得到的可学习策略,该策略能够主动决定下一步该做什么:从文本中检索、从图结构中检索还是两者结合检索,何时停止,以及如何在准确性与效率之间取得平衡。更智能的检索方式比单纯增加检索次数更有效。

将检索视为序列决策

RouteRAG将多轮RAG视为一种顺序决策过程。它不依赖固定的手工设计流程或静态指令,而是学习一种策略,通过推理流中的特殊标记来触发检索操作。

在每一步中,模型都会输出一个动作标记。它可以继续内部推理,使用<search>...</search>开始搜索,或用<answer>...</answer>结束推理。在<search>标签内,可通过标记选择检索模式:[passage]、[graph]或两者兼用,如[graph][passage],表示混合检索方式。

需要记住的是它与早期工作的区别。以往基于强化学习的多轮RAG方法大多将推理与篇章检索混在一起,仅通过答案正确性这一结果奖励来引导模型,没有对成本或效率施加明确约束。RouteRAG则将检索方式扩展为篇章模式、图模式和混合模式。它在基于GRPO的两个强化学习阶段中进行训练:第一阶段仅以正确性作为奖励;第二阶段则加入基于总检索时间计算的效率奖励,从而在保障答案质量的同时促使模型进行选择性检索。

循环机制详解

该策略模型πθ会逐步生成标记,其操作步数最多为B步。格式为<search>...</search>的输出会被解析为一个子查询q′以及一个检索模式m ∈ {Passage, Graph, Hybrid},二者都会被传递给检索器R。检索器返回的任何证据d都会被封装在<information>...</information>中,并添加到下一轮的上下文中。一旦出现<answer>...</answer>,循环就会立即停止。

在训练过程中,步数预算被设定为B=4步,每次检索会生成3段文本。这个数值与下文中RRF公式中的平滑常数无关,只不过两者使用了相同的字母而已。

因此,该模型无需自行判断是否搜索或搜索什么内容。它会学习何时检索、如何构建子查询以及使用哪种检索模式。

三种检索模式

  • 段落检索采用DPR风格的密集搜索方式。子查询与语料库中的段落会被编码到同一个嵌入空间中,随后根据相似度选出排名前k的结果。
  • 图检索则利用HippoRAG 2从语料库中构建知识图谱。对于查询内容,个性化PageRank算法会从与之相关的节点出发,通过多跳连接找出相关证据。
  • 混合检索则通过互反排名融合(RRF)方法将两种检索结果合并。如公式所示,无论在哪种列表中排名较高的文档,在合并后的排名中都会获得更高的分数:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]

因此,互补证据更有可能被保留下来,因为通过任一评估方式获得高分的文档会得到优先处理,从而减少被忽略的概率。

使用GRPO进行训练

RouteRAG通过群体相对策略优化(GRPO)进行学习,该方法通过比较群体内的不同路径来稳定训练过程,从而在奖励较少的情况下降低方差。正是奖励设计让该方法具备了优势。

第一阶段:仅关注准确率。如果模型的答案与真实答案完全一致,则得分为1,否则为0。此阶段的目的是建立坚实的基础:先学会给出正确答案,暂时不考虑成本问题。

第二阶段:精准度与效率并重。只有正确答案才有资格获得效率奖励。根据论文所述,总检索时间t以批量平均值t_avg为基准,并通过常数T进行归一化,使得t和t_avg始终保持在[0, 0.5]的范围内。

R_efficiency = (t_avg - t) / T

因此,即使答案正确,若其计算时间超过批量归一化的时间,仍会扣分。为保证稳定性,训练目标会将截断后的策略比率与KL惩罚以及组相对优势Aᵢ相结合。在加上两阶段奖励后,策略会倾向于那些既正确又易于获取的路径,从而实现更快速、更精准的决策,且无需依赖偶然发现此类路径。

评估

测试涵盖了五种常见的问答数据集:PopQA、Natural Questions (NQ)、HotpotQA、2WikiMultihopQA (2Wiki)以及MuSiQue。评估采用了完全匹配(EM)和F1两种指标,结果分为简单问答(PopQA、NQ)、多跳问答(HotpotQA、2Wiki、MuSiQue)以及五类数据集的整体平均值。

尽管底层模型 Qwen2.5-3B-Instruct 和 Qwen2.5-7B-Instruct 的规模相当较小,但多跳问答任务的性能提升最为显著,整体平均得分也随之上升。在多跳任务中,其表现接近于在 GPT-4o-mini 上运行的图结构 RAG 系统,甚至优于后者几分。需要注意的是,图结构基准模型使用的是 GPT-4o-mini,而基于文本的基准模型则采用 Qwen2.5 作为底层模型。不过这在简单的问答任务中会带来一定的准确性损失。

一个案例研究展示了这一效果。

在训练之前,该模型会从记忆中编造事实:它声称约翰尼·彭伯顿在《70年代秀》中饰演过博·汤普森,并将史蒂文·莫拉罗列为该剧的创作者。经过训练后,它不再出现这类错误,而是将问题分解为多个步骤,获取正确的信息,最终确定真正的创作者是贾斯汀·斯皮策。

突出特点

RouteRAG将整个推理、检索和生成流程整合为一个可学习的策略。它在步骤预算B的限制下,同时处理决策问题——即决定检索何种内容(段落、图表或混合形式)以及何时给出最终答案。通过基于两阶段GRPO的强化学习架构进行优化,即便使用较小的模型结构也能获得显著提升。

它最宝贵的特点并非仅仅是另一种RAG变体。该模型在策略内部学习何时检索、何时作答,而非依赖硬编码规则。因此,在保持F1分数不变的情况下,它将检索轮次从2.70减少到了2.25,优于那些没有效率优化机制的变体。

实际部署时的两个注意事项

  • 泛化性。实验结果仅涉及30亿参数和70亿参数的模型,且图形检索始终使用HippoRAG 2。该路由机制在更大规模模型或不同图形处理流程下的表现尚不清楚。在实际应用中,图形质量或覆盖范围的变化可能会直接影响规划器的行为,而这一点尚未经过测试。
  • 奖励设计。效率指标依赖于批量级平均检索时间。作者认为这能降低时间信号中的噪声,从而稳定训练过程。不过,它是否也能促使模型避免使用速度较慢的图检索方式,目前尚未经过直接测试,因此仍属于一种可能存在但尚未得到证实的风险,尤其可能影响那些需要图推理处理的长尾多跳查询。仅在正确路径上对效率给予奖励,再加上GRPO的群体相对优势,有助于在不牺牲答案质量的前提下实现选择性检索,但无法保证总是会选择那些虽然速度慢但必要的图检索方式。
  • 供参考,该论文的标题为RouteRAG,副标题为“通过强化学习实现基于文本和图的高效检索增强生成”。

    相关阅读

  • KohakuRAG:通过文档树结构查找合适证据 — 介绍KohakuRAG这一具备四级文档树结构、支持多查询检索、对空结果自动重试及投票机制的RAG框架,该框架已在WattBot 2025测试中得到验证。