RouteRAG: обучение небольшой модели тому, когда и как осуществлять поиск с использованием метода RL.
RouteRAG обучает небольшую модель с двухэтапным методом GRPO для выбора способа поиска — пассажа, графа или гибридного — что сокращает количество итераций поиска и улучшает результаты многократных вопросов-ответов.
Источники: RouteRAG: An RL Router That Teaches RAG When to Search
Сочетание технологии RAG с методами обучения с подкреплением становится всё более распространённым направлением исследований, и RouteRAG является ярким примером этого. В данной работе обучается языковая модель, которая сама решает, как извлекать информацию из текста, из графа или из обоих источников, а также когда прекратить процесс.
Проблема, которую решает метод
Знания языковой модели фиксируются на этапе предварительного обучения. При решении вопросов, требующих внешней или свежей информации, она часто даёт устаревшие или неверные ответы. Более современные методы используют многократный поиск информации: модель сначала анализирует ситуацию, затем получает новые данные, снова анализирует их и повторяет процесс. Более мелкие модели с открытым исходным кодом испытывают трудности с таким циклом — у них возникают проблемы с принятием решения о моменте поиска, с формулировкой запроса и с анализом полученных результатов. Многие решения, основанные на промптах, фактически зависят от крупных моделей с закрытым исходным кодом, обладающих сильными встроенными функциями логического мышления и планирования.
Графы добавляют второй уровень сложности. Они делают отношения между сущностями явными, что удобно для многократных логических выводов, однако извлечение и обработка данных из графов сопряжены с высокими вычислительными затратами. Большинство систем также рассматривают поиск в графах как отдельный, фиксированный этап в процессе обработки и опираются на эвристики, не имея возможности добавлять дополнительные данные из графов по мере развития логических выводов.
Извлечение большего количества документов или переключение между графами и текстом не является решением проблемы. Модели необходима обучаемая стратегия, разработанная с использованием методов подкрепления, которая активно выбирала бы дальнейшие действия: извлекать данные из текста, из графа или из их комбинации, когда остановиться и как сбалансировать точность и эффективность. Более умный способ поиска лучше, чем просто большее количество поисков.
Поиск как последовательные решения
RouteRAG рассматривает многократный процесс RAG как последовательную процедуру принятия решений. Вместо фиксированных, вручную созданных конвейеров обработки или статических инструкций он обучается политике, при которой специальные токены в потоке рассуждений запускают действия по поиску информации.
На каждом шаге модель генерирует токен действия. Она может продолжать внутренние рассуждения, начать поиск с помощью <search>...</search> или завершить процесс с помощью <answer>...</answer>. Внутри тега <search> указывается режим поиска: [passage], [graph] или оба вместе, например [graph][passage], что означает гибридный способ поиска.
Главное, что следует запомнить, — это контраст с более ранними работами. Ранние методы многократных обменов информацией на основе RL в основном сочетали процесс рассуждений с поиском текстов и оценивали качество ответа исключительно по награде за его правильность, не учитывая явного давления со стороны показателей затрат или эффективности. RouteRAG расширяет возможности поиска до режимов работы с текстами, графами и гибридных вариантов. Он обучается в два этапа с использованием метода GRPO: на первом этапе оценивается только правильность ответа, а на втором добавляется награда за эффективность, рассчитываемая на основе общего времени поиска, что побуждает модель к избирательному поиску информации при сохранении качества ответа.
Подробности работы цикла
Шаг за шагом модель политики πθ генерирует токены, причем у неё есть не более B шагов для работы. Выходной элемент вида <search>...</search> разбирается на подзапрос q′ и режим поиска m ∈ {Passage, Graph, Hybrid}, после чего оба передаются в механизм поиска R. Любые полученные доказательства d помещаются в теги <information>...</information> и добавляются в контекст для следующего раунда. Цикл прекращается сразу при появлении элемента <answer>...</answer>.
Во время обучения количество шагов устанавливается равным B=4, и каждый поиск возвращает 3 отрывка. Это число не связано с константой сглаживания в формуле RRF, в которой также используется та же буква.
Таким образом, модель не делает предположений относительно того, следует ли искать и что искать. Она учится когда запрашивать информацию, как формулировать подзапросы и какой режим использовать.
Три режима поиска
- Поиск фрагментов использует плотный поиск в стиле DPR. Подзапросы и фрагменты корпуса кодируются в общем пространстве вкладок, после чего выбираются элементы с наибольшим сходством (top-k).
- Поиск в графе создаёт граф знаний из корпуса с помощью HippoRAG 2. Для запроса персонализированный PageRank начинается с узлов, связанных с запросом, и выявляет соответствующие доказательства посредством многократных связей.
- Гибридный поиск объединяет два списка результатов с помощью Reciprocal Rank Fusion (RRF). Документ, занимающий высокое место в любом из списков, получает повышенный рейтинг в объединённом списке, как показано в формуле:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]
Таким образом, дополнительные доказательства с большей вероятностью сохраняются, поскольку документ, получивший высокую оценку в любом из способов, получает приоритет и меньше подвержен упущению.
Обучение с использованием GRPO
RouteRAG обучается с помощью Group Relative Policy Optimization (GRPO), который стабилизирует процесс обучения путем сравнения траекторий внутри группы, тем самым снижая дисперсию при редких наградах. Именно в проектировании наград заключается преимущество этого метода.
Этап 1: только точность. Модель получает 1, если её ответ полностью совпадает с истинным решением, и 0 в противном случае. Цель — создать прочную основу: научиться правильно отвечать, пока не учитывая затраты.
Этап 2: точность плюс эффективность. Только правильные ответы имеют право на награду за эффективность. Общее время поиска t смещается относительно среднего значения по пакету t_avg и нормализуется коэффициентом T — константой, которая, согласно статье, сохраняет значения t и t_avg в диапазоне [0, 0.5].
R_efficiency = (t_avg - t) / T
Таким образом, даже правильный ответ теряет баллы, если на его получение ушло больше времени, чем при использовании метода batch norm. Для обеспечения стабильности цель обучения сочетает скорректированные коэффициенты политики с штрафом KL и групповым относительным преимуществом Aᵢ. Благодаря двухэтапным наградам политика склоняется к траекториям, которые одновременно корректны и проще в поиске, что обеспечивает более быстрое и избирательное воспроизведение, при этом она не зависит от случайного обнаружения подобных паттернов.
Оценка
В тестировании участвовали пять распространённых наборов данных для задач QA: PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) и MuSiQue. Использовались два показателя — Exact Match (EM) и F1; результаты были разделены на задачи простого QA (PopQA, NQ), задачи с несколькими шагами (HotpotQA, 2Wiki, MuSiQue) и общее среднее по всем пяти наборам.
Многопромежуточные методы проверки качества показывают наиболее значительный рост эффективности, при этом общее среднее значение также увеличивается, несмотря на довольно небольшие основные модели — Qwen2.5-3B-Instruct и Qwen2.5-7B-Instruct. При выполнении многопромежуточных задач результаты приближаются к результатам систем типа graph RAG, работающих на GPT-4o-mini, и превышают их на несколько процентов. Следует отметить, что в качестве базовых моделей для графовых систем используется GPT-4o-mini, тогда как в текстовых базовых моделях применяется основная модель Qwen2.5. Однако это сопряжено с некоторой потерей точности при решении более простых задач проверки качества.
Пример исследования демонстрирует этот эффект.
До обучения модель самостоятельно создает факты из памяти: она утверждает, что Джонни Пембертон сыграл Бо Томпсона в сериале That '70s Show, и называет Стивена Моларо его создателем. После обучения она избегает таких ошибок, разделяет вопрос на этапы, находит правильные доказательства и приходит к выводу, что настоящим создателем является Джастин Спитцер.
Что выделяется
RouteRAG объединяет весь цикл рассуждений, поиска информации и генерации ответа в одну обучаемую политику. Он сочетает процесс рассуждений с решениями о том, какую информацию извлекать (текст, граф или гибрид), и когда давать окончательный ответ в рамках установленного лимита шагов B. Благодаря оптимизации с использованием двухэтапной схемы RL на основе GRPO он обеспечивает значительные улучшения даже при использовании простых архитектур.
Самое ценное свойство этой модели заключается не в том, что это ещё один вариант технологии RAG. Модель сама учится, в рамках своей политики и без использования жестко заданных правил, когда извлекать информацию и когда отвечать в рамках установленного лимита шагов. В результате количество итераций поиска сокращается с 2,70 до 2,25 по сравнению с вариантом без механизма повышения эффективности, при этом показатель F1 остается неизменным.
Два аспекта, которые следует учитывать при реальном применении
- Обобщение. Результаты касаются только моделей объемом 3 млрд и 7 млрд параметров, причем для поиска графов всегда используется HippoRAG 2. Как будет работать механизм маршрутизации с более крупными моделями или другими пайплайнами обработки графов, неизвестно. В производственных условиях изменения качества или охвата графов могут напрямую повлиять на поведение планировщика, однако это еще не тестировалось.
- Дизайн наград. Показатель эффективности основан на среднем времени поиска на уровне пакетов. Авторы утверждают, что это снижает шум в сигнале времени и стабилизирует процесс обучения. Было ли это также способствует отказу от более медленного поиска графов, не проверялось напрямую, поэтому это остается вероятным, но неподтвержденным риском, который может негативно сказаться на вопросах с длинным списком элементов и несколькими этапами обработки, где критически важно использование графовой логики. Награждение за эффективность только в случае правильных траекторий в сочетании с преимуществом GRPO, основанным на относительных группах, стимулирует избирательный поиск без ущерба для качества ответа, но ничто не гарантирует, что всегда будет выбираться медленный, но необходимый поиск графа.
Для справки, название статьи — RouteRAG, а подзаголовок гласит о эффективном генерировании на основе текста и графов с использованием методов поиска и усиления через обучение с подкреплением.
Связанная литература
- MultiDocFusion: Разбиение на чанки с учётом иерархии для технологии RAG в длинных PDF-документах — Как обнаружение макета, OCR, ИИ-модель на основе дерева заголовков и группировка с использованием алгоритма DFS позволяют сохранять контекст разделов в каждом чанке, что дает прирост эффективности поиска на 8–15%, а также два замечания относительно размера индекса.
- От прототипа к производственной версии RAG: гибридный поиск, агенты и оценка — Схема архитектуры для производственной реализации технологии RAG в среде .NET: разбиение на чанки, гибридный и графовый поиск, переранжирование результатов, планирование запросов, форматирование вывода и постоянная оценка эффективности.