Головна / Статті

RouteRAG: Навчання невеликої моделі, коли та як здійснювати пошук за допомогою RL.

RouteRAG тренує невелику модель за допомогою двоступеневого GRPO для вибору способу пошуку — уривка, графу чи гібридного, що скорочує кількість кроків пошуку та покращує результати багатокрокових запитань-відповідей.

Видавець: REACTAPP.TOP6 хв читання1410 слів

Джерела: RouteRAG: An RL Router That Teaches RAG When to Search

Поєднання RAG із методами посиленого навчання стало все більш поширеним напрямком досліджень, і RouteRAG є яскравим прикладом. У цій роботі навчається мовна модель, яка самостійно вирішує, як отримувати інформацію з тексту, з графа або з обох джерел, та коли припинити цей процес.

Проблема, яку вона вирішує

Знання мовної моделі залишаються незмінними під час попереднього навчання. Для запитань, які потребують зовнішньої чи актуальної інформації, вона часто надає застарілі чи неправильні відповіді. Сучасніші методи використовують багатокрокове отримання інформації: модель аналізує ситуацію, запитує нову інформацію, знову аналізує та повторює процес. Більш прості моделі з відкритим кодом мають труднощі з цим циклом — їм важко вирішити, коли шукати інформацію, як сформулювати запит та як проаналізувати отримані результати. Багато систем, що базуються на підказках, фактично залежать від великих моделей з закритим кодом, які мають розвинені вбудовані здібності до міркувань та планування.

Графи додають ще один рівень складності. Вони уточнюють зв’язки між ентитетами, що сприяє багатоетапному міркуванню, проте отримання та обробка даних з графів є обчисленно затратним процесом. Більшість систем також розглядають пошук у графах як окремий, фіксований крок у процесі обробки та покладаються на евристики, не маючи можливості додавати більше даних з графів у міру розвитку міркувань.

Отримання більшої кількості документів чи постійна зміна між графами та текстом не є рішенням проблеми. Моделі потрібна навчувана політика, тренована за допомогою методів посиленого навчання, яка активно вирішуватиме, що робити далі: шукати в тексті, у графі чи поєднано, коли зупинитися та як збалансувати точність та ефективність. Кращий пошук — це не просто більше пошуків.

Пошук як послідовні рішення

RouteRAG розглядає багатокроковий RAG як послідовний процес прийняття рішень. Замість фіксованих, ручно створених конвеєрів або статичних інструкцій він вивчає політику, у якій спеціальні токени всередині потоку міркувань запускають дії зі збору інформації.

На кожному кроці модель випромінює токен дії. Вона може продовжувати внутрішні міркування, розпочати пошук за допомогою <search>...</search> або завершити його за допомогою <answer>...</answer>. Усередині <search> тег вибирає режим збору інформації: [passage], [graph] або обидва, як у [graph][passage], що означає гібридний спосіб збору даних.

Головне, що потрібно пам’ятати, — це контраст із попередніми роботами. Попередні методи багатокрокового пошуку інформації на основі RL переважно поєднували міркування з отриманням уривків та нагороджували лише правильність відповіді, що є результативною нагородою, без прямого тиску щодо витрат чи ефективності. RouteRAG розширює можливості пошуку до режимів уривків, графів та гібридних. Він навчається у двох етапах на основі RL, побудованих на алгоритмі GRPO. На першому етапі нагороджується лише правильність. На другому етапі додається нагорода за ефективність, яка обчислюється за загальним часом пошуку, що спонукає модель до вибіркового пошуку, зберігаючи при цьому якість відповіді.

Деталі циклу

Крок за кроком модель політики πθ генерує токени, причому у неї є не більше B кроків для роботи. Емісія у форматі <search>...</search> аналізується на підзапит q′ та режим пошуку m ∈ {Passage, Graph, Hybrid}, і обидва елементи надсилаються до механізму пошуку R. Усі отримані докази d обгортаються у теги <information>...</information> та додаються до контексту для наступного раунду. Цикл припиняється як тільки з’являється тег <answer>...</answer>.

Під час навчання кількість кроків встановлюється як B=4, і кожен пошук дає 3 уривки тексту. Це число не пов’язане з константою згладжування у формулі RRF, яка випадково має таку саму літеру.

Отже, модель не вгадує, чи потрібно шукати та що саме шукати. Вона вчиться коли здійснювати пошук, як сформулювати підзапити та який режим використовувати.

Три режими пошуку

  • Пошук уривків використовує щільний пошук у стилі DPR. Підзапит та уривки з корпусу кодуються у спільний простір ембеддингів, а потім обираються найкращі результати за критерієм схожості.
  • Пошук у графі створює граф знань з корпусу за допомогою HippoRAG 2. Для запиту індивідуалізований PageRank починається з вузлів, пов’язаних із запитом, та виявляє докази через багатоетапні зв’язки.
  • Гібридний пошук об’єднує два списки результатів за допомогою Reciprocal Rank Fusion (RRF). Документ, який має високий ранг у будь-якому зі списків, отримує підвищення рангу в об’єднаному списку, як показує формула:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]

Тому додаткові докази з більшою ймовірністю збережуться, адже документ, який отримує високу оцінку за будь-яким з цих методів, потрапляє у пріоритетний режим та менш схильний до пропуску.

Навчання з GRPO

RouteRAG навчається за допомогою Group Relative Policy Optimization (GRPO), який стабілізує процес навчання шляхом порівняння траєкторій у межах групи, тим самим зменшуючи дисперсію при рідкісних нагородах. Саме у проектуванні нагород полягає перевага цього методу.

Етап 1: лише точність. Модель отримує 1, якщо її відповідь повністю збігається з істинним рішенням, а 0 — інакше. Метою є створення міцної основи: навчитися правильно відповідати, поки що ігноруючи фактори витрат.

Етап 2: точність та ефективність. Лише правильні відповіді кваліфікуються на нагороду за ефективність. Загальний час пошуку t зосереджується навколо середнього значення за пакетом t_avg та нормалізується за допомогою константи T, яка забезпечує, щоб t та t_avg залишалися в межах [0, 0.5], згідно з дослідженням.

R_efficiency = (t_avg - t) / T

Отже, правильна відповідь все одно втрачає бали, якщо її отримання зайняло більше часу, ніж у методу batch norm. Для стабільності мета навчання поєднує скориговані співвідношення політик із штрафом KL та груповою відносною перевагою Aᵢ. Завдяки двоступеневим винагородам політика схиляється до траєкторій, які є правильними та водночас легше отримати, що забезпечує швидкість та вибірковість, а також не залежить від випадкового знаходження таких рішень.

Оцінка

Тестування охоплювало п’ять поширених наборів даних для QA: PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) та MuSiQue. Використовувалися два показники — Exact Match (EM) та F1, причому результати були розділені на прості запитання QA (PopQA, NQ), багатоетапні запитання QA (HotpotQA, 2Wiki, MuSiQue) та загальний середній показник усіх п’яти наборів.

Мультихопові системи перевірки знань отримують найбільший приріст продуктивності, і загальний середній показник також зростає, навіть попри те, що основні моделі досить невеликі: Qwen2.5-3B-Instruct та Qwen2.5-7B-Instruct. У завданнях з кількома етапами результати наближаються до результатів систем типу graph RAG, які працюють на GPT-4o-mini, та перевищують їх. Зауважимо, що базові графові системи використовують GPT-4o-mini, тоді як базові текстові системи спираються на модель Qwen2.5. Це призводить до певної втрати точності у простіших завданнях перевірки знань.

Приклад дослідження ілюструє цей ефект.

До початку навчання модель вигадує факти з пам’яті: вона стверджує, що Джонні Пембертон грав Бо Томпсона у серіалі That '70s Show, та називає Стівена Моларо його творцем. Після цього вона уникає таких помилок, розділяє запитання на кроки, знаходить правильні докази та визначає Джастіна Спітцера як справжнього творця.

Що вирізняється

RouteRAG об’єднує весь цикл міркувань, отримання інформації та її генерації в одну політику, яку можна навчити. Він поєднує процес міркувань із рішеннями щодо того, що отримувати (текст, граф чи гібрид), та коли надавати остаточну відповідь у межах бюджету кроку B. Завдяки оптимізації за допомогою двоступеневої схеми RL на основі GRPO він досягає значних покращень навіть із невеликими архітектурами моделей.

Його найціннішою рисою є те, що це не просто ще один варіант технології RAG. Модель навчається всередині своєї політики, а не за допомогою жорстко закодованих правил, коли отримувати інформацію та коли відповідати в межах встановленого бюджету кроку. У результаті кількість кроків отримання інформації зменшується з 2,70 до 2,25 порівняно з варіантом без такої оптимізації, при цьому показник F1 залишається незмінним.

Дві застереження щодо реального використання

  • Узагальнення. Результати стосуються лише моделей обсягом 3 млрд та 7 млрд параметрів, а для пошуку графів завжди використовується HippoRAG 2. Як буде працювати механізм маршрутизації з більшими моделями чи різними підходами до обробки графів, невідомо. У умовах продакшену зміни якості чи охоплення графів можуть безпосередньо вплинути на поведінку планувальника, причому це ще не тестувалося.
  • Дизайн винагород. Показник ефективності залежить від середнього часу пошуку на рівні пакетів. Автори стверджують, що це зменшує «шум» у сигналі часу та стабілізує процес навчання. Чи сприяє це також відхиленню стратегії від повільнішого пошуку графів, не було прямо перевірено, тож це залишається ймовірним, але непідтвердженим ризиком, який може завдати шкоди запитам з довгими ланцюгами та багатьма кроками, де необхідне графічне міркування. Надання винагороди за ефективність лише для правильних траєкторій, у поєднанні з груповою відносною перевагою GRPO, спонукає до вибіркового пошуку без жертвування якістю відповіді, проте ніщо не гарантує, що завжди буде обраний повільний, але необхідний пошук графу.

Для довідки, назва статті — RouteRAG, з підзаголовком про ефективне генерування на основі тексту та графів із використанням пошуку та посиленого навчання.

Пов’язана література

  • KohakuRAG: Підйом по дереву документів для пошуку правильних доказів — Огляд KohakuRAG, фреймворку RAG із чотирирівневим деревом документів, можливістю одночасного оброблення кількох запитів, повторною спробою у разі відсутності результатів та системою голосування; протестовано на WattBot 2025.