RouteRAG: навучаем малую мадэль, калі і як шукаць, праз RL
RouteRAG навучае малую мадэль двухэтапным GRPO выбіраць пошук па ўрыўках, па графе ці гібрыдны, скарачаючы колькасць крокаў пошуку і паляпшаючы шматкрокавыя адказы.
Крыніцы: RouteRAG: An RL Router That Teaches RAG When to Search
Спаўненне RAG з методамі падкрэплення навчання стало болей распашчэнай напрамою даследжэнняў, і RouteRAG яўляецца яскравым прыкладам. У данай робе навчаецца мовны мадэль, каб тая сама вырашала, як запрашваць інфармацыю з тэксту, з графа або з обох, і калі зупініцца.
Проблема, якую яна рашае
Знанні мовнай мадэлі застаюцца незменнымі пасля прадзейсневага навчання. Для запытанняў, якім трэбае зовнішняя або свежая інфармацыя, яна часта вяртае застарэлыя або некарэктныя адпаведзенні. Новэйшыя методы выкарыстоўваюць багатоэтапны прыем запрашвання інфармацыі, пры яком мадэль аналізуе сітуацыю, запрашвае новую інфармацыю, знову аналізуе і так далей. Меншыя мадэлі з адкрытым кодам страждаюць ад такога цыклу; у яных ёсць проблемы з выборам часу для пошуку, формулюванням запытання і аналізам таго, што было запрашана. Большасць практык, якія базуюця на прамптах, пасляўледна завісяць ад вялікіх модэляў з закрытым кодам, якія маюць сільныя вбудованыя можлівасці аналізу і планавання.
Графы дадаюць дзвяты слой сложнасці. Яны чыняць стосункі межаў аб’ектаў явнымі, што падходзіць для багатоэтапнага аналізу, але запошчанне і апрацоўка дакументаў у фармаце графаў ёсць высакаўтратным з точкі зору вычыслень. Большасць сістэм таксама спрыяець выкарыстоўванню графаў як аднаго, фіксаванага крока ў працэсе апрацоўкі дакументаў і паслугваецца гіюрыстыкамі, не маючы можлівасці дадаць больш дакументаў у фармаце графаў па меры розвітку аналізу.
Выкарыстоўванне больш дакументаў чы альтэнацыя межаў графаў і тэксту не ёсць рашэннем. Модэлю патрэбна навучальная стратэгія, навучаная за дапамогою метода падкрэплення, якая актыўна выбірае, што робіць далей: выкарыстоўваць тэкст, граф чы ўзаўсёды, калі зупініцца і як паставіць точнасць проты эфектывнасці. Болей розумнае запошчанне дакументаў лепшая, чым больш запошчанняў.
Запошчанне дакументаў як серыя рашэнняў
RouteRAG выкладвае працэс мнагацыклівага RAG як парадоксальны працэс адлёгчэння. У працоўку замест фіксаваных, ручна створаных пайплайнаў чы статычных інструкцыйяў ён выучае правілы, па якіх спецыяльныя токены ў потоку разумовых выкладчын ствараюць дзеянні адзысквання інфармацыі.
На кожным кроцы мадэль выдае токен дзеяння. Яна можа продаваць разумовыя выкладчыны ўнутршна, пачаць пошук за дапамогою <search>...</search> чы завершыць за дапамогою <answer>...</answer>. Унутрш у <search> таг выбірае спосаб адзысквання: [passage], [graph] чы і тое, і іншае, як у [graph][passage], што означае гібрыдны спосаб адзысквання.
Галоўная рэч, яку трэба памяцаць, — гэта контраст з пакульнімі робамі. Большасць пакульных методаў RAG з аднойчынным абработкай на аднойчынных алгорытміх рэшэннях перамешвалі логічныя выводы з адзысканнем тэкстаў і награджвалі толькі правільнасць адпаведзі, тэкстуючы награду як рэзультат, без явнага тыску на вартасць чы эфектыўнасць. RouteRAG расшыруе адзысканне да рэжымаў тэкстаў, графаў і гібрыдных. Ён трэнуецца у двух этапах на аднойчынных алгорытміх рэшэннях, створаных на базе GRPO. У першай этапы награджваецца толькі правільнасць. У другай этапы дадаецца награда за эфектыўнасць, вылічаная на аднойчынных алгорытміх рэшэннях з урахоўваннем загальнага часу адзыскання, што спрыяе выбірачнаму адзысканню дакументаў, адночасна захоўваючы якасць адпаведзі.
Падробнае апісанне ціклу
Па кроках мадэль політыкі πθ генеруе токены, пры чым у яе ёсць не больш за B крокаў на выконанне задачы. Выпуск <search>...</search> аналізуецца на падзапыт q′ плюс спосаб адзыскання m ∈ {Passage, Graph, Hybrid}, і які-то з іх падаюць да адзысквача R. Усія дапаможныя даны d, якія вяртаюцца, заключаюцца ў <information>...</information> і дадаюцца да кантэксту для наступнага раунду. Цыкл завершаецца як толькі з’являецца <answer>...</answer>.
Пад час навчання ліміт задаецца як B=4 крокаў, і кожна адзыскання дае 3 абражкі. Гэтыя паказнікі не маюць стосунку да сталянкі выглажвання ў формуле RRF, якая, якраз, выкарыстоўвае тую ж літэру.
Такім чынам мадэль не спробвачвае, чы гэта шукаты чы не, і што самэў шукаты. Яна выучае калі выкарыстоўваць даныя, як сформулюваць падзапыты і какі рэжым выбраць.
Тры рэжымы выкарыстоўвання даных
- Выкарыстоўвання фрагментаў апыраецца на ўшчэльненым пошуку у стылі DPR. Падзапыт і фрагменты корпуса кодуюцца ў спяльнай прасторы інкапсуляцыі, і выбіраюцца тыя, якія маюць найвышшую сэмабільнасць.
- Выкарыстоўвання графа стварае граф знанняў з корпуса за дапамогою HippoRAG 2. Для запыту персоналізаваны PageRank пачынаецца з вузлаў, якія з’яўляюцца ў зв’язку з запытам, і прадстаўляе доказы праз багатоэтапныя зв’язкі.
- Гібрыдны рэжым з’едынае два спіскі рэзультатаў за дапамогою Reciprocal Rank Fusion (RRF). Дакумент, які знаходзіцца на высокай пазіцыі ў аднам з спісакаў, атрымвае падвышэнне у з’едыненам рангу, як паказвае формула:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]
Таму дапаможныя доказатэльніцы больш верагатліва застаюцца, калі дакумент, які атрымуе высокую оцэнку ў будзь-ям з спосабаў, атрымуе прыорытэт і менш верагатліва будзе працягнута.
Адучэнне з GRPO
RouteRAG выучаецца за дапамогою Group Relative Policy Optimization (GRPO), якая стабілізуе адучэнне паляганням на параболенняях у межах групы, тым самым зменшаючы дывергэнцію, калі награды ёсць рэдкімі. Самэўпрадзеўленне наград ёсць тым элементам, які дае гэтаму методу яго прынтэльнасць.
Этап 1: толькі точнасць. Мадэль атрымуе 1, калі яе адпаведзь цэлкам збігаецца з правільным адпаведзем, а 0 іншым чынам. Мета — стварыць моцную базу: выучыцца правільна адпавядаць і наразе ігнораваць косты.
Этап 2: точнасць плюс карабатнасць. Толькі праві адказы паспелі на награду за карабатнасць. Аб’ёмны час аднаходжэння дадзеных t центруецца або сярэднем за пакетам t_avg і нормалізуецца па значэнні T – сталяй, якая, як зазначаецца ў стацыянцы, дзеяць так, каб значэнні t і t_avg залішаліся ў дыяпазоне [0, 0.5].
R_efficiency = (t_avg - t) / T
Такім чынам, правыя адказы все рава трапляюцца без балоў, калі ўзявае больш часу, чым метод batch norm. Для стабільнасці цэль трэнавання спалучае скорачаныя співвяшчанні політык з штрафам КЛ і групавым адносным прыямнем Aᵢ. За дапамогою дваэтапных награды політыка наступае да траектарыяў, якія ўсунуты і якія лёгкая да адналення, тое ў значныя швыдкія і болей селектыўныя, і не залежыць ад таго, чы рандамна будуць знайдзены такія способы.
Ацэнка
Тэставанне абучылася пяць распашчытных набораў дадзеных для QA: PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) і MuSiQue. Былі выкарыстоўваны два паказнікі — Exact Match (EM) і F1, пры чым рэзультаты былі раздзелены на простае QA (PopQA, NQ), QA з кальцамі (HotpotQA, 2Wiki, MuSiQue) і загальны сярэдній за ўсе пяць набораў.
Мульты-хоп-методы аналізу пытання даюць найбольшыя практычныя выгоды, і загальны сярэград таксама падыходзіць угору, нават якія мадэлі-основы досыць маленькія: Qwen2.5-3B-Instruct і Qwen2.5-7B-Instruct. У задачах з мульты-хопам рэзультаты падобныя да тых, якія даюць графічныя сістэмы RAG, якія працуюць на GPT-4o-mini, і нават перавышаюць іх. Заўважыце, што графічныя базовыя мадэлі выкарыстоўваюць GPT-4o-mini, тады калі тэкстовыя базовыя мадэлі выкарыстоўваюць мадэль-основу Qwen2.5. Цэна за гэта — падышча точнасці у простыях задачах аналізу пытання.
Прыкладны аналіз паказвае гэты эфект.
Да трэніравання мадэль сама стварае факты з памяці: яна стварае тверджэнне, што Джонні Пембертан зьіграў Бо Тампсона ў серыі That '70s Show, і называе Стывена Моларо яе творцам. Пасля чаго яна ухіляецца ад такіх памылак, дзеліць запіт на крокі, знаходзіць правільныя доказы і выявляе, што рэальным творцам быў Джастын Спіцер.
Што выдзеляецца
RouteRAG спаўнаяе цэлы цыкл разумавання, запошуку і стварэння рэзультатаў у адну політыку, якая можа быць навучаная. Ён спаўнае разумаванне з рашэннямі пра тое, што запошукваць (тэкст, граф або гібрыд) і калі даваць заканчоўны адказ у межах бюджэту крока B. Аптымізаваны за дапамою дваэтапнай схемы RL на аднойчынніцы GRPO, ён дае значныя практычныя выгоды нават з малымі структурамі мадэлі.
Яго найценнейшая якосць — гэта не проста ўсё той жа варыант RAG. Мадэль навучаецца, у межах сваеі політыкі, а не за дапамою жорсткаях кодаваных правіл, калі запошукваць і калі адказваць у межах бюджэту крока. У рэзультаце ён зменшыў колькісць раундав запошуку з 2,70 да 2,25 у пораўнанні з варыантом без прыемніка эфектывнасці, пры чым показнік F1 застаўся незменным.
Две застэрэжніцы для практычнага выкарыстання
- Узагальненне. Рэзультаты стосуюцца толькі модэляў 3B і 7B, а для адзысквання графа завжды выкорыстоўваецца HippoRAG 2. Не вядома, як будзе выглядаць працэс направлення зусібільшых модэляў або з іншымі практыкамі апрацоўкі графа. У працэсе выкарыстоўвання змены ў якасці або охваце графа могу безпасэродзе паўлічыць працэс планавання, пры чым гэта ўсё ўсё не тэставалася.
Для аднаго кансэпту, назва статты — RouteRAG, а падзагаловак апісвае карабківасць з адзысканням дадзенняў для павышэння якасці генеравання на аднойчыні з тэкстам і графам за дапамою навчання падкрэпленням.
Спаднія матэрыялы
- MultiDocFusion: Разбіўка на часткі з урахоўванням іерархіі для RAG у довгіх PDF-файлах — Як віявлення макету, OCR, LLM з дрэўам загалоўкаў і групаванне за допамогою DFS дапамагают зберагчы кантэкст раздзелаў у кожнай частцы, што дае паўтарэнне даных на 8-15%, а таксама два застэрэжэння ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо
- KohakuRAG: Адаптаванне да дрэва дакумента для пошуку правільных дапаможных дакументаў — Аналіз KohakuRAG, фрэймворку RAG з дрэвам дакументаў чатырох рэвэў, адзначкай кількох запытанняў, павторным запускам у разы, калі рэзультаты неясныя, і сістэмай галасавання; працаваў на WattBot 2025.