Strona główna / Artykuły

RouteRAG: Jak nauczyć mały model, kiedy i w jaki sposób wydobywać informacje za pomocą RL

RouteRAG trenuje mały model przy użyciu dwuetapowego GRPO w celu wyboru metody wyszukiwania – fragmentu, grafu lub hybrydowej – co zmniejsza liczbę prób wyszukiwania i poprawia wyniki zadań QA wieloetapowych.

Wydawca: REACTAPP.TOP6 min czytania1410 słów

Źródła: RouteRAG: An RL Router That Teaches RAG When to Search

Łączenie RAG z uczeniem się wzmacniającym stało się coraz częstszym kierunkiem badań, a RouteRAG jest jasnym przykładem. W tym artykule trenuje się model językowy, aby sam decydował, jak pozyskiwać informacje z tekstu, z grafu lub z obu źródeł, oraz kiedy przestać.

Luka, którą ma zaadresować

Wiedza modelu językowego jest zamrożona w momencie wstępnego treningu. W przypadku pytań wymagających informacji z zewnątrz lub nowych danych, model często podaje przestarzałe lub błędne odpowiedzi. Nowsze metody wykorzystują proces wielokrotnego pozyskiwania informacji, w którym model analizuje sytuację, pobiera nowe dane, ponownie je analizuje i powtarza proces. Mniejsze modele otwartego oprogramowania mają trudności z tym cyklem – mają problemy z decydowaniem, kiedy przeprowadzić wyszukiwanie, jak sformułować zapytanie oraz jak przeanalizować otrzymane wyniki. Wiele systemów opartych na promptach w praktyce polega na dużych modelach zamkniętych o silnych wbudowanych zdolnościach analitycznych i planistycznych.

Wykresy dodają drugi poziom trudności. Ujawniają one relacje pomiędzy elementami, co jest przydatne przy rozumowaniu wieloetapowym, jednak pobieranie i przetwarzanie danych z wykresów jest kosztowne pod względem obliczeniowym. Większość systemów traktuje również wyszukiwanie informacji w wykresach jako pojedynczy, stały krok w procesie i polega na heurystykach, nie mając możliwości dodawania kolejnych dowodów z wykresów w miarę rozwoju rozumowania.

Pobieranie większej liczby dokumentów lub przechodzenie między wykresami a tekstem nie jest rozwiązaniem. Model potrzebuje polityki uczonej szkolonej za pomocą uczenia wzmacniającego, która aktywnie decyduje, co robić dalej: pobierać dane z tekstu, z wykresu lub z ich połączenia, kiedy przestać oraz jak pogodzić dokładność z efektywnością. Mądrzejsze wyszukiwanie jest lepsze od większej liczby prób wyszukiwania.

Wyszukiwanie jako sekwencyjne decyzje

RouteRAG traktuje proces RAG wieloetapowy jako sekwencyjny proces decyzyjny. Zamiast stałych, ręcznie skonstruowanych procedur lub statycznych instrukcji, model uczy się polityki, w której specjalne tokeny w strumieniu rozumowania uruchamiają działania pobierania informacji.

Na każdym kroku model wytwarza token działania. Może kontynuować rozumowanie wewnętrznie, rozpocząć wyszukiwanie za pomocą <search>...</search> lub zakończyć proces za pomocą <answer>...</answer>. Wewnątrz tagu <search> określany jest tryb pobierania informacji: [passage], [graph] lub oba, jak w przypadku [graph][passage], co oznacza hybrydowe pobieranie danych.

Najważniejsze jest pamiętanie o różnicy w porównaniu z wcześniejszymi rozwiązaniami. Poprzednie metody RAG oparte na RL, działające w kilku etapach, głównie łączyły rozumowanie z wyszukiwaniem fragmentów tekstu oraz nagradzały jedynie poprawność odpowiedzi, co stanowiło nagrodę końcową, bez wyraźnego nacisku na koszt lub efektywność. RouteRAG rozszerza możliwości wyszukiwania o tryby oparte na fragmentach tekstu, grafach oraz hybrydowe. Szkolenie odbywa się w dwóch etapach opartych na technologii GRPO: w etapie 1 nagradza się wyłącznie poprawność, natomiast w etapie 2 dodaje się nagrodę za efektywność, obliczaną na podstawie całkowitego czasu wyszukiwania, co skłania model do selektywnego wyszukiwania informacji przy jednoczesnym zachowaniu jakości odpowiedzi.

Szczegóły mechanizmu

Krok po kroku model polityki πθ generuje tokeny, przy czym ma do dyspozycji co najwyżej B kroków. Emisja typu <search>...</search> jest analizowana na podzapytanie q′ wraz z modelem wyszukiwania m ∈ {Passage, Graph, Hybrid}, a oba trafiają do mechanizmu wyszukiwania R. Wszelkie uzyskane dowody d są umieszczane w tagach <information>...</information> i dodawane do kontekstu przed kolejną rundą. Pętla kończy się natychmiast po pojawieniu się tagów <answer>...</answer>.

Podczas treningu liczba kroków jest ustawiona na B=4, a każde wyszukiwanie przynosi 3 fragmenty tekstu. Ta liczba nie ma związku z stałą wygładzającą w formule RRF poniżej, która przypadkowo używa tej samej litery.

Zatem model nie zgaduje, czy przeprowadzić wyszukiwanie, ani czego szukać. Uczy się kiedy pobierać dane, jak sformułować podzapytania oraz który tryb wykorzystać.

Trzy tryby pobierania danych

  • Pobieranie fragmentów tekstu wykorzystuje gęste wyszukiwanie w stylu DPR. Podzapytania oraz fragmenty z korpusu są kodowane w wspólnym przestrzeni embeddingów, a następnie wybierane są te o najwyższej podobieństwie (top-k).
  • Pobieranie danych z grafu buduje graf wiedzy na podstawie korpusu za pomocą HippoRAG 2. W przypadku zapytania spersonalizowany PageRank rozpoczyna się od węzłów z nim powiązanych i wyświetla dowody poprzez wieloetapowe połączenia.
  • Pobieranie danych hybrydowe łączy obie listy wyników za pomocą Reciprocal Rank Fusion (RRF). Dokument o wysokim rankingu w którejś z list otrzymuje wyższy ranking w połączonej liście, jak pokazuje wzór:
RRF(d) = ∑ over m ∈ {Passage, Graph} of [1 / (k + rank_m(d))]

Dlatego dowody uzupełniające mają większe szanse na przetrwanie, ponieważ dokument oceniony wysoko w dowolnym z tych sposobów zostaje wybrany i rzadziej umyka uwadze.

Szkolenie z GRPO

RouteRAG uczy się za pomocą Group Relative Policy Optimization (GRPO), która stabilizuje proces szkolenia poprzez porównywanie trajektorii w obrębie grupy, co zmniejsza wariancję przy rzadkich nagrodach. To właśnie projekt nagród nadaje tej metodzie przewagę.

Etap 1 – tylko dokładność. Model otrzymuje 1, jeśli jego odpowiedź dokładnie odpowiada prawdzie referencyjnej, a 0 w przeciwnym razie. Celem jest stworzenie solidnych podstaw: nauczenie się prawidłowych odpowiedzi, pomijając na razie kwestię kosztów.

Etap 2: dokładność plus wydajność. Tylko poprawne odpowiedzi kwalifikują się do nagrody za wydajność. Całkowity czas wyszukiwania t jest dostosowywany do średniej z partii t_avg i normalizowany przez T – stałą, która zapewnia, że zarówno t, jak i t_avg pozostają w zakresie [0, 0.5], zgodnie z opisem w artykule.

R_efficiency = (t_avg - t) / T

Zatem prawidłowa odpowiedź nadal traci punkty, jeśli jej obliczenie zajęło więcej czasu niż w przypadku batch norm. Dla stabilności cel treningu łączy przycięte stosunki polityk z karą KL oraz grupową korzyścią względną Aᵢ. Dzięki dodatkowym nagrodom dwuetapowym polityka skłania się ku trajektoriom, które są poprawne, a jednocześnie łatwiejsze do odnalezienia, co zapewnia szybszą i bardziej selektywną pracę, bez konieczności przypadkowego natrafienia na takie rozwiązania.

Ocena

Testy objęły pięć popularnych zbiorów danych do zadawania pytań i odpowiadania: PopQA, Natural Questions (NQ), HotpotQA, 2WikiMultihopQA (2Wiki) oraz MuSiQue. Zastosowano dwa wskaźniki: Exact Match (EM) i F1, a wyniki podzielono na proste zadania QA (PopQA, NQ), zadania QA wieloetapowe (HotpotQA, 2Wiki, MuSiQue) oraz ogólną średnią wszystkich pięciu.

Metoda QA wieloetapowa odnotowuje największy wzrost wydajności, a ogólna średnia również rośnie, mimo że użyte modele bazowe są dość małe: Qwen2.5-3B-Instruct i Qwen2.5-7B-Instruct. W zadaniami wieloetapowych wyniki te zbliżają się do tych uzyskiwanych przez systemy typu graph RAG działające na GPT-4o-mini i przewyższają je. Należy zauważyć, że modele bazowe oparte na grafach wykorzystują GPT-4o-mini, podczas gdy modele bazowe oparte na tekście korzystają z modelu Qwen2.5. Kosztem jest jednak nieco mniejsza dokładność w prostszych zadaniach QA.

Przykład studium przypadku ilustruje ten efekt.

Przed szkoleniem model sam tworzy fakty z pamięci: twierdzi, że Johnny Pemberton grał rolę Bo Thompsona w serialu That '70s Show, a twórcą określa Stevena Molaro. Później unika takich błędów, dzieli pytanie na kroki, wyszukuje właściwe dane i dochodzi do wniosku, że prawdziwym twórcą jest Justin Spitzer.

Co wyróżnia się

RouteRAG łączy cały proces rozumowania, pobierania danych i generowania odpowiedzi w jedną politykę, którą można nauczyć. Łączy on rozumowanie z decyzjami dotyczącymi tego, co pobrać (fragment tekstu, graf lub hybryda) oraz kiedy podać ostateczną odpowiedź w ramach ograniczonego budżetu kroków B. Optymalizowany przy użyciu dwuetapowego podejścia opartego na GRPO, zapewnia znaczne korzyści nawet przy małych strukturach modelu.

Jego najcenniejszą cechą nie jest to, że jest kolejną wersją technologii RAG. Model uczy się, w ramach swojej polityki, a nie poprzez sztywne reguły, kiedy pobrać dane i kiedy udzielić odpowiedzi w ramach określonego budżetu kroków. Dzięki temu redukuje liczbę rund pobierania danych z 2,70 do 2,25 w porównaniu z wersją bez takiej optymalizacji, przy jednoczesnym zachowaniu wartości F1.

Dwie uwagi dotyczące rzeczywistego wdrożenia

  • Uogólnienie. Wyniki dotyczą wyłącznie modeli 3B i 7B, a do wyszukiwania grafów zawsze używany jest HippoRAG 2. Nie wiadomo, jak będzie wyglądać mechanizm kierowania zapytań przy większych modelach lub różnych pipeline’ach grafowych. W środowisku produkcyjnym zmiany w jakości lub zakresie grafów mogą bezpośrednio wpłynąć na zachowanie planera, a tego nie przetestowano.
  • Projekt nagród. Wskaźnik wydajności opiera się na średnim czasie wyszukiwania na poziomie partii. Autorzy twierdzą, że to zmniejsza szum w sygnale czasowym i stabilizuje proces szkolenia. Nie sprawdzono bezpośrednio, czy wpływa to również na unikanie wolniejszego wyszukiwania grafów, więc pozostaje to prawdopodobnym, lecz niesprawdzonym ryzykiem, które może zaszkodzić w przypadku zadań o złożonej strukturze, gdzie rozumowanie grafowe jest kluczowe. Nagradzanie wydajności tylko w przypadku poprawnych ścieżek, w połączeniu z przewagą GRPO wynikającą z relacji między grupami, zachęca do selektywnego wyszukiwania bez rezygnacji z jakości odpowiedzi, ale nic nie gwarantuje, że wolne, lecz konieczne wyszukiwanie grafu zawsze zostanie wybrane.

Dla odniesienia, artykuł nosi tytuł RouteRAG, a jego podtytuł mówi o efektywnym generowaniu wzbogaconym o wyniki wyszukiwania z tekstu i grafów za pomocą uczenia wzmacniającego.

Literatura pokrewna

  • KohakuRAG: Wspinanie się po drzewie dokumentów w celu znalezienia odpowiednich dowodów — Przegląd KohakuRAG, frameworku RAG z drzewem dokumentów o czterech poziomach, funkcją wyszukiwania wielu zapytań, ponawianiem prób w przypadku braku wyników oraz głosowaniem, przetestowanego na WattBot 2025.