Strona główna / Artykuły

KohakuRAG: Wspinanie się po drzewie dokumentów w celu znalezienia odpowiednich dowodów.

KohakuRAG wspinie się po czteropoziomowym drzewie dokumentów, aby znaleźć dowody: wielokrotne wyszukiwanie, ponawianie prób w przypadku pustych odpowiedzi oraz głosowanie, jak to sprawdzono w zadaniu WattBot 2025.

Wydawca: REACTAPP.TOP5 min czytania1122 słów

Źródła: KohakuRAG: Climb the Document Tree, Find the Right Evidence

Generowanie wzbogacone o wyszukiwanie często wygląda doskonale w demonstracjach, ale zawodzi przy rzeczywistych pytaniach. KohakuRAG, framework opisany w artykule z arXiv z 2026 roku, próbuje zamknąć tę luki dzięki prostym rozwiązaniom inżynieryjnym i warto mu się przyjrzeć bliżej.

Gdzie zwykły RAG zawodzi

Zadania takie jak WattBot 2025 Challenge ujawniają jego słabe strony. Wymagają one odpowiedzi liczbowych dokładnych do 0,1 procenta wraz z dokładnym podaniem źródła. Trzy nawyki standardowych procesów przetwarzania utrudniają tu pracę:

  • Dzielenie tekstu na proste fragmenty ignoruje sekcje i strukturę dokumentu, przez co trudniej jest odnaleźć źródło odpowiedzi, a cytaty cieszą się mniejszym zaufaniem.
  • Jedno zapytanie może łatwo pominąć ważne dowody, gdy pytanie i dokument przedstawiają tę samą ideę w inny sposób.
  • Jedna tylko iteracja generacji jest niestabilna. Odpowiedzi i cytaty zmieniają się przy kolejnych uruchomieniach, a model obawiający się generowania błędnych informacji może nie zwrócić żadnych wyników, mimo że dowody znajdują się bezpośrednio w jego kontekście.

Od prostych fragmentów do struktury drzewiastej

KohakuRAG to kompaktowe narzędzie oparte na indeksie czterostopniowym: dokument, sekcja, akapit, zdanie. Struktura ta zostaje zachowana, ponieważ embeddingi są łączone od dołu do góry. Planowanie zapytań przez model językowy, w połączeniu z ponownym sortowaniem zapytań, rozszerza zakres dostępnych wyników. Odpowiedzi są uspokajane poprzez głosowanie w ramach kilku iteracji, a puste wyniki są traktowane w specjalny sposób.

Offline: budowanie indeksu

Najpierw następuje analiza. Każdy dokument staje się drzewem składającym się z tych czterech poziomów. Obrazy i tabele traktowane są jako specjalne węzły akapitów z generowanymi opisami. PyMuPDF wyodrębnia obrazy, a model języka wizualnego (Qwen3-VL) tworzy opisy skupione na treści technicznej, liczbach i etykietach osi.

Większość procesu analizy opiera się na regułach. PyMuPDF wydobywa tekst i układ, a następnie heurystyki oparte na rozmiarze czcionki, odstępach i formatowaniu przywracają hierarchię:

  • Sekcje: bloki, w których rozmiar czcionki jest co najmniej 1,2 raza większy od wartości medianowej, uznawane są za potencjalne tytuły, a numeracja typu 1,2 lub A.3 pomaga potwierdzić granice.
  • Akapity: sąsiadujące bloki oddzielone odległością mniejszą niż 1,5 wysokości wiersza są łączone, natomiast większe przerwy rozpoczynają nowy akapit.
  • Zdania: funkcja sent_tokenize z NLTK dokonuje dzielenia na zdania, a także stosuje dodatkowe zasady dotyczące skrótów technicznych takich jak Fig., et al. i e.g.

Następnie przychodzą embeddingi. Zdania, czyli „liście” drzewa, są embedowane bezpośrednio. Każdy element nadrzędny stanowi średnią swoich elementów potomnych, ważoną liczbą tokenów, więc dłuższe fragmenty mają większy wpływ. Obsługiwane są dwa backendy: Jina v3 do przetwarzania tekstu (768 wymiarów, kontekst do 8K) oraz Jina v4 do wyszukiwania multimodalnego, z wymiarami od 128 do 2048 w modelu Matryoshka oraz możliwością bezpośredniego obsługi zarówno tekstu, jak i obrazów. Do przechowywania używany jest sqlite-vec, lżeki backend wektorowy.

Online: wyszukiwanie wielokrotnych zapytań

Podczas etapu zadawania pytań model LLM rozszerza pierwotne pytanie na kilka powiązanych zapytań, obejmujących przeredagowania, rozwinięcia akronimów oraz podpytania. Każde z tych zapytań jest poddawane wyszukiwaniu pod kątem podobieństwa kosinowego, ograniczonemu do węzłów zdań i akapitów. Opcjonalny krok hybrydowy dodaje rzadkie wyszukiwanie BM25 wyłącznie w indeksie akapitów, a wyniki te są dodawane na końcu wyników gęstych.

Wyniki są następnie ponownie sortowane w zależności od zapytań, biorąc pod uwagę częstotliwość, wynik lub ich połączenie, dzięki czemu węzeł pasujący do kilku zapytań zajmuje wyższą pozycję. Następnie system przemieszcza się po drzewie i rozszerza kontekst: dla każdego trafienia dodaje węzły rodzicielskie i rodzeństwa. Znaleziona zdanie łączy się ze swoim akapitem, a znaleziony akapit ze swoją sekcją. Trafienia na poziomie sekcji są odrzucane jako zbyt ogólne. Opcjonalny krok deduplikacji może usunąć nakładanie się przodków i potomków, aby zaoszczędzić przestrzeń kontekstową, choć w ramach konkursu nie został on wykorzystany.

Tworzenie odpowiedzi

Pytania umieszczają pobrany kontekst przed samym pytaniem, co przeciwdziała efektowi zagubienia się w środku tekstu, a znaczniki cytowania ułatwiają modelowi przypisanie źródła. Wynik ma postać zstrukturyzowanego JSON zawierającego odpowiedź, wydobytą wartość, ID cytowań, wyjaśnienie oraz flagę wskazującą na pusty wynik. Gdy dowody są niewystarczające, oczekuje się, że model wyraźnie odmówi udzielenia odpowiedzi. Należy pamiętać, że cytowania są oceniane na poziomie ID dokumentu, a nie strony lub fragmentu tekstu, co ma znaczenie przy interpretacji tego, co optymalizuje system.

Pętla ponownych prób radzi sobie z pustymi wynikami. Jeśli model zgłosi niewystarczające dowody, system stosuje metodę top-k, ponownie pobiera dane i powtarza proces, aż uzyska ważną odpowiedź lub osiągnie limit prób.

Kilka generacji, a następnie głosowanie

Zamiast żądać jednej odpowiedzi, system generuje kilka niezależnie. Puste odpowiedzi są usuwane przed głosowaniem, jeśli istnieje przynajmniej jedna rzeczywista odpowiedź. Jeśli wszystkie próby są puste, system wstrzymuje się od głosowania. Głosowanie stabilizuje zarówno odpowiedzi, jak i cytaty.

Wyniki

Platforma została stworzona dla wyzwania WattBot 2025, więc wyniki pochodzą głównie z tego testu: 32 dokumenty techniczne na temat wykorzystania energii przez sztuczną inteligencję, w tym artykuły, raporty i prezentacje, łącznie około 500 tysięcy tokenów. Tematy obejmują zużycie energii, zużycie wody, ślad węglowy oraz charakterystyki wydajności modeli.

KohakuRAG osiągnął wynik 0,902 na publicznej liście rankingowej i 0,861 na prywatnej, będąc jedyną metodą, która utrzymała pierwsze miejsce na obu listach.

Dwa Twoje ustalenia wyróżniają się. Kolejność wysyłania zapytań ma ogromne znaczenie: umieszczenie pytania po uzyskanym kontekście, a nie przed nim, przyniosło 80-procentowe wzrosty jakości, co potwierdza koncepcję „zagubienia się pośrodku”. Czasami największy efekt pochodzi od najprostszej zmiany. A sama intensywna wyszukiwanie może być wystarczająca. Hybrydowa wyszukiwarka z BM25 jest zazwyczaj traktowana jako solidna baza odniesienia, jednak dobrze skonstruowana hierarchiczna metoda intensywnej wyszukiwania okazała się bardzo konkurencyjna, a dodanie BM25 przyniosło jedynie około 3,1 procenta efektu.

Ocena

Żaden z elementów tutaj nie jest radykalnie nowy. Siła tego podejścia polega na tym, jak kilka znanych technik (warstwowy indeks, kilka zapytań na jedno pytanie, ponowna próba gdy model odmawia odpowiedzi oraz głosowanie większości) jest połączona wokół jednego wymagającego celu: dokładnych odpowiedzi, precyzyjnych cytatów oraz gotowości do odmowy odpowiedzi, gdy dowody są słabe.

Dotyczy to również jednej z najtrudniejszych kwestii w obszarze odpowiadania na pytania w przedsiębiorstwach, gdzie możliwość śledzenia pochodzenia informacji jest ważniejsza niż sama poprawność odpowiedzi. Patrząc w ten sposób, drzewo nie jest po prostu bardziej zaawansowanym sposobem dzielenia tekstu na fragmenty – to infrastruktura służąca do cytowania, audytów oraz analizy błędów.

Pozostają dwa problemy. Pierwszy to wrażliwość na jakość parsowania, a prawdopodobnie także na jakość planowania zapytań. Prawdziwy treści przedsiębiorstw składa się z nieuporządkowanych plików PDF oraz niestabilnych układów, więc detekcja sekcji oparta na regułach może zawieść już na samym początku. Drugim problemem są koszty i opóźnienia – zastosowanie zbiorów rozwiązań zwiększa koszty w sposób mniej więcej liniowy, a ponawiane próby mogą pogorszyć opóźnienia, więc taka architektura nadaje się raczej do zastosowań wymagających wysokiej niezawodności przy niskiej przepustowości, a nie do szybkiego odpowiadania na pytania w środowiskach o wysokiej konkurencji.

Podstawowy artykuł nosi tytuł „KohakuRAG: A simple RAG framework with hierarchical document indexing” i jest dostępny na arXiv.

Podobne artykuły