MultiDocFusion: segmentacja uwzględniająca hierarchię do zastosowań RAG w długich plikach PDF.
MultiDocFusion zachowuje kontekst sekcji w każdym fragmencie długiego PDF: wykrywanie układu, OCR, drzewo nagłówków z wykorzystaniem LLM oraz grupowanie metodą DFS, co zapewnia o 8-15% lepsze wyszukiwanie RAG.
Źródła: MultiDocFusion: From Flat Chunks to Hierarchy-Aware RAG
Większość rozwiązań typu RAG wychodzi od tej samej, prawie niezauważalnej założenia: dzielenie dokumentu na fragmenty, ich włączanie do modelu, pobieranie najbardziej odpowiednich wyników i poleganie na tym, że reszta zadziała sama. To rozwiązanie sprawdza się, dopóki nie trafia długi dokument w formacie PDF, który pokazuje wyraźnie, że dokumenty nigdy nie miały służyć do czytania jak drobne elementy dekoracyjne.
Typowy system pobiera istotne fragmenty i prosi model językowy o udzielenie odpowiedzi na podstawie nich. Aby dłuższe dokumenty były możliwe do wyszukiwania, muszą zostać podzielone na mniejsze części, a standardowe metody dzielenia są dosyć proste: ustalony liczbę słów lub podział oparty wyłącznie na podobieństwie semantycznym. Prawdziwe dokumenty to coś więcej niż zwykły tekst – zawierają:
- Wkładane nagłówki i podnagłówki na kilku poziomach głębokości
- Tabele, rysunki oraz inne elementy zależne od układu strony
- Urywki tekstu, które kontynuują się z jednej strony na drugą
- Skanowane pliki PDF wymagające rozpoznawania tekstu
Dzielenie tekstu według długości przypomina losowe krojenie podręcznika – nagłówki zostają odcięte od swoich sekcji, akapity tracą tabele, które je wyjaśniają, a kluczowe konteksty znikają. W rezultacie system zwraca rozproszone dane, a jakość odpowiedzi spada. Największe szkody powoduje to w przypadku dokumentów przemysłowych, raportów finansowych, umów prawnych oraz skanów.
Trzy sygnały, połączone
Aby system RAG funkcjonował prawidłowo przy długich dokumentach, konieczne jest jednoczesne modelowanie trzech rodzajów sygnałów:
- Układ wizualny, czyli to, jak wygląda strona
- Treść tekstowa, czyli to, co w niej jest napisane
- Hierarchia strukturalna, czyli sposób jej uporządkowania
MultiDocFusion opiera się dokładnie na tej kombinacji. „Fusion” oznacza połączenie układu, tekstu i hierarchii, natomiast „MultiDoc” wskazuje na obsługę różnych formatów dokumentów oraz RAG na poziomie całego korpusu.
Proces przedstawiony na rysunku przebiega w następujący sposób: wyodrębnienie układu dokumentu za pomocą parsera, OCR do odczytu i adnotowania tekstu, budowa drzewa hierarchicznego na podstawie zidentyfikowanych nagłówków sekcji oraz ogólnych węzłów przez DSHP-LLM, a następnie krok grupowania oparty na DFS, który tworzy spójne, hierarchiczne fragmenty. Kody kolorystyczne odróżniają korzeń i tytuł, nagłówki sekcji oraz ogólne elementy takie jak tabele, rysunki i bloki tekstu.
Splitter o stałej długości dzieli książkę na fragmenty według granic tokenów. MultiDocFusion funkcjonuje jak osoba dokładnie przemyślawsza – dynamicznie odbudowuje strukturalne drzewo dokumentu, nieco podobnie jak przy tworzeniu spisu treści, i grupuje razem materiały, które do siebie należą. Dzięki temu doskonale nadaje się do obsługi długich, złożonych dokumentów.
Cztery kroki
1. Wykrywanie układu
Każda strona jest najpierw traktowana jako obraz. System określa, gdzie znajdują się tytuły, napisy, tekst główny, tabele i obrazy – to właśnie jest rozpoznawanie układu. Wykorzystywane są metody DETR, DiT i VGT, wszystkie dostosowane na zbiorze danych DocLayNet. Wynikiem nie jest tylko tekst, lecz pola z pozycjami, z których każde rejestruje stronę, jej współrzędne oraz typ, np. tytuł lub tabela.
2. OCR
Gdy zostaną zlokalizowane odpowiednie obszary, OCR odczytuje tekst z każdego pola. Porównano narzędzia EasyOCR, Tesseract i TrOCR w różnych ustawieniach, przy czym należy pamiętać, że wyniki wciąż zależą od jakości skanu, czcionek i języka. System teraz wie zarówno o istnieniu danego pola, jak i o tym, co się w nim znajduje – na przykład nagłówek taki jak „2. Metoda” w jednym polu, a dane tabelaryczne w innym.
3. Budowanie hierarchii
To kroku stanowi kluczowy wkład. Specjalistyczny model LLM jest szkoleny do rozumienia hierarchicznych relacji w dokumencie. Nagłówek taki jak „1 Wprowadzenie” może znajdować się na najwyższym poziomie, „1.1 Tło” poniżej niego na drugim poziomie, a konkretne akapity lub tabele są dopasowywane do odpowiednich nagłówków.
Zamiast jedynie wydobywać tekst, system odbudowuje logiczną strukturę spisów treści, ujawniając ukryty zarys dokumencu.
Po porównaniu kilku modeli o otwartej wadze, w tym Llama-3.2 i Qwen-2.5, zespół wybrał Mistral-8B jako najsilniejszą podstawę. Został on dostosowany za pomocą techniki LoRA w połączeniu z kwantyzacją 4-bitową (metoda QLoRA). Dane do szkolenia i oceny modelu DSHP-LLM pochodziły z DocHieNet – 1 673 dokumentów – oraz z HRDH, zawierającego około 1 500 artykułów naukowych. Jedynym wejściem dla modelu jest ustrukturyzowana lista nagłówków HeaderList, na podstawie której budowany jest szkielet drzewa. Gdy model odbuduje to drzewo nagłówków, system przegląda każdy segment, zarówno bloki tekstu, jak i tabele, i umieszcza każdy z nich pod odpowiednim nagłówkiem według jego współrzędnych przestrzennych.
Dlaczego specjalistyczny LLM, a nie zwykłe reguły? Prawdziwe dokumenty są skomplikowane. Heurystyki takie jak „większy rozmiar czcionki oznacza tytuł” lub „sekcja 1.2 musi znajdować się poniżej sekcji 1” często zawodzą przy skanach, starszych plikach PDF oraz trudnych układach. Wiele istniejących metod analizuje albo tylko tekst, albo tylko układ wizualny, co utrudnia dokładne odtworzenie hierarchii, szczególnie w przypadku dokumentów skanowanych lub nieregularnych.
LLM wywnioskowuje relacje rodzic-dziecko pomiędzy nagłówkami sekcji. Pozostałe bloki treści są dodawane później na podstawie układu przestrzennego i nie są przewidywane wspólnie przez LLM w ramach tej samej zadania hierarchicznego.
4. Hierarchiczne dzielenie na fragmenty
Za pomocą tego drzewa system grupuje treść według określonej logiki i nie dzieli jej arbitralnie. Tytuły sekcji, tekst oraz tabele pozostają razem i są dzielone tylko wtedy, gdy wymaga tego ich długość. Każdy fragment zachowuje swoją hierarchię – na przykład „Tytuł dokumentu → Rozdział 1 → Sekcja 1.1 → konkretny akapit”. Dzięki temu wyszukiwanie zwraca fragmenty wraz z kontekstem, a nie pojedyncze, rozproszone fragmenty; ponadto zachowanie hierarchii w każdym fragmencie zmniejsza ryzyko utraty kontekstu.
Jako szczegół implementacji, gotowe fragmenty zapisują swoją hierarchię w postaci nagłówków Markdown (#, ## itp.), wprowadzając strukturę do zwykłego tekstu, który może być wykorzystywany podczas wyszukiwania i generowania treści.
Co pokazują liczby
W większości zbiorów danych MultiDocFusion osiąga najlepsze wyniki w procesie wyszukiwania, przy czym różnice są szczególnie wyraźne w bardziej złożonych zbiorach takich jak DUDE, MPVQA i MOAMOB. Dokładność wyszukiwania wzrosła o około 8% do 15%. Wcześniejsze systemy często wybierały niekompletne fragmenty rozproszone na różnych stronach. Dzięki dzieleniu na fragmenty z uwzględnieniem hierarchii istnieje większa szansa na uzyskanie strukturalnie spójnych części, które zachowują kontekst sekcji, nawet jeśli cała sekcja musi zostać podzielona z powodów związanych z długością.
W przypadku odpowiadania na pytania wyniki również ulegają poprawie – ANLS wzrósł o około 2% do 3%. To odpowiada koncepcji, że lepiej zorganizowany kontekst sprzyja lepszym odpowiedziom, chociaż badanie nie wskazuje jako jedynego powodu tych ulepszeń wyłącznie jakości wyszukiwania.
Prawdziwym pomysłem jest przekształcanie długich dokumentów w „reprezentację w postaci drzewa ścieżek”, ułatwiającą wyszukiwanie. DSHP-LLM wykrywa związki pomiędzy nagłówkami, akapitami i tabelami, które są powiązane ze sobą przez porządek przestrzenny, a następnie DFS włącza nagłówki przodków do każdego fragmentu tekstu. W praktyce dokonuje to uporządkowanej przepisywania treści w momencie tworzenia indeksu.
Dwie kwestie
- Kwestionowalne założenie. Metoda traktuje każdy węzeł pomiędzy jednym nagłówkiem a następnym jako należący do bieżącego nagłówka. To nie zawsze jest prawdą, szczególnie w przypadku projektów z dwoma kolumnami, pasków bocznych, tabel lub obrazów unoszonych, przypisów rozciągających się na kilka stron oraz załączników odnoszonych wzajemnie. Dwa elementy znajdujące się obok siebie na stronie nie muszą koniecznie być ze sobą powiązane pod względem znaczenia.
- Rozdęcie indeksu. Ciągłe kopiowanie nagłówków elementów nadrzędnych do podzespołów potomnych powoduje powstanie dużej liczby takich podzespołów – łącznie 20 773, przy średniej liczbie 521,65 tokenów. W takiej sytuacji wyszukiwanie może polegać bardziej na tytułach sekcji niż na treści tekstowej, szczególnie w przypadku dokumentów szablonowych używanych w przedsiębiorstwach, których pliki mają podobne nagłówki. Samo badanie przyznaje do tego kompromisu w ramach swoich ograniczeń, zaznaczając, że kopiowanie kontekstu nadrzędnego zwiększa rozmiar indeksu, koszty przechowywania oraz opóźnienia w wyszukiwaniu. Na dużą skalę konieczne byłoby dzielenie na podzespoły z uwzględnieniem budżetu lub usuwanie duplikatów na poziomie węzłów.
Porównanie z MoDorą
MoDora, to powiązane podejście polegające na przekształcaniu uszkodzonych fragmentów OCR w żywy drzewo dokumentów, dzieli z nim podstawową ideę: najpierw odbudować strukturę wewnętrzną, a dopiero potem przekazać zadanie wyszukiwaniu i weryfikacji jakości.
- MultiDocFusion przechodzi od analizy i OCR do hierarchicznego drzewa za pomocą DSHP-LLM, a następnie do hierarchicznych fragmentów poprzez DFS. Jest to modelowanie uwzględniające strukturę oraz tworzenie fragmentów.
- MoDora najpierw gromadzi elementy OCR w komponentach uwzględniających układ, a następnie tworzy CCTree. Modeluje hierarchie komponentów, różnice w układzie oraz relacje między komponentami przed ich wydobyciem i analizą.
Żaden z tych podejść nie traktuje dokumentu jako prostego ciągu tekstu. Obie metody wyraźnie reprezentują hierarchię jako pośredni krok przed wydobyciem informacji.
Literatura pokrewna
- Notatki praktyczne: Gdzie nauczyć się RAG od zera w 2026 roku: kursy i — Szczegółowy przewodnik po Notatkach praktycznych: Gdzie nauczyć się RAG od zera w 2026 roku: kursy i: umowy, sprawdzenia oraz miejsca na kod do wstawienia dla zespołów wdrażających ten wzorzec.
- Notatki praktyczne: Wdrażanie RAG do produkcji: problemy end-to-end z rzeczywistych przypadków — Szczegółowy przewodnik po Notatkach praktycznych: Wdrażanie RAG do produkcji: problemy end-to-end z rzeczywistych przypadków: umowy, sprawdzenia oraz miejsca na kod do wstawienia dla zespołów wdrażających ten wzorzec.