MultiDocFusion: разбіўка доўгіх PDF з улікам іерархіі для RAG
MultiDocFusion захоўвае кантэкст раздзела ў кожным фрагменце доўгага PDF: распазнаванне макета, OCR, LLM для дрэва загалоўкаў і групоўка DFS — пошук у RAG лепшы на 8–15%.
Крыніцы: MultiDocFusion: From Flat Chunks to Hierarchy-Aware RAG
Большая частка рэштарынгавых сістэм на аднойчынных дакументах выклікаецца з аднаго і таго ж, практычна непазначальнага падзячання: дакумент раздзеляецца на часткі, якія практычна вбудовваюцца, выбіраюцца найболей падходзяшчыя рэзультаты, а за рэштат прымецца, што ён сам сабе распрацуе. Гэта працуе, пакуль не прыходзіць вялікі промышловы PDF, які чытальна паказвае, што дакументы ніколі не былі створаны для чытання як феерыякі.
Тыповая сістэма выкарыстоўвае значымыя часткі дакумента і прасіць большую мовную мадэль даты ці адказ на пытанні на адварот. Ёжы прыемкі дакумента зробіць пошукавымі, іх трэба раздзяліць на меньшыя часткі, а звычныя методы раздзелення ёсць прымітныя: фіксаваныя колькіцтва слоў або раздзеленне, якое базуецца выключна на сэмантычнай супаданні. Рэальныя дакументы — гэта не проста тэкст; ў іх ёсць:
- Вярнутыя загаловкі і падзагаловкі, якія маюць калькі слоёў
- Тэблы, рысункі і іншыя элементы, якія залежаць ад макета сторанкі
- Абароткі, якія продыруюць з адной сторанкі на іншую
- Сканаваныя PDF-файлы, якія патрабуюць тэхналогіі OCR
Разбій на частыны па дэйнаце ўсё роўна таму, як каскатаваць падручнік на абы-які спосаб. Загалоўкі аддзеляюцца ад сваіх частак, параграфы тыраць табліцы, якія іх пояснююць, а важлівы кантэкст знікае. У такім разе адзысканне дае раскіданыя доказы, а якасць адпаведзей падыходзіць нізка. Найбольшыя наследкі бачны ў працоўных дакументах, фінансавых звятыках, правовых дагаворах і сканах.
Тры сігналы, з’едыненыя
Дакладны RAG для дугіх дакументаў выклікае патрэбу ў трох відах сігналоў, якія трэба мадэляваць разам:
- Візуальная структура, тыяму, як выглядае сторанка
- Тэкстовы контэнт, тыяму, што ў яму напісана
- Структурная іерархія, тыяму, як дакумент арганізаваны
MultiDocFusion створаны самэ прыменавольна да гэтага союзу. „З’едынэнне“ абазуецца на сумешчанні структуры, тэксту і іерархіі, тады як „MultiDoc“ адзначае падтрымку розных фарматаў дакументаў і RAG для калькуса з колькіма дакументамі.
Працэс у рэчыцы выглядае так: адзычэнне макета празьбам дакумента, OCR для чытання і анатамазавання тэксту, стварэнне іерархічнага дрэва з адкрытых заглаваў раздзелаў і загальных вузлаў праз DSHP-LLM, а пасля крок групавання на аднойчыні DFS, які стварае цэлеспрабныя іерархічныя часткі. Каляровая кодаванне разлічва корань і заглавле, заглавы раздзелаў, а таксама загальныя вузлы, такія як табліцы, рэчыцы і блакі тэксту.
Раздзелальнік фіксаванага дзейства раздзяляе кнігу па межах токэнаў. MultiDocFusion чытае больш сэрйёзна, як чалавек, які рашуча думае. Ён на ходу перабудоввае структурнае дрэва дакумента, падобна да стварэння зместу, і групавае матэрыял, які належы разам. Гэта робіць яго прыдатным для дзяўнасных, складных дакументаў.
Чатыры крокі
1. Адзычэнне макета
Кожную старонку спачатку розглядаюць як зялёнку. Сістэма выявляе месца розташоўкі заглаваў, падзаглаваў, основнага тэксту, табліц і картак, што ўскладнівае розпазнаванне макета. Для гэтага вікорыстоўваюцца DETR, DiT і VGT, усе яны налаштаваны на наборы дадзенаў DocLayNet. Рэзультат не ўскладнівае толькі тэкст, але і рамкі з пазіцыямі, кожная з якіх фіксуе старонку, яе коордынаты і тып — напрыклад, заглавае або табліцу.
2. OCR
Пасля выявлення рэгіонаў OCR чытае тэкст у кожной рамцы. Былі параганены EasyOCR, Tesseract і TrOCR пад разнымі налаштаваннямі, пры чым трэба памятаць, што рэзультаты яшчэ залежаць ад якосці скану, шрыфтав і мовы. Цяпер сістэма ведае як пра наявнасць рамкі, так і пра тое, што ў яй ёсць — напрыклад, заглавае „2. Метод“ у адной рамцы і даны табліцы ў іншай.
3. Стварэнне іерархіі
Гэты крок ёсць ключовым вкладам. Спецыялізаваны LLM адучыцца да розумення іерархічных звязаў унутрь дакумента. Загалоўка на кшталт „1 Вступ“ можа знаходзіцца на верхнім рэвэлі, „1.1 Фон“ — пад яй на другім рэвэлі, а конкрэтныя параграфы чы рэшткі паспаўляюцца з адпаведнымі загалоўкамі.
У працоўку не толькі выкарыстоўваецца тэкст, але і ствараецца логічны змест, які адкрывае захаваны план дакумента.
Пасля параборання кальколькі з модэляў з адкрытым вагам, сярод яых Llama-3.2 і Qwen-2.5, каманда выбрала Mistral-8B як наймоцнейшы апаратны фундамент. Яго настроілі за дапамою тэхнікі LoRA разам з 4-бітной квантызацыяй (тэхніка QLoRA). Даныя для трэніравання і ацэнкі DSHP-LLM былі взяты з DocHieNet — 1 673 дакументаў, а таксама з HRDH — адпаведна абоўсумо 1 500 акадэмічных статэйкаў. Џедыным вхідным даным модэля ёсць структураваны HeaderList, на адной з якога ён стварае каркас дрэва. Калі LLM перзбудуе гэтае дрэва загалоўкаў, сістэма праходзіць па кожным сегменту, блоку тэксту і табліцы, і прыкладзяе кожны з іх пад правы загалоўкі за ўзорам яго прасторовых коордынатаў.
Чаму спецыялізаваны LLM, а не простыя правілы? Рэальныя дакументы ўскладненыя. Геурыстыкі на кшталт «вялікі шрыфт означае загалоўку» або «раздзел 1.2 павінен стаць пад раздзелам 1» часта не працуюць у разыскваных копіях, старых PDF-файлах і складных макетах. Большасць існуючых методаў аналізуе толькі тэкст або толькі візуальны макет, што ускладнюе точную вярнючую працу іерархіі, ўсё бол для сканаваных або нерэгулярных дакументаў.
LLM выводзіць стосункі «род-дзець» між загалоўкамі раздзелаў. Іншыя блакі контэнту пазніяй прыўязуюцца за дапамогою прасторовага распараджэння і не прыгадваюцца адразу LLM у рамках адной і той жа задачы іерархіі.
4. Іерархічная часткавае разбіўка
За дапамою гэтай структуры сістэма групаваець контэнт па логіцы і не раздзеляе яго безпрацэзна. Заглавы, тэкст і табліцы адзінага раздзела застаюцца разам і дзеляюцца толькі тады, калі гэтага трэбуе дужына. Кожны фрагмент несе сваю іерархію, напрыклад: «Заглавле дакумента → Раздзіл 1 → Падраздзел 1.1 → конкрэтны параграф». Такі спосаб знаходжэння вяртае фрагменты з прыўязаным кантэкстам, а не аддзеленыя часткі, а зберагчы іерархію ў кожным фрагменце зменшае рызык втраты кантэксту.
Як дэталі рэалізацыі, готавыя фрагменты запісваюць сваю іерархію у вачынку Markdown (#, ## і т. д.), прыкладзяючы структуру да звычайнага тэксту, які можа быць выкарыстоўваны для знаходжэння і стварэння контэнту.
Што паказваюць ці фігуры
У большасці набораў дадзеных MultiDocFusion парадзівае найкрашчымі рэзультатамі па аднаходжэнні інфармацыі, пры чым адзінакова значныя праграсы спостарэліся ў болей складных наборах, такіх як DUDE, MPVQA і MOAMOB. Точнасць аднаходжэння інфармацыі зросла прыблізна на 8% да 15%. Ранейшыя сістэмы часта выбіралі непূরныя фрагменты, распаўзаныя па сторунках. Разбіўка на часткі з урахоўваннем іерархіі дае больш шансаў на атрыманне структураваных фрагментаў, якія зберагаюць кантэкст раздзела, нават калі цэлы раздзел все ж неабходна дзеліць з прычыны дужыны.
У аспекце адпаведзення на запытанні рэзультаты таксама падняліся, пры чым ANLS зросла прыблізна на 2% да 3%. Гэта падтрымлівае ідэю, што лепшая структураваны кантэкст спрыяе лепшым адпаведзенням, хоча доследжэнне не называе якосць аднаходжэння інфармацыі ўсім адносным прычынам праграс у адпаведзеннях на запытанні.
Праўдзівы падход — ператвараць дзяўныя дакументы на «рэпрэзентацыю у вачыні дрэва», якая спрыяе ўзнікненню інфармацыі. DSHP-LLM выявляе зв’язкі між загаловкамі, параграфамі і табліцамі, якія з’яўляюцца за рахунек прасторовага парадку, а DFS пасля чаго включае загаловкі-прадкуў у кожны фрагмент. Па суты, ён выканае структураванае перапісванне пад час стварэння індэкса.
Две проблемы
- Сумневана прыпуск. Метод спрэтвае кожны вузол між двума загаловкамі як даўальнік інфармацыі пад чынным загаловкам. Гэта не завжды правда, ў чырвонай меры для дызайнаў з двума столбцамі, бокавых панелей, плаваючых табліц аб адпраўк, прымечанняў, якія распрастраńваюцца на калькі, а таксама дадаткаў, якія цітуюцца ў іншых частках дакумента. Два элементы, якія знаходзяцца паўступаў на сторонцы, не павінны обав’язкова быць пов’язаныя за значэннем.
- Збільшэнне размеру індэкса. Паўтаральна копіюванне заголовкаў-прадкуў у дзецячыя часткі стварае вялікі колькісць частак — адзначаецца 20 773 часткі ў сярэжнем сярэдніку 521,65 токенаў. У такім случае прабаўка магчыма, што будзе апыляцца больш на назвы раздэлаў, чым на матэрыял у самым тэксце, ў чымасці, напрыклад, дакументаў-шаблонаў для падпрыемстваў, чыяя файлы маюць схожыя заголовкі. Сама даследжэнне прызнае гэты компроміс у своіх мерыбудовах, зазначаючы, што дуплікацыя кантэкста-прадку збільшае размер індэкса, вартасць зберагачвання і час прабаўкі. У вялікіх масштабах патрэбна бюджэтна адпаведная схема часткавання або адмова дуплікацый на рэвэле вузлаў.
Паралель з MoDora
MoDora — гэта супаўзменны падход да ператварэння зламаных частак OCR у дрэва жывых дакументаў, які раздзеляе галоўную ідэю: спачатку рэканструюваць внутршняю структуру, а толькі пасля таго перадаць усё на прабаўку і перакананне ў якасці.
- MultiDocFusion пераходзіць ад парсінгу і OCR да іерархічнага дрэва за дапамою DSHP-LLM, а потым да іерархічных чакункаў за дапамою DFS. Гэта ўзроўнавана модэлізацыя і стварэнне чакункаў.
- MoDora спачатку збірае элементы OCR у компаненты, узроўнаваныя з макетам, а пасля стварае CCTree. Ён модэлізуе іерархіі компанентаў, разлікі ў макеце і адносы між компанентамі пры выкарыстоўванні і аналізе.
Ні адна з апрантак ужо не спрыятае дакументу як доўгаму радку тэксту. Кожная з іх явна выражае іерархію як проміжны ўзлок пры выкарыстоўванні дакумента.
Спаднія матэрыялы
- Практычныя прытамакі: Дзе можна выучыцца RAG з нуля у 2026 году: Курсавыя програмы — Практычныя інструкцыі па вікорыстоўванню прытамакоў «Практычныя прытамакі: Дзе можна выучыцца RAG з нуля у 2026 году: Курсавыя програмы»: контракты, перакананні і месцы для вставкі коду для команд, якія впрыменяюць гэты патэрн.
- Практычныя прытамакі: Перанесенне RAG у працэйную срэду: проблемы на всіх этапах з рэальных прыкладаў — Практычныя інструкцыі па вікорыстоўванні прытамакоў «Практычныя прытамакі: Перанесенне RAG у працэйную срэду: проблемы на всіх этапах з рэальных прыкладаў»: контракты, перакананні і месцы для вставкі коду для команд, якія впрыменяюць гэты патэрн.