MultiDocFusion: ієрархічне розділення на фрагменти для технології RAG у довгих PDF-документах.
MultiDocFusion зберігає контекст розділу в кожному фрагменті довгого PDF: виявлення макету, OCR, групування за допомогою дерева заголовків та алгоритмів DFS, що забезпечує на 8–15% краще отримання інформації за принципом RAG.
Джерела: MultiDocFusion: From Flat Chunks to Hierarchy-Aware RAG
Більшість рішень типу RAG ґрунтуються на одному й тому самому майже непомітному припущенні: розділити документ на частини, вбудувати їх, отримати найкращі результати пошуку та довіритися тому, що решта спрацює сама. Це працює доти, доки не надходить довгий промисловий PDF, який чітко показує, що документи ніколи не призначалися для читання як окремі фрагменти.
Типова система знаходить відповідні частини документа та просить ШІ дати відповідь на основі них. Щоб зробити довші документи пошуковими, їх потрібно розділити на менші частини, а звичайні методи розділення є грубими: фіксована кількість слів або розділення, засноване виключно на семантичній схожості. Справжні документи — це більше, ніж простий текст. Вони містять:
- Вкладені заголовки та підзаголовки на кілька рівнів
- Таблиці, ілюстрації та інші елементи, які залежать від макету сторінки
- Уривки, які продовжуються з однієї сторінки на іншу
- Скановані PDF-файли, які потребують обробки OCR
Розділення за довжиною схоже на випадкове розрізання підручника: заголовки відриваються від відповідних розділів, абзаци втрачають таблиці, які їх пояснюють, а важливий контекст зникає. У результаті отримуються розрізнені дані, а якість відповідей погіршується. Найбільшої шкоди це завдає промисловим документам, фінансовим звітам, юридичним контрактам та сканам.
Три сигнали, об’єднані
Для точного аналізу довгих документів потрібно одночасно враховувати три типи сигналів:
- Візуальна структура – те, як виглядає сторінка
- Текстовий зміст – те, що в ній написано
- Структурна ієрархія – те, як вона організована
MultiDocFusion побудований саме на цій комбінації. „Об’єднання“ означає поєднання візуальної структури, тексту та ієрархії, тоді як „MultiDoc“ вказує на підтримку різних форматів документів та аналіз багатьох документів на рівні корпусу даних.
Процес у малюнку відбувається наступним чином: видобуток макету за допомогою парсера документів, OCR для читання та анотування тексту, створення ієрархічного дерева з виявлених заголовків розділів та загальних вузлів за допомогою DSHP-LLM, а потім крок групування на основі алгоритму DFS, який утворює послідовні ієрархічні блоки. Кольорова кодування дозволяє розрізнити кореневий вузол та заголовок, заголовки розділів, а також загальні елементи, такі як таблиці, ілюстрації та блоки тексту.
Розділювач фіксованої довжини розділяє книгу на частини за межами токенів. MultiDocFusion працює більше схоже на обдуману людину: він динамічно перебудовує структурне дерево документа, щось на кшталт створення змісту, та групує матеріал, який належить разом. Це робить його ідеальним інструментом для довгих, складних документів.
Чотири кроки
1. Виявлення макету
Кожну сторінку спочатку розглядають як зображення. Система визначає місцезнаходження заголовків, підзаголовків, основного тексту, таблиць та зображень — це і є розпізнавання макету. Для цього використовуються DETR, DiT та VGT, усі вони налаштовані на наборі даних DocLayNet. Результатом є не просто текст, а коробки з координатами, кожна з яких фіксує сторінку, її координати та тип, наприклад заголовок чи таблиця.
2. OCR
Після виявлення регіонів OCR читає текст у кожній коробці. Було порівняно EasyOCR, Tesseract та TrOCR у різних налаштуваннях, проте результати все одно залежать від якості скану, шрифтів та мови. Тепер система знає як про існування коробки, так і про її вміст — наприклад, заголовок типу „2. Метод“ у одній коробці та дані таблиці в іншій.
3. Створення ієрархії
Цей крок є ключовим внеском. Спеціалізований LLM навчається розуміти ієрархічні зв’язки всередині документа. Заголовок на кшталт „1 Вступ“ може знаходитися на найвищому рівні, „1.1 Фон“ — під ним на другому рівні, а конкретні абзаци чи таблиці прив’язуються до відповідних заголовків.
Замість простого вилучення тексту система створює логічний зміст, розкриваючи приховану структуру документа.
Після порівняння кількох моделей з відкритим ваговим розрахунком, серед яких Llama-3.2 та Qwen-2.5, команда обрала Mistral-8B як найсильніший основний елемент. Його налаштували за допомогою техніки LoRA разом із 4-бітною квантацією (техніка QLoRA). Дані для навчання та оцінки DSHP-LLM походять з DocHieNet — 1 673 документів — та HRDH — близько 1 500 наукових статей. Єдиним вхідним даним моделі є структурований HeaderList, на основі якого вона будує каркас дерева. Як тільки LLM відновлює це дерево заголовків, система проходить кожен сегмент, блок тексту та таблицю, розміщуючи кожен з них під відповідним заголовком згідно з його просторовими координатами.
Чому саме спеціалізований LLM, а не прості правила? Справжні документи є складними. Геуристики на кшталт „більший шрифт означає заголовок“ чи „розділ 1.2 має знаходитися під розділом 1“ часто не функціонують на сканах, старих PDF-файлах та документах зі складною структурою. Багато існуючих методів аналізують лише текст або лише візуальну структуру, що ускладнює точне відновлення ієрархії, особливо для сканованих чи нерегулярних документів.
LLM визначає взаємозв’язки „батьків-дітей“ між заголовками розділів. Інші блоки контенту додаються пізніше за допомогою просторового порядку та не прогнозуються LLM одночасно в межах однієї задачі ієрархії.
4. Ієрархічне розділення на частини
Завдяки цій структурі система групує контент за логікою та не розрізає його довільно. Заголовки розділів, текст та таблиці залишаються разом та діляться лише тоді, коли це необхідно через їхню довжину. Кожен фрагмент містить інформацію про своє походження, наприклад «Назва документа → Розділ 1 → Підрозділ 1.1 → конкретний абзац». Таким чином пошук повертає фрагменти з пов’язаним контекстом, а не випадкові уривки, а збереження ієрархії всередині кожного фрагмента зменшує кількість втраченого контексту.
Як деталь реалізації, готові фрагменти записують свою ієрархію у вигляді заголовків Markdown (#, ## тощо), вносячи структуру у простий текст, який можна використовувати для пошуку та генерації.
Що показують ці цифри
У більшості наборів даних MultiDocFusion досягає найкращої продуктивності у пошуку, демонструючи особливо значні покращення у складніших наборах, таких як DUDE, MPVQA та MOAMOB. Точність пошуку зросла приблизно на 8% до 15%. Ранні системи часто вибирали неповні уривки, розкидані по сторінках. Блокування з урахуванням ієрархії з більшою ймовірністю повертає структурно цілісні фрагменти, які зберігають контекст розділу, навіть коли цілий розділ все ще доводиться ділити з міркувань довжини.
У завданнях на відповіді на запитання результати також покращуються в цілому – показник ANLS зріс приблизно на 2% до 3%. Це узгоджується з ідеєю про те, що краще структурований контекст сприяє кращим відповідям, хоча дослідження не вказує на якість пошуку як єдину причину покращень у роботі з запитаннями.
Справжній принцип полягає у перетворенні довгих документів на зручну для пошуку „репрезентацію у вигляді деревоподібних шляхів“. DSHP-LLM виявляє зв’язки між заголовками, абзацами та таблицями, які пов’язані за просторовим порядком, а потім алгоритм DFS включає заголовки-предки до кожного фрагмента. Фактично він здійснює структуроване переписування під час індексації.
Дві проблеми
- Сумнівне припущення. Метод розглядає кожен вузол між одним заголовком та наступним як належний до поточного заголовка. Це не завжди так, особливо у випадку двоколонкових дизайнів, бічних панелей, плаваючих таблиць чи зображень, приміток, що охоплюють кілька сторінок, та додатків з переліками посилань. Два елементи, розташовані поруч на сторінці, не обов’язково мають смисловий зв’язок.
- Надмірне розширення індексу. Постійне копіювання заголовків батьківських елементів у дочірні частини призводить до утворення великої кількості частин — загалом 20 773, з середньою кількістю токенів 521,65. У такому разі під час пошуку може відбуватися більше орієнтації на назви розділів, ніж на сам текст, особливо для документів з шаблонів корпоративного використання, чиї файли мають схожі заголовки. Саме дослідження визнає цей компроміс у межах своїх обмежень, зазначаючи, що дублювання контексту батьківських елементів збільшує розмір індексу, витрати на зберігання та затримку під час пошуку. У великих масштабах буде необхідне розбиття на частини з урахуванням бюджету або видалення дублікатів на рівні вузлів.
Порівняння з MoDora
MoDora — це схожий підхід до перетворення пошкоджених частин, отриманих за допомогою OCR, на структуроване дерево документів; він також ґрунтується на основній ідеї: спочатку відновити внутрішню структуру, а лише після цього передати завдання на пошук та перевірку якості.
- MultiDocFusion переходить від парсингу та OCR до ієрархічного дерева за допомогою DSHP-LLM, а потім до ієрархічних частин через DFS. Це моделювання з урахуванням структури та створення частин.
- MoDora спочатку об’єднує елементи OCR у компоненти з урахуванням макету, а потім створює CCTree. Він моделює ієрархії компонентів, відмінності в макеті та взаємозв’язки між компонентами перед їх пошуком та аналізом.
Жоден з цих підходів не розглядає документ як простий рядок тексту. Кожен з них явно представляє ієрархію як проміжний крок перед пошуком.
Пов’язана література
- Практичні нотатки: Де навчитися створювати RAG з нуля у 2026 році: курси та — Детальний пошаговий огляд Практичних нотаток: Де навчитися створювати RAG з нуля у 2026 році: курси та: контракти, перевірки та місця для вставки коду для команд, які впроваджують цю модель.
- Практичні нотатки: Впровадження RAG у продакшн: проблеми на всіх етапах з реальних прикладів — Детальний пошаговий огляд Практичних нотаток: Впровадження RAG у продакшн: проблеми на всіх етапах з реальних прикладів: контракти, перевірки та місця для вставки коду для команд, які впроваджують цю модель.