MultiDocFusion: метод иерархической сегментации для работы RAG с длинными PDF-документами.
MultiDocFusion сохраняет контекст разделов в каждом фрагменте длинного PDF: обнаружение макета, OCR, использование дерева заголовков и группировка с помощью LLM и DFS, что обеспечивает на 8–15% лучшую работу поиска RAG.
Источники: MultiDocFusion: From Flat Chunks to Hierarchy-Aware RAG
Большинство решений типа RAG исходят из одного и того же, почти незаметного предположения: документ разбивается на фрагменты, они встраиваются, берутся наиболее подходящие результаты, а остальное считается само собой разумеющимся. Этот подход работает до тех пор, пока не появляется длинный промышленный PDF, который ясно показывает, что документы вовсе не предназначены для чтения как отдельные фрагменты.
Типичная система извлекает соответствующие фрагменты и просит большую языковую модель дать ответ на основе их содержимого. Чтобы сделать более длинные документы поисковыми, их необходимо разделить на меньшие части, причем обычные методы разделения являются грубыми: фиксированное количество слов или разделение, основанное исключительно на семантическом сходстве. Настоящие документы — это не просто текст; они содержат:
- Вложенные заголовки и подзаголовки на нескольких уровнях
- Таблицы, рисунки и другие элементы, зависящие от форматирования страницы
- Отрывки, продолжающиеся с одной страницы на другую
- Отсканированные PDF-файлы, требующие обработки с помощью OCR
Разделение по длине похоже на случайное разрезание учебника: заголовки отрываются от соответствующих разделов, абзацы теряют таблицы, которые их поясняют, и исчезает важный контекст. В результате поиск возвращает разрозненные данные, а качество ответов снижается. Наиболее серьезные проблемы возникают с промышленными документами, финансовыми отчетами, юридическими контрактами и сканами.
Три вида сигналов, объединенных вместе
Для точного анализа длинных документов необходимо одновременно учитывать три вида сигналов:
- Визуальная структура, то есть то, как выглядит страница
- Текстовое содержимое, то есть то, что в ней написано
- Структурная иерархия, то есть способ организации документа
Метод MultiDocFusion основан именно на этом сочетании. Термин «объединение» означает слияние визуальной структуры, текста и иерархии, в то время как термин «многодокументный» указывает на поддержку различных форматов документов и работы с несколькими документами на уровне корпуса данных.
Процесс обработки, показанный на рисунке, выполняется следующим образом: извлечение макета с помощью парсера документов, OCR для чтения и аннотирования текста, построение иерархического дерева на основе обнаруженных заголовков разделов и общих узлов с использованием DSHP-LLM, а затем шаг группировки на основе алгоритма DFS, который формирует целостные иерархические блоки. Цветовая кодировка позволяет отличать корень и заголовок, заголовки разделов, а также общие узлы, такие как таблицы, рисунки и блоки текста.
Разделитель фиксированной длины разделяет документ на части по границам токенов. MultiDocFusion работает более осмысленно, постоянно перестраивая структурное дерево документа, подобно созданию оглавления, и объединяя материалы, которые относятся друг к другу. Благодаря этому он идеально подходит для длинных и сложных документов.
Четыре этапа
1. Обнаружение макета
Сначала каждая страница рассматривается как изображение. Система определяет местоположение заголовков, подзаголовков, основного текста, таблиц и изображений — это и есть распознавание макета. Для этой цели используются алгоритмы DETR, DiT и VGT, все из которых настроены с учётом данных набора DocLayNet. Результатом являются не просто тексты, а элементы с указанием координат, каждый из которых фиксирует страницу, её координаты и тип содержимого — например, заголовок или таблицу.
2. OCR
После определения областей OCR считывает текст из каждого такого элемента. Были сравнены инструменты EasyOCR, Tesseract и TrOCR в различных настройках, при этом следует учитывать, что качество результата всё равно зависит от качества сканирования, шрифтов и языка. Теперь система знает как о существовании элемента, так и о его содержимом: например, в одном элементе может находиться заголовок вроде «2. Метод», а в другом — данные таблицы.
3. Создание иерархии
Этот шаг представляет собой ключевой вклад. Специализированный LLM обучается распознавать иерархические связи внутри документа. Заголовок вроде «1 Введение» может находиться на верхнем уровне, «1.1 Предыстория» — под ним на втором уровне, а конкретные абзацы или таблицы сопоставляются с соответствующими заголовками.
Вместо простого извлечения текста система воссоздаёт логическое оглавление, раскрывая скрытую структуру документа.
После сравнения нескольких моделей с открытым исходным кодом, в том числе Llama-3.2 и Qwen-2.5, команда выбрала Mistral-8B в качестве наиболее сильной основы. Её настроили с использованием технологии LoRA в сочетании с 4-битной квантизацией (метод QLoRA). Данные для обучения и оценки DSHP-LLM были взяты из DocHieNet — 1 673 документов, а также из HRDH — около 1 500 научных статей. Единственным входным данным для модели является структурированный список заголовков HeaderList, на основе которого она формирует структуру дерева. После того как LLM воссоздает это дерево заголовков, система проходит по каждому сегменту, текстовым блокам и таблицам, располагая каждый из них под соответствующим заголовком в соответствии с его пространственными координатами.
Почему специализированный LLM, а не простые правила? Настоящие документы сложны. Геуристики вроде «больший шрифт означает заголовок» или «раздел 1.2 должен находиться под разделом 1» часто не справляются с скан-копиями, старыми PDF-файлами и сложными макетами. Многие существующие методы анализируют либо только текст, либо только визуальный макет, что затрудняет точное восстановление иерархии, особенно для сканированных или нерегулярных документов.
LLM определяет отношения «родитель-дочерний» между заголовками разделов. Другие блоки контента добавляются позже на основе пространственного порядка и не прогнозируются LLM совместно в рамках одной задачи построения иерархии.
4. Иерархическое разбиение на части
Благодаря этой структуре система группирует контент на основе логики и не делит его произвольно. Заголовки, текст и таблицы отдельных разделов остаются вместе и делятся только тогда, когда это требуется длиной. Каждый фрагмент сохраняет свою иерархию — например, «Название документа → Глава 1 → Раздел 1.1 → конкретный абзац». В результате поиск возвращает фрагменты с сохранённым контекстом, а не разрозненные отрывки; наличие иерархии внутри каждого фрагмента снижает риск потери контекста.
С точки зрения технических деталей реализации, готовые фрагменты записывают свою иерархию в виде заголовков Markdown (#, ## и т. д.), внося структуру в простой текст, который может использоваться для поиска и генерации контента.
Что показывают цифры
В большинстве наборов данных MultiDocFusion демонстрирует наилучшие показатели поиска, особенно заметно улучшая результаты на более сложных наборах, таких как DUDE, MPVQA и MOAMOB. Точность поиска выросла примерно на 8–15%. Ранние системы часто выбирали неполные фрагменты, разбросанные по страницам. Благодаря разбиению на части с учетом иерархии вероятнее получение структурно целостных фрагментов, сохраняющих контекст раздела, даже если из-за ограничений по длине весь раздел все равно приходится делить.
В задачах ответов на вопросы общие показатели также улучшились: показатель ANLS вырос примерно на 2–3%. Это соответствует идее о том, что лучше структурированный контекст способствует более качественным ответам, хотя исследование не указывает на качество поиска как на единственную причину улучшений в задачах ответов на вопросы.
Настоящая суть заключается в преобразовании длинных документов в удобную для поиска «репрезентацию в виде дерева». DSHP-LLM выявляет связи между заголовками, абзацами и таблицами, обусловленные пространственным порядком, после чего алгоритм DFS включает заголовки-предки в каждый фрагмент. По сути, он выполняет структурированную переработку текста во время индексации.
Два основных вопроса
- Сомнительное предположение. Метод рассматривает каждый узел между двумя соседними заголовками как принадлежащий к текущему заголовку. Это не всегда верно, особенно в случае двухколоночных макетов, боковых панелей, плавающих таблиц или изображений, сносок, распространяющихся на несколько страниц, и внутренних ссылок на приложения. Два элемента, расположенных рядом на странице, не обязательно имеют связь по смыслу.
- Раздувание индекса. Постоянное копирование заголовков родительских элементов в дочерние чанки приводит к образованию большого количества чанков — в общей сложности 20 773, с средним количеством токенов 521,65. В таких случаях при поиске может уделяться больше внимания заголовкам разделов, чем самому тексту, особенно для документов с шаблонами предприятий, у которых файлы имеют схожие заголовки. Само исследование признаёт этот компромисс в рамках своих ограничений, отмечая, что дублирование контекста родительских элементов увеличивает размер индекса, затраты на хранение и время поиска. В крупном масштабе потребуется методика разбиения на чанки с учётом бюджета или удаление дубликатов на уровне узлов.
Сходство с MoDora
MoDora — это аналогичный подход к преобразованию повреждённых чанков от OCR в структурированное дерево документов, который основан на той же идее: сначала восстанавливается внутренняя структура, а только затем данные передаются для поиска и проверки качества.
- MultiDocFusion переходит от парсинга и OCR к иерархической структуре с использованием DSHP-LLM, а затем к иерархическим блокам с помощью DFS. Это моделирование с учётом структуры и создание блоков.
- MoDora сначала объединяет элементы OCR в компоненты, учитывающие макет, после чего формирует CCTree. Он моделирует иерархии компонентов, различия в макете и взаимосвязи между компонентами перед их извлечением и анализом.
Ни один из методов не рассматривает документ как простой набор текста. Оба явно представляют иерархию в качестве промежуточного этапа перед извлечением информации.
Связанные материалы
- Практические заметки: Где изучить RAG с нуля в 2026 году: курсы и — Пошаговое руководство по Практическим заметкам: Где изучить RAG с нуля в 2026 году: курсы и: контракты, проверки и блоки для вставки кода для команд, внедряющих эту модель.
- Практические заметки: Внедрение RAG в производство: проблемы на всех этапах из реальных случаев — Пошаговое руководство по Практическим заметкам: Внедрение RAG в производство: проблемы на всех этапах из реальных случаев: контракты, проверки и блоки для вставки кода для команд, внедряющих эту модель.