KohakuRAG: підйом по дереву документів для пошуку правильних доказів.
KohakuRAG піднімається по чотирирівневій дереві документів, щоб знайти докази: багатокрокове пошукове звернення, повторні спроби у разі порожніх відповідей та голосування, як це було протестовано у завданні WattBot 2025.
Джерела: KohakuRAG: Climb the Document Tree, Find the Right Evidence
Генерація з підсиленням за допомогою пошуку часто виглядає чудово у демонстраціях, але потім не справляється з реальними запитаннями. KohakuRAG — фреймворк, описаний у статті arXiv 2026 року, намагається подолати цю прогалину за допомогою простих інженерних рішень, і його варто уважно розглянути.
Де звичайний RAG виявляється недостатнім
Завдання на кшталт WattBot 2025 Challenge виявляють його слабкі місця. Вони вимагають числових відповідей з точністю до 0,1 відсотка та точного посилання на джерело. Три звички стандартних процесів обробки даних завдають тут проблем:
- Розділення тексту на прості фрагменти ігнорує структуру документа та окремі його частини, тому відстеження джерела відповіді ускладнюється, а цитати викликають менше довіри.
- Один запит може легко пропустити корисні докази, якщо запитання та документ виражають одну й ту саму ідею по-різному.
Від плоских фрагментів до дерева
KohakuRAG — це компактна платформа, побудована на чотирирівневому індексі: документ, розділ, абзац, речення. Структура зберігається завдяки поєднанню ембеддингів знизу догори. Планування запитів за допомогою LLM разом із переранжуванням запитів розширює охоплення пошуку. Відповіді стабілізуються шляхом голосування кількох генерацій, а порожні результати обробляються особливо.
Офлайн: створення індексу
Спочатку відбувається аналіз тексту. Кожен документ перетворюється на дерево цих чотирьох рівнів. Зображення та таблиці розглядаються як спеціальні вузли абзаців із генерованими підписами. PyMuPDF витягує зображення, а модель мови та зору (Qwen3-VL) створює підписи, які зосереджені на технічному змісті, числах та позначках вісей.
Більша частина процесу аналізу ґрунтується на правилах. PyMuPDF витягує текст та макет, а потім методи евристики, засновані на розмірі шрифту, відступах та форматуванні, відновлюють ієрархію:
- Розділи: блоки, у яких розмір шрифту є принаймні в 1,2 рази більшим за середній, вважаються кандидатами на назви розділів, а нумерація на кшталт 1.2 або A.3 допомагає визначити межі.
- Абзаци: сусідні блоки, розділені відстанню, меншою за 1,5 висоти рядка, об’єднуються, а більші проміжки створюють новий абзац.
- Речення: функція
sent_tokenizeз бібліотеки NLTK виконує розділення на речення, а також додає додаткові правила для технічних скорочень на кшталт Fig., et al. та i.e.
Далі йдуть ембеддинги. Речення, що є кінцевими елементами, ембеддуються безпосередньо. Кожен батьківський елемент є середнім значенням своїх дочірніх елементів, з врахуванням кількості токенів, тож довші фрагменти впливають більше. Підтримуються два типи бекендів: Jina v3 для тексту (768 вимірів, контекст до 8K) та Jina v4 для багатомодального пошуку, з вимірами Matryoshka від 128 до 2048 та прямою обробкою як тексту, так і зображень. Для зберігання використовується sqlite-vec — легкий векторний бекенд.
Онлайн: пошук за кількома запитами
Під час етапу постановки запитань ШІ розширює початкове запитання на кілька пов’язаних запитів, які включають перефразування, розкриття абревіатур та дочірні запитання. Кожен запит виконує пошук за косинусною схожістю, обмежений вузлами речень та абзаців. Додатково можливий гібридний крок передбачає використання методу BM25 для розрідженого пошуку лише в індексі абзаців, причому результати цього пошуку додаються після результатів щільного пошуку.
Потім результати переранжовуються серед усіх запитів з використанням частоти, оцінки або їхньої комбінації, тож вузол, який відповідає кільком запитам, отримує вищий ранг. Система потім просувається по дереву та розширює контекст: для кожного знахідки вона додає батьківські та сусідні вузли. Знайдене речення включає свій абзац, а знайдений абзац — свою розділову частину. Знахідки на рівні розділових частин відкидаються, оскільки вони занадто грубі. Опційний крок видалення дублікатів може усунути перетини між предками та нащадками для економії простору контексту, проте під час змагань його не використовували.
Створення відповіді
Підказки розміщують отриманий контекст перед запитанням, що допомагає уникнути ефекту „загублення в середині“, а маркери цитування полегшують моделі визначення джерела інформації. Результат — це структурований JSON, який містить відповідь, вилучене значення, ідентифікатори цитувань, пояснення та флаг для випадку порожнього результату. Якщо доказів недостатньо, від моделі очікується чітке утримання від відповіді. Зауважте, що цитування оцінюються на рівні ID документа, а не сторінки чи фрагмента тексту, що має значення під час інтерпретації того, що оптимізує система.
Цикл повторних спроб допомагає подолати проблеми з порожніми результатами. Якщо модель повідомляє про недостатню кількість доказів, система застосовує механізм top-k, знову здійснює пошук та повторює процес, поки не отримає коректну відповідь або не досягне ліміту повторних спроб.
Кілька генерацій, потім голосування
Замість того, щоб запитувати одну відповідь, система генерує кілька незалежно одна від одної. Порожні відповіді видаляються перед голосуванням, якщо існує принаймні одна реальна відповідь. Якщо всі результати є порожніми, система утримується від голосування. Голосування стабілізує як відповіді, так і посилання.
Результати
Ця платформа була створена для змагання WattBot 2025, тому результати походять переважно з цього тесту: 32 технічні документи про використання ШІ в енергетиці, включаючи статті, звіти та презентації, загалом близько 500 тисяч токенів. Теми охоплюють споживання енергії, використання води, вуглецевий слід та характеристики продуктивності моделей.
KohakuRAG набрав 0,902 бали у публічному рейтингу та 0,861 бали у приватному, і це був єдиний метод, який посів перше місце в обох.
Два факти вирізняються. Порядок подання інформації має величезне значення: розміщення запитання після отриманого контексту, а не перед ним, дало 80 відсотків відносного покращення, що підтверджує ідею про проблему „втрати інформації посередині“. Іноді найбільший ефект досягається завдяки найпростішим змінам. Крім того, сама лише інтенсивна обробка даних може бути достатньою. Гібридний пошук з використанням BM25 зазвичай вважається сильною базовою моделлю, проте добре структурована ієрархічна система також показала високу ефективність, а додавання BM25 допомогло лише приблизно на 3,1 відсотка.
Оцінка
Жоден з компонентів тут не є радикально новим. Сила цієї системи полягає у тому, як кілька відомих технік (шаровий індекс, кілька запитів на одне питання, повторна спроба у разі відмови моделі та голосування більшості) поєднуються для досягнення однієї важливої мети: точних відповідей, точних посилань та готовності утриматися від відповіді, коли докази є слабкими.
Це також стосується однієї з найскладніших частин відповідей на запитання в корпоративних системах, де простежуваність має ще більше значення, ніж правильність відповіді. Якщо дивитися з цієї точки зору, цей підхід — це не просто більш витончений спосіб розділення тексту на частини; це інфраструктура для посилань, аудиту та аналізу помилок.
Залишаються дві проблеми. Перша — чутливість до якості парсингу, а ймовірно, також до якості планування запитів. Справжній корпоративний контент складається з неструктурованих PDF-файлів та непослідовних макетів, тож методи виявлення розділів на основі правил можуть зазнавати невдач з самого початку. Друга проблема — витрати та затримки. Використання кількох алгоритмів призводить до приблизно лінійного зростання витрат, а повторні спроби можуть погіршити затримки, тож цей підхід підходить для ситуацій з високою надійністю та низькою пропускною здатністю, а не для онлайн-систем відповідей на запитання з високою конкуренцією.
Основна стаття має назву „KohakuRAG: A simple RAG framework with hierarchical document indexing“ та доступна на arXiv.