Главная / Статьи

KohakuRAG: прокладка пути по дереву документов для поиска подходящих доказательств.

KohakuRAG поднимается по четырехуровневой дереву документов в поисках доказательств: многокритериальный поиск, повторные попытки при пустых ответах и голосование, как это было протестировано в задании WattBot 2025.

Издатель: REACTAPP.TOP5 мин чтения1122 слов

Источники: KohakuRAG: Climb the Document Tree, Find the Right Evidence

Метод генерации с усилением на основе поиска часто выглядит отлично в демо-версии, но теряет эффективность при решении реальных задач. KohakuRAG — фреймворк, описанный в статье arXiv 2026 года, пытается преодолеть этот разрыв с помощью простых инженерных решений, и его стоит внимательно рассмотреть.

Где обычный RAG не справляется

Задачи вроде WattBot 2025 Challenge выявляют его слабые места. Они требуют числовых ответов с точностью до 0,1 процента, а также точного указания источника. Три особенности стандартных процессов обработки данных мешают в этом случае:

  • Разделение текста на простые фрагменты игнорирует структуру документа, из-за чего отслеживание источника ответа становится сложнее, а цитаты вызывают меньше доверия.
  • Один запрос может легко пропустить подходящие доказательства, если вопрос и документ выражают одну и ту же идею по-разному.
  • Одна итерация генерации является нестабильной. Ответы и цитаты меняются при повторных запусках, и модель, боящаяся галлюцинаций, может не вернуть ничего, даже если доказательства находятся прямо в её контексте.
  • От плоских фрагментов к дереву

    KohakuRAG — это компактная платформа, построенная на четырехуровневом индексе: документ, раздел, абзац, предложение. Структура сохраняется благодаря объединению эмбеддингов снизу вверх. Планирование запросов с помощью LLM в сочетании с переранжированием запросов расширяет охват поиска. Ответы стабилизируются путем голосования нескольких итераций, причем пустые результаты обрабатываются особым образом.

    Офлайн: создание индекса

    Сначала происходит парсинг. Каждый документ преобразуется в дерево, состоящее из четырех уровней. Изображения и таблицы рассматриваются как специальные узлы абзацев с генерируемыми подписями. PyMuPDF извлекает изображения, а модель визуального языка (Qwen3-VL) пишет подписи, сосредоточенные на техническом содержании, числах и метках осей.

    Большая часть процесса парсинга основана на правилах. PyMuPDF извлекает текст и макет, после чего геуристики, основанные на размере шрифта, отступах и форматировании, восстанавливают иерархию:

    • Разделы: блоки с размером шрифта, не меньшим чем в 1,2 раза от среднего значения, считаются кандидатами на роль заголовков, а нумерация вида 1.2 или A.3 помогает определить границы.
    • Абзацы: соседние блоки, разделенные расстоянием, меньшим чем в 1,5 высоты строки, объединяются, а более большие промежутки образуют новый абзац.
    • Предложения: разбиение осуществляется с помощью функции sent_tokenize из NLTK, плюс дополнительные правила для технических аббревиатур вроде Fig., et al. и i.e.

    Далее идут эмбеддинги. Предложения, являющиеся «листьями» структуры, эмбеддингируются напрямую. Каждый родительский узел представляет собой среднее значение своих дочерних узлов, взвешенное по количеству токенов, так что более длинные фрагменты вносят больший вклад. Поддерживаются два варианта реализации: Jina v3 для текста (768 измерений, контекст до 8K) и Jina v4 для мультимодального поиска, с размерами эмбеддингов от 128 до 2048 и возможностью прямой обработки как текста, так и изображений. Для хранения используется sqlite-vec — легкий векторный движок.

    Онлайн-режим: поиск по нескольким запросам

    Во время этапа задавания вопросов ЯЗЫК расширяет исходный вопрос на несколько связанных запросов, включающих перефразирования, расшифровку аббревиатур и дополнительные вопросы. Каждый запрос выполняет поиск по коэффициенту косинусного сходства, ограниченный узлами предложений и абзацев. По желанию можно использовать гибридный подход, предусматривающий разреженный поиск с использованием алгоритма BM25 только в индексе абзацев; результаты такого поиска добавляются после результатов плотного поиска.

    Затем результаты переранжируются среди всех запросов с учётом частоты, оценки или их комбинации, так что узел, соответствующий нескольким запросам, занимает более высокое положение в рейтинге. Система затем прослеживает структуру дерева и расширяет контекст: для каждого совпадения она включает родительские и сестринские узлы. Совпавшее предложение включает свой абзац, а совпавший абзац — свою секцию. Самые крупные совпадения на уровне секций игнорируются, поскольку считаются слишком общими. По желанию можно применить шаг удаления дубликатов для устранения перекрытий между родительскими и потомковыми узлами с целью сокращения объёма контекстного окна, однако на соревнованиях это не использовалось.

    Формирование ответа

    Подсказки размещают полученный контекст перед вопросом, что противодействует эффекту потери информации на промежуточных этапах, а маркеры цитирования облегчают модели указание источников. Результат представляет собой структурированный JSON, содержащий ответ, извлеченное значение, идентификаторы цитат, объяснение и флаг, указывающий на отсутствие результата. При недостатке доказательств от модели ожидается прямое заявление об отсутствии информации. Следует отметить, что оценка цитат производится на уровне идентификатора документа, а не по страницам или фрагментам текста, что имеет значение при интерпретации того, что оптимизирует система.

    Цикл повторных попыток позволяет справиться с ситуациями, когда результат отсутствует. Если модель сообщает о недостатке доказательств, система применяет метод top-k, снова выполняет поиск и повторяет процесс до получения корректного ответа или достижения лимита повторных попыток.

    Несколько поколений, затем голосование

    Вместо того чтобы запрашивать один ответ, система генерирует несколько независимо друг от друга. Пустые ответы удаляются перед голосованием, если существует хотя бы один реальный ответ. Если все результаты пустые, система воздерживается от голосования. Голосование способствует устойчивости как ответов, так и цитат.

    Результаты

    Эта платформа была создана для конкурса WattBot 2025, поэтому результаты в основном взяты с этого тестового задания: 32 технических документа об использовании ИИ в энергетике, включая статьи, отчеты и презентации, общим объемом примерно 500 тысяч токенов. Темы включают потребление энергии, использование воды, углеродный след и характеристики производительности моделей.

    KohakuRAG показал результат 0,902 в общедоступном рейтинге и 0,861 в приватном, и стал единственным методом, занявшим первое место в обоих рейтингах.

    Выделяются два ключевых вывода. Порядок предоставления информации имеет огромное значение: размещение вопроса после полученного контекста, а не до него, приводило к относительному улучшению на 80 процентов, что подтверждает идею о проблеме «потери информации посередине». Иногда наибольший эффект достигается благодаря самым простым изменениям. Кроме того, один лишь тщательный поиск может быть достаточным. Гибридный поиск с использованием алгоритма BM25 обычно считается надежной базовой моделью, однако хорошо структурированная иерархическая система также показала высокую эффективность, причем добавление алгоритма BM25 принесло лишь примерно 3,1 процента улучшения.

    Оценка

    Здесь нет ничего совершенно нового. Сила данной системы заключается в том, как несколько известных методов (многоуровневый индекс, несколько запросов к одному вопросу, повторная попытка при отказе модели и голосование большинством) объединяются ради одной важной цели: точных ответов, точных цитат и готовности воздержаться от ответа при слабых доказательствах.

    Это также касается одной из самых сложных частей вопросов-ответов в корпоративных системах, где возможность отслеживания имеет ещё большее значение, чем правильность ответа. С такой точки зрения дерево представляет собой не более изысканный способ разбиения текста — это инфраструктура для цитирования, аудита и анализа ошибок.

    Остаются две проблемы. Первая — чувствительность к качеству парсинга, а вероятно, и к качеству планирования запросов. Настоящий корпоративный контент состоит из беспорядочных PDF-файлов с неоднородной структурой, и методы обнаружения разделов на основе правил могут сразу давать ошибки. Вторая проблема — затраты и задержки. Использование нескольких алгоритмов приводит к примерно линейному увеличению затрат, а повторные попытки могут усугубить задержки, поэтому такой подход подходит скорее для систем с высокой надежностью и низкой пропускной способностью, чем для онлайн-систем вопросов-ответов с высокой конкуренцией.

    Основная статья называется «KohakuRAG: Простая рамка RAG с иерархическим индексированием документов» и доступна на arXiv.