Главная / Статьи

Разбиение на чанки: упускаемый фактор RAG, приводящий к неверным ответам.

Почему разделение документов негативно влияет на качество поиска, как помогают учет структуры и разбиение на чанки типа «родитель-дочерний», и как оценить эффективность ваших чанков.

Издатель: REACTAPP.TOP7 мин чтения1686 слов

Источники: Chunking: The RAG Decision Everyone Skips, and Shouldn’t

Когда чат-бот на основе RAG уверенно дает неверный ответ, обычная реакция — винить модель. Люди заменяют её на более мощный LLM, перерабатывают запрос или пробуют другую модель эмбеддингов. Однако ничто из этого не касается настоящей причины проблемы, которая заключается на более раннем этапе обработки, в момент разделения документа на фрагменты. Этот этап называется чанкингом. Он оказывает огромное влияние на качество поиска информации, но его легко игнорировать, поскольку он предшествует тем частям, которые обычно настраивают.

Конкретный пример это наглядно иллюстрирует. Клиент спрашивает бота поддержки, можно ли вернуть деньги за поврежденный товар. Бот отвечает, что возвраты принимаются в течение 30 дней. Это звучит нормально, но в правилах также указано, что это правило не применяется к товарам с маркировкой «окончательная продажа». Бот просто не увидел этот пункт. Вина не в модели — предложение просто оказалось в другом фрагменте, чем тот, который был извлечен.

Далее рассматривается, что такое чанкинг, почему наивная версия этого подхода терпит неудачу именно таким образом, и что делают производственные системы для решения этой проблемы. В тексте используются документация поставщиков и документация фреймворков, причем там, где это возможно, избегаются догадки.

Что такое чанкинг

Система искусственного интеллекта, которая сначала анализирует ваши документы, должна разделить их на более мелкие единицы. В этом направлении действуют два практических фактора.

Первый — точность поиска. Если сохранять целый документ как одну единицу, поиск по запросу «политика возврата средств» вернет весь файл, большая часть которого будет нерелевантной. Необходимо получить конкретный отрывок, который отвечает на вопрос. В документации Azure AI Search от Microsoft прямо указывается на это: даже когда документ вписывается в лимиты входных данных модели, его разделение на более мелкие части зачастую позволяет получить лучшие результаты, поскольку один вектор не может хорошо отражать множество разных подтем.

Во-вторых, существует строгий лимит на объем входных данных для моделей эмбеддингов. Разделение на фрагменты предотвращает тихое обрезание содержимого, превышающего этот лимит.

Затем процесс работает следующим образом: документ разделяется на фрагменты. Каждый фрагмент преобразуется в вектор, эмбеддинг, который хранится в базе данных векторов. Вопрос пользователя также преобразуется в эмбеддинг, и система извлекает те фрагменты, которые имеют наивысший рейтинг согласно используемому методу поиска: чистой векторной схожести, гибридному поиску, сочетающему векторы и ключевые слова, или дополнительной процедуре переранжирования.

Именно на этом последнем этапе выбор способа разделения на фрагменты может негативно сказаться. Система может извлекать только те данные, которые ей были предоставлены. Если доказательства для ответа распределены между двумя фрагментами, а извлекается только один, модель отвечает на основе неполного контекста и не может знать, что отсутствующая часть находится где-то еще.

Почему наивный подход не срабатывает

Самый простой метод — это разбиение на фиксированные по размеру части. Текст делится каждые N токенов или символов, независимо от его содержимого. Он популярен благодаря простоте, предсказуемости и минимальным требованиям к дополнительной обработке.

Даже Azure, в рекомендациях которого фиксированное разбиение на части называется хорошей отправной точкой, прямо указывает, что правильный размер и степень перекрытия частей зависят от структуры контента и типа запросов, отправляемых пользователями, и что высокоструктурированные данные могут требовать иного подхода к обработке, чем свободно написанный текст. Главное — меньший размер не всегда означает лучшее качество. Слишком тонкое разбиение может разделить факты, которые должны рассматриваться вместе, что и произошло в случае с политикой возврата средств.

Повторим этот пример. Предположим, что предложение о 30 днях попадает в один блок, а исключение, связанное с окончательной продажей, — в следующий. Запрос о возвратах сильно соответствует первому блоку из-за слова «возврат». Блок с исключением никогда не берется во внимание. Модель правильно анализирует полученные данные, но они были неполными.

В этом и заключается основная проблема разделения на блоки: качество поиска ограничивается качеством блоков, независимо от того, насколько сильна модель эмбеддингов или последующая большая языковая модель. Команды тратят недели на настройку эмбеддингов и переранжирование, в то время как настоящий узкий место находится на более раннем этапе — при разделении исходных данных.

Что делают производственные системы

Постоянно встречаются два подхода.

Разделение на блоки с учетом структуры

Этот подход прекращает рассмотрение документа как недифференцированной строки. Вместо того чтобы делить текст на части каждые N токенов, сначала происходит разделение по естественным границам — заголовкам, разделам и абзацам, причем ограничение по размеру вводится только тогда, когда раздел становится слишком длинным. Azure AI Search предлагает это решение в виде функции Document Layout, где модель интеллекта документов определяет его структуру и формирует связные разделы для последующего разбиения на части.

В качестве базового параметра до добавления возможности учета структуры текущие рекомендации Microsoft предусматривают начальное значение около 512 токенов с примерно 25-процентным перекрытием, подчеркивая при этом, что оптимальные настройки зависят от содержимого и сферы применения.

Разбиение на части по принципу «родитель-дочерний»

Этот подход, также называемый иерархическим или поиском от мелких к крупным элементам, решает ту же проблему с другой стороны. Вместо получения одного большого блока данных в надежде, что в нем содержится всё необходимое, система находит небольшой, точный дочерний блок для точного сопоставления, а затем расширяет результат, включая более крупный родительский блок для полного контекста.

Несколько популярных инструментов реализуют этот метод:

  • LlamaIndex создаёт иерархию узлов от крупных к мелким с помощью HierarchicalNodeParser. Для векторного поиска индексируются только небольшие листовые блоки, а их более крупные родительские блоки хранятся в отдельном хранилище документов. Затем AutoMergingRetriever вновь включает родительский блок, как только достаточное количество его дочерних блоков будет извлечено вместе.
  • ParentDocumentRetriever от LangChain работает по тому же принципу. Он встраивает небольшие фрагменты-дети для целенаправленного поиска, а при обработке запроса находит родительский документ, откуда поступил каждый результат, и возвращает этот более длинный текст, стремясь сбалансировать точность поиска и достаточную длину текста для сохранения контекста.
  • Amazon Bedrock Knowledge Bases описывает эту схему своими словами: сначала извлекаются фрагменты-дети, а затем они заменяются более обширными родительскими документами, поскольку небольшие эмбеддинги обеспечивают большую точность, в то время как модели всё ещё требуется полный контекст.
  • Такой подход эффективен, поскольку небольшие и крупные фрагменты обладают разными преимуществами. Небольшие фрагменты обеспечивают четкие, сфокусированные представления и способствуют поиску с высокой точностью. Крупные фрагменты дают модели достаточно контекстного текста, чтобы избежать ответов на основе урезанных фрагментов. Разделение на родительские и дочерние фрагменты позволяет каждому размеру использовать свои сильные стороны, вместо того чтобы заставлять один размер выполнять функции как поиска, так и генерации.

    Однако этот подход не является универсальным. Для корпусов, состоящих из уже самодостаточных единиц, таких как записи в FAQ или списки продуктов, а также для строго табличных и ориентированных на схемы данных, шаг расширения родительских фрагментов обычно приводит к дополнительным затратам без соответствующей выгоды.

    Не существует единственного оптимального настроения

    Ни размер фрагментов, ни стратегия их разделения не подходят во всех случаях. Оптимальный вариант зависит от структуры документов, вопросов, которые задают пользователи, настроек поиска и переранжирования, а также от способа оценки всей системы.

    Семантическое разбиение текста на части, при котором группировка происходит по смыслу, а не по структуре или размеру, часто считается более продвинутым решением. AWS описывает его как одну из поддерживаемых стратегий наряду с разбиением фиксированного размера и иерархическим разбиением, однако он требует дополнительных параметров и сопряжен с определенными компромиссами, поэтому его следует протестировать на собственных документах и запросах, а не предполагать автоматически его преимущества. Более сложная стратегия будет полезна лишь в том случае, если она поможет решить конкретную проблему, с которой вы сталкиваетесь.

    Проверка работоспособности разбиения на части

    Выбор стратегии — это не однократное решение. Это то, что необходимо постоянно оценивать и пересматривать. После внедрения системы стоит отслеживать три показателя.

    • Воспроизводимость результатов. Возьмите любой вопрос: включает ли набор полученных частей информацию, необходимую для правильного ответа? Если нет, никакие дополнительные меры не смогут исправить ситуацию.
  • Точность контекста. Из полученных фрагментов какая часть действительно была релевантной? Низкая точность обычно означает, что фрагменты слишком велики или имеют слишком расплывчатые границы, в результате чего включается нерелевантный текст.
  • Качество ответа от начала до конца. Был ли моделью правильно использован подходящий фрагмент? Этот показатель выявляет проблемы на этапе генерации, а не поиска; разделение его от двух предыдущих показателей помогает определить, связана ли плохая ответность с разбиением на фрагменты, поиском или генерацией.
  • Отслеживание этих трех аспектов отдельно, вместо простого определения того, кажется ли окончательный ответ правильным, превращает процесс разбиения на фрагменты из удачного догадывания в процесс, над которым можно работать поэтапно.

    Простой способ начать

    Дешевый первоначальный эксперимент может помочь. Соберите двадцать–тридцать реальных вопросов вместе с отрывками текста, которые должны на них ответить. Пройдите ту же группу вопросов через два–три способа разбиения на фрагменты: с фиксированным размером и перекрытием, разбиение с учетом структуры и расширение по принципу «родитель–дочерний». Для каждого способа подсчитайте, как часто необходимые доказательства встречаются в полученном наборе. Конфигурация, которая покажет лучшие результаты на ваших собственных документах, ценнее любых общих рекомендаций.

    Что стоит запомнить

    Разбиение на фрагменты — это не шаг предобработки, который можно сделать один раз и забыть. Это первое решение системы по извлечению информации, и все последующие этапы — от использования эмбеддингов до переранжирования и генерации — зависят от качества этого решения.

    Сильная модель эмбеддингов не сможет исправить документ, плохо разделенный на фрагменты. Если ответы системы RAG кажутся случайными, неполными или явно ошибочными, проверьте фрагменты перед тем, как обращаться к модели.

    Источники

    Приведенная выше информация взята из публичной документации Microsoft Azure AI Search, включая рекомендации по разбиению документов на части и использованию функции Document Layout, из репозитория Azure-Samples по проектированию и оценке решений типа RAG, с страниц LlamaIndex об автоматическом объединении элементов для поиска и парсерах узлов, из руководства LangChain по компоненту ParentDocumentRetriever, а также с страницы Amazon Bedrock о принципах разбиения контента на части в базах знаний. Настройки могут меняться при выходе новых версий, поэтому убедитесь в их актуальности, ознакомившись с текущей документацией.