Семь причин возникновения ошибок в ответах RAG и способы выявления этапа сбоя.
Практический способ диагностики некорректных ответов RAG: семь точек сбоя, разделенных на три этапа, четыре поля для записи информации и один тест, определяющий причину проблемы.
Источники: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong
Когда система RAG дает неверный ответ, сбой происходит ровно в одном из семи мест, и именно выбор этого места определяет, что необходимо изменить. Даже если настроить ту часть системы, которая ранее работала корректно, ответ останется таким же неверным.
Запрос проходит через этапы парсинга и разбиения на фрагменты, генерации эмбеддингов и их индексации, поиска информации, сбора контекста и генерации ответа. Любой из этих этапов может сработать некорректно, и результат будет одинаковым в любом случае. Без знания конкретного неисправного этапа любое решение является лишь предположением: изменение размера фрагментов, использование другой модели эмбеддингов или изменение алгоритма ранжирования влияют на каждый запрос одновременно.
Далее приводится метод диагностики. В нем указаны семь мест, в которых может возникнуть сбой в ответе, они сгруппированы по трем этапам, ответственным за устранение проблемы, а также перечислены четыре параметра, которые необходимо фиксировать для их различения.
Плохой ответ скрывает причину сбоя
Каждый из семи возможных сценариев проявляется в виде плавного, уверенного, но неверного или неполного текста. В результатах не указывается, в каком именно этапе произошла ошибка.
- По прибытии все семь выглядят одинаково. Параграф, которого никто не писал, фрагмент, захороненный на восьмом уровне, и модель, читающая неверную колонку таблицы, в итоге превращаются в один убедительный ответ.
- Однако решения не переносятся. Процесс ввода определяет, что существует, процесс извлечения — что находится, процесс сборки — что отправляется дальше, а промпт — что с ним происходит. Усилия, затраченные на неверный уровень, ничего не меняют для несправного уровня.
- Угадывание стоит дороже, чем сама ошибка. Перезаполнение всего корпуса текста для устранения проблемы с форматированием занимает дни и оставляет проблему нетронутой.
Лучше задать вопрос о том, где текст ответа в последний раз оставался целым и на каком этапе он был утерян.
Семь сбоев на трех этапах
Эти семь случаев взяты из опубликованного исследования рабочих систем RAG (arXiv 2401.05856); здесь они переименованы в зависимости от причины возникновения проблемы. Они сгруппированы по месту нахождения механизма исправления, поэтому выявление сбоя в определенной группе уже сужает круг возможных решений.
Получение данных: отсутствующий контент
Необходимая информация так и не преобразовалась в текст, который мог бы использоваться индексом для поиска. Возможно, в исходном документе ее нет, или она исчезла во время парсинга, очистки или разбиения на части.
- Отсутствующий контент. Во внутренней вики запрашивается информация о отпуске по уходу за ребенком в Ирландии. Была составлена только информация о политике США, но система все равно отвечает.
Обе причины приводят к одним и тем же симптомам, но требуют разных способов устранения. Если факт никогда не записывался, система должна иметь возможность отказать в ответе. Если данные были повреждены при получении, необходимо проверить парсер, правила очистки или задачу синхронизации, которая тихо остановилась.
Получение данных и контекст: данные не получены, текст обрезан до запроса, прочитано неверное значение
Факт находится где-то в одном из фрагментов данных, однако модель получила что-то другое.
- Данные не получены. Фрагмент присутствует в индексе, но поиск так и не выявил его. Представьте значение крутящего момента из таблицы спецификаций в руководстве, которое затеняется общей страницей с инструкциями по устранению неисправностей.
- Текст обрезан до запроса. Поиск вернул данные, но они так и не попали в контекст. Двенадцать заявок на поддержку соответствуют запросу о неудачных импортах, но лимит токенов позволяет учесть только пять из них.
- Прочитано неверное значение. Фрагмент данных находился в запросе рядом с дубликатом, устаревшей версией или сильным шумом, и модель использовала неверный источник. Появляются как сам контракт, так и его заменившая его поправка, причем дата продления берется из старой версии.
Порядок так же важен, как и соответствие. Исследования длинных контекстов (arXiv 2307.03172) показывают, что модели лучше используют материал в начале и в конце, чем в середине, поэтому фрагмент может дойти до запроса, но всё равно быть проигнорированным.
Почему здесь появляется неверное значение? Ошибка возникла у модели, поэтому это кажется проблемой генерации. Но исправление почти всегда происходит на более раннем этапе: удаляют дубликаты, выбрасывают устаревшие версии, удаляют шум, перестраивают порядок контекста. Переписывание запроса редко помогает.
Генерация: неверный формат, неверный объём, неполная
Модель увидела всё необходимое, но всё равно сгенерировала плохой ответ.
- Неверный формат. Правильные факты в неправильной форме: требовался список проверок, а пришёл абзац.
- Неверный диапазон. Ответ сформулирован слишком общо или слишком узко. Вопрос о лимите расходов приводит к ответу, касающемуся политики для всего персонала, хотя задающий вопрос — фрилансер, для которого действуют другие правила.
- Неполный ответ. Пропущена какая-то часть многочастного вопроса. Кто-то спрашивает о четырех очередях обработки заявок, но получает данные только для трех из них.
Неполноту часто упускают при чтении, поскольку написанное не содержит ложных сведений. Проверка цитат помогает её обнаружить: если источник упомянут в вопросе, но не цитируется, значит, что-то пропущено. Поскольку контекст верен, исправления требуются в самом вопросе, формате ответа или интерфейсе.
Как диагностировать
Записывайте четыре поля для каждого запроса
Диагностика подразумевает воссоздание запроса заново после того, как через несколько часов поступает жалоба. Повторный ввод вручную не заменяет этот процесс, поскольку индекс, скорее всего, изменился, и сбой может не воспроизводиться. Достаточно четырех полей:
- Оригинальный вопрос до любой переработки, поскольку сама переработка является источником сбоев.
- Результаты поиска: каждый кандидатский фрагмент с его
chunk_id,doc_id,versionи оценкой. - То, что было предоставлено модели: значения
chunk_id, оставшиеся после применения лимита токенов. - Итоговый ответ, символ за символом.
# The retrieved list and the prompt list stay separate. Collapsed into one,
# a chunk lost at ranking and a chunk lost at the token budget leave the
# same record, and no later reading of the log can separate them.
log_request({
"question": question,
"retrieved": [
{"chunk_id": c.chunk_id, "doc_id": c.doc_id,
"version": c.version, "score": c.score}
for c in candidates
],
"in_prompt": [c.chunk_id for c in context],
"answer": answer,
})
Держите списки полученных данных и запросов раздельно. Журнал, содержащий только сформулированный запрос и ответ, не позволяет отличить сбой в ранжировании от проблем с бюджетом.
Один тест, три результата
Выберите фрагмент текста, который должен был повлиять на ответ. Найдите его в записи журнала и отметьте, на каком этапе обработки он оказался. Существует всего три точки остановки, каждая из которых соответствует одному этапу.
- Фрагмент не найден ни в одном блоке: это проблема этапа загрузки данных. В корпусе его нет или он был утерян до индексации.
- Текст находится в блоке, который так и не дошел до запроса. Ответственны за это этапы получения данных и формирования контекста: либо ранжирование не вернуло этот блок, либо бюджет не позволил его использовать.
- Фрагмент найден в запросе, но ответ все равно неверен: у модели были все необходимые данные. Если она выбрала неверное значение, проверьте предыдущие этапы на наличие дубликатов или шума. Если форма, объем или полнота данных некорректны, обратите внимание на этап генерации ответа.
Что не учитывают эти семь критериев
Эти семь критериев определяют, был ли ответ правильным. Несколько факторов, делающих систему непригодной к использованию, остаются для них невидимыми.
- Разрешения. Ответ, в котором цитируется документ, недоступный для просмотра пользователя, считается правильным, но неприемлемым. Для этого необходимо хранить поля
acl_principalsрядом с каждым фрагментом данных и использовать фильтр во время выполнения запроса. - Вредоносные документы. Файл, содержащий инструкции, направленные на модель, может пройти все семь проверок, поскольку ответ остается верным тому, что ему было дано.
- Идентификация пользователя. Проблема появления фрагментов данных клиента А в ответе клиента Б решается с помощью поля
tenant_id, указанного как для хранимых фрагментов, так и для каждого запроса; она не зависит от формулировки вводного запроса. - Масштаб и стоимость. Задержки и затраты на обработку каждого запроса при большом объеме данных совсем не учитываются в этих семи критериях.
Все семь вариантов могут быть приняты даже при утечке данных. Эта система объясняет неверные ответы, но молчит о вопросах безопасности.
Подводные камни
- Расширение поиска в поисках ответа, чей фрагмент уже был включён в запрос. Больше результатов означает больше шума, что повышает вероятность того, что будет прочитано неверное значение.
- Логирование только отформатированного запроса. Неотфильтрованные и необрезанные фрагменты выглядят одинаково, поэтому настройки поиска корректируются, когда проблема заключается в ограничениях ресурсов, или наоборот.
- Использование отказа в качестве решения. Если ответ находится в таблице, которую парсер разложил на фрагменты, отказ от ответа лишь скрывает ошибку обработки за вежливостью.
- Добавление метаданных к фрагментам после запуска. Введение версии или пути раздела позже приводит к перезаписи всех фрагментов, а повторная обработка — к значительным затратам.
- Споры о диапазоне в зависимости от предпочтений. Вопрос о том, слишком ли общий ответ, остается предметом дискуссии до тех пор, пока тестовый вопрос не даст точный ответ, который следовало бы получить.
Применение на практике
Рассматривайте эту систему как цепочку: неверный ответ означает сбой на определённом звене, а диагностика заключается в поиске последнего звена, где сохранился текст ответа.
- Начните записывать четыре поля до того, как изменять какие-либо настройки. Один запись на запрос позволяет завершить большинство споров ещё до их начала.
- Сначала выполните один тест: находится ли отрывок без фрагментов, в фрагменте, который не соответствует запросу, или в самом запросе? Этот ответ определяет этап и, следовательно, тип исправления, которое, скорее всего, сработает.
- Дайте системе возможность указать, что она не знает ответа. Набор тестов, в котором у каждого вопроса есть ответ, никогда не покажет отсутствующего контента.
- Храните
doc_id,version,section_pathиupdated_atдля каждого фрагмента с момента первого загрузки, добавляяtenant_idиacl_principals, если важен вопрос доступа. - Откладывайте обработку остальных элементов до момента, когда это потребует конкретная ошибка. Графовый, мультимодальный и агентный способы поиска каждый имеют свои особенности невозможности поиска, и ни один из них не должен быть стандартным.
Этапы могут отличаться в зависимости от архитектуры поиска, но четыре поля, записываемые в лог, остаются одинаковыми во всех случаях.