Главная / Статьи

Почему RAG упускает страницу с ответом: хлеб, дрожжи и векторы

Поиск по сходству в RAG может вернуть страницы на соответствующую тему, но при этом пропустить ту, в которой находится ответ. Почему таблицы и метод top-k усугубляют ситуацию и что следует проверять в первую очередь.

Издатель: REACTAPP.TOP7 мин чтения1695 слов

Источники: RAG Doesn’t Retrieve What You Think It Retrieves

Представьте хлеб, который выходит из духовки плоским и плотным. Вы спрашиваете искусственный интеллект-ассистента, который изучил всю вашу кулинарную книгу, почему это произошло. Ответ приходит мгновенно и с полной уверенностью: проверьте технику замеса, проверьте температуру духовки. Всё, что он говорит, касается хлеба, но ничего из этого не верно.

Ответ действительно был в кулинарной книге. На странице с названием «Активация дрожжей» указано, что вода температурой выше примерно 50°C уничтожает дрожжи. Вода была слишком горячей, дрожжи погибли, тесто не поднялось, и хлеб остался плоским. Эту страницу так и не открывали. Эту причину стоит понимать, потому что то же самое тихо происходит во многих корпоративных ИИ-системах.

Как работают эти системы

Эта технология называется генерация с усилением на основе поиска, или RAG. Модель не может запомнить все ваши документы, поэтому система загружает соответствующие фрагменты и позволяет модели их прочитать перед тем, как дать ответ.

Позже окажется важным один нюанс: система не хранит целые документы. Она разделяет их на фрагменты по несколько сотен слов, называемые чанками, и ищет среди них нужную информацию. В кулинарной книге чанк примерно соответствует одной странице.

Полезным примером может служить библиотекарь, работающий с экспертом. Ваш вопрос поступает к библиотекарю, который проходит по полкам, собирает несколько страниц, кажущихся релевантными, и передает их через щель эксперту, находящемуся в отдельной комнате. Этот эксперт может использовать только эти страницы и не имеет возможности запросить больше информации.

Сколько страниц передаётся модели? Как правило, по умолчанию пять, как в Amazon Bedrock Knowledge Bases и Azure OpenAI On Your Data, тогда как в LangChain — четыре. Увеличение этого числа — первое решение, к которому обычно прибегают. Каждая платформа использует своё название для этого параметра: numberOfResults в Bedrock, topNDocuments в Azure OpenAI On Your Data, а также k в LangChain и в самом Azure AI Search. Все они обозначают количество фрагментов, которые может прочитать модель.

Если библиотекарь сделает правильный выбор, эксперт покажется выдающимся. Если выбор неверный, эксперт не сообщит, что страницы неверны; он всё равно будет отвечать — плавно, уверенно, но неправильно.

Как выбирает библиотекарь

Все остальное следует из этого шага. Система преобразует каждый фрагмент в список чисел, описывающих его содержание, и делает то же самое с вашим вопросом. Затем она возвращает те фрагменты, чьи числа наиболее близки к числам вопроса.

Постоянно встречаются два термина. Список чисел фрагмента называется эмбеддингом, а критерием близости служит косинусная схожесть. Математику можно пропустить, поскольку суть заключается просто в том, насколько близки по смыслу два объекта.

Недостаток проявляется в самом механизме

Представьте каждый фрагмент как стрелу, направленную в определённом направлении. Оценка схожести отражает угол между двумя стрелами: малый угол указывает на сходство, большой — на отсутствие связи. Поскольку формула учитывает длину каждой стрелы, сохраняется лишь направление текста. Сила, точность и акцент теряются безвозвратно.

Вы можете показать последствия этого примерно за минуту. Возьмите пары предложений, отличающихся всего одним словом, которое несет в себе всю суть инструкции, например «делай» против «не делай». На первый взгляд каждая пара кажется почти идентичной. Если система выберет неверный вариант из пары, окончательный ответ не будет неоднозначным — он будет однозначно неверным.

Перед тем как полагаться на систему, проведите быструю проверку собственных данных. Выберите два предложения, отличающихся лишь наличием отрицания, номером версии или пороговым значением, вставьте их и сравните результаты. Это убедительнее любых опубликованных тестов, поскольку используется ваш собственный корпус данных.

Чтобы быть честным, этот подход — это не поиск по ключевым словам. Он сравнивает смысл, поэтому синонимы не создают проблем: если спросить о машине, система найдет тексты об автомобилях. Люди часто считают, что лучшая формулировка — решение проблемы, но на самом деле проблема не в формулировке.

Этот показатель определяет, соответствует ли фрагмент содержанию вопроса. Он не показывает, содержит ли фрагмент ответ. В большинстве случаев эти факторы совпадают, и никто этого не замечает. Вопрос о том, когда была построена Эйфелева башня, легко отвечается фрагментом, посвящённым самой башне.

А теперь вернёмся к хлебу.

Когда ответ находится в другой теме

Вопрос касается хлеба, а страница с ответом — дрожжей. Это разные темы, а не разные варианты описания одной темы, поэтому умные формулировки не могут их связать. Их соединяет причинно-следственная последовательность:

вода слишком горячая, дрожжи погибают, нет газа, нет подъёма теста, хлеб остаётся плоским

Опытный пекарь следует этой последовательности без раздумий. Поиск по сходству вообще не может её преодолеть, поскольку для этого требуется логическое мышление, а поиск измеряет лишь степень близости.

Ситуация ухудшается. Вы спросили именно потому, что не знали причины. Если бы вы знали, что нужно проверять температуру дрожжей, вопросов бы не возникло. Эти системы хороши только для вопросов, на которые можно ответить самостоятельно.

Почему загрузка дополнительных страниц помогает лишь немного

Увеличение значения с пяти до пятидесяти кажется очевидным решением, и теперь страница с информацией о дрожжах, возможно, будет загружаться. Но рейтинг не изменился. Страница остается внизу, потому что она по-прежнему посвящена другой теме. Вы просто надеетесь на лучшее.

Есть ещё и финансовая сторона: больше текста означает более высокие затраты, медленные ответы и дополнительный почти релевантный материал, который мешает модели обрабатывать информацию, что, как показано ниже, активно ухудшает результаты.

Таблицы теряются ещё до начала поиска

Вторая потеря данных происходит раньше, при вводе документов. Прежде чем что-либо можно будет найти поисковым инструментом, документ преобразуется в обычный текст. Прозаический текст сохраняется в ходе преобразования, но структура часто теряется.

Представьте таблицу, в которой указаны времена проверки, причем для каждого вида хлеба есть отдельная колонка. При преобразовании в текст цифры остаются, но колонки исчезают. Если спросить, сколько времени требуется для ржаного хлеба, сохраненный текст не содержит связи между цифрой 45 минут и тем, что речь идет именно о ржаном хлебе, а не о черном хлебе. Только колонки таблицы отражали эту связь, но они не сохранились в результате преобразования. Следовательно, при преобразовании в текст таблица может передать модели лишь список отдельных чисел и названий.

Кулинарная книга справляется с этой проблемой легко. Однако спецификации, таблицы цен, матрицы совместимости или справочники конфигураций — нет, поскольку в этих документах смысл заключается в форматировании, а не в предложениях.

Оба сервиса теперь обеспечивают более качественную обработку текста: Bedrock использует парсер на основе фундаментальной модели, а Azure — функцию извлечения структуры документа Document Intelligence. Они действительно помогают, но не устраняют проблему полностью, к тому же они не включены по умолчанию.

Эмпирические данные

Тестирование под названием BRIGHT направлено на задачи, при решении которых к правильному документу приводит логическое мышление, а не совпадение тем. Модели поиска, которые показывают около 59 баллов из 100 при обычных поисках, при решении таких задач достигают лишь примерно 18 баллов. Разница заключалась исключительно в типе задачи. Увеличение вычислительных мощностей тоже не помогает: среди тринадцати протестированных моделей лучший результат на сложных задачах составил 24 балла.

Опасная сторона

Если бы система отвечала «ничего не найдено», это было бы незначительной проблемой. Но она так не поступает. Поисковик сортирует результаты по степени близости к ответу и не отсекает никаких из них. Даже когда у ваших документов нет ответа, вы всё равно получаете результаты, которые выглядят как успешные поиски, причём не существует определённого порога, при котором система признала бы, что не нашла ничего полезного.

В работе, представленной на ICLR 2025, исследовалась следующая ситуация: когда модель получала связанный материал, в котором на самом деле не было ответа, доля её неверных ответов возрастала с примерно 10% до 66%, что хуже, чем ситуация, когда модель вообще не даёт ответов. Кроме того, модели становились заметно менее склонными признавать, что они не знают ответа.

Материал, имеющий лишь частичную релевантность, приносит больше вреда, чем никакого вреда, поскольку создаёт ложное чувство уверенности. Простую проблему легко решить. Однако та же ошибка в процессе проверки соответствия стандартам, при рассмотрении медицинских вопросов или при выборе архитектуры имеет серьёзные последствия, и именно поэтому такие сбои требуют внимания.

Что делать

Помогут три шага, примерно в порядке их эффективности:

  • Используйте реалистичные вопросы. Команды обычно тестируют с помощью вопросов, написанных авторами документов, используя их собственные формулировки. Попросите коллег, которые не читали материал, составить вопросы вместо них — так быстро выявятся слабые места.
  • Оценивайте процесс поиска отдельно. Прежде чем судить о качестве ответа, проверьте, был ли вообще найден нужный фрагмент информации. Если его не нашли, корректировка модели не поможет, поскольку исправляется неправильная часть системы.
  • Позвольте системе искать несколько раз. Постоянное решение заключается в использовании ИИ, который ищет, анализирует результаты, понимает, что они недостаточны, и снова ищет с более подходящими запросами, как это делает человек. Именно это различие между фиксированной процедурой обработки данных и агентом, и в этом направлении развивается данная область. В примере с хлебом первый поиск по запросу «плоские лепешки» может выдать страницы о замесе теста; при этом становится ясно, что ни на одной из них не упоминаются проблемы с подъемом теста, после чего система пытается снова с запросами вроде «подъем теста», «ферментация» и «температура дрожжей», что в конечном итоге позволяет найти нужную страницу.
  • Традиционные системы RAG сталкиваются с трудностями при решении сложных технических вопросов по нескольким причинам, и разрыв между процессами поиска информации и её обработки — лишь одна из них. Ещё одной причиной является разбиение текста на фрагменты, которое уничтожает его смысл, а также ситуация, когда система сдаёт тесты, но терпит неудачу в реальных условиях. Для устранения любой из этих проблем сначала необходимо определить, где потерялся нужный фрагмент текста, вместо того чтобы делать предположения, а также исходить из того, что первая попытка поиска иногда может оказаться неудачной.