Чому RAG пропускає сторінку з відповіддю: хліб, дріжджі та вектори
Пошук схожостей у RAG може повернути сторінки на належну тему, проте все одно пропустити ту, що містить відповідь. Чому таблиці та метод top-k погіршують ситуацію та що варто перевірити спочатку.
Уявіть хліб, який виходить з духовки пласким та щільним. Ви запитуєте штучний інтелект, який прочитав усю вашу кулінарну книгу, чому це сталося. Відповідь надходить миттєво та з абсолютною впевненістю: перевірте свою техніку замішування, перевірте температуру духовки. Усе, що він каже, стосується хліба, але нічого з цього не є правдою.
У кулінарній книзі справді була відповідь. На сторінці під назвою „Активація дріжджів“ зазначено, що вода температурою вище приблизно 50°C вбиває дріжджі. Вода була занадто гарячою, дріжджі загинули, тісто не піднялося, і хліб залишився пласким. Цю сторінку ніхто ніколи не відкривав. Цю причину варто зрозуміти, адже те саме тихо відбувається всередині багатьох корпоративних систем штучного інтелекту.
Як працюють ці системи
Ця техніка називається генерація з підтримкою пошуку, або RAG. Модель не може запам’ятати всі ваші документи, тому система завантажує відповідні уривки та дозволяє моделі їх прочитати перед тим, як відповісти.
Пізніше має значення одна деталь: система не зберігає цілі документи. Вона розділяє їх на фрагменти по кілька сотень слів, які називаються чанками, та шукає саме їх. У кулінарній книзі чанк — це приблизно одна сторінка.
Корисним прикладом є бібліотекар, який працює з експертом. Ваше запитання надходить до бібліотекаря, який обходить полиці, збирає кілька сторінок, що, на його думку, стосуються теми, та передає їх через щілину експерту, який знаходиться в кімнаті. Цей експерт може використовувати лише ці сторінки та не має можливості попросити більше.
Скільки сторінок передається? Зазвичай по умовчанню п’ять, як у Amazon Bedrock Knowledge Bases та Azure OpenAI On Your Data, тоді як у LangChain — чотири. Підвищення кількості — це перше рішення, до якого вдаються більшість людей. Кожна платформа позначає це по-різному: numberOfResults у Bedrock, topNDocuments у Azure OpenAI On Your Data, а k у LangChain та у самому Azure AI Search. Усі ці позначення означають кількість фрагментів, які модель може прочитати.
Якщо бібліотекар правильно обирає, експерт виглядає чудово. Якщо вибір поганий, експерт не каже, що сторінки неправильні. Він все одно відповідає — плавно, впевнено, але неправильно.
Як бібліотекар обирає
Усе інше випливає з цього кроку. Система перетворює кожен фрагмент на список чисел, які описують його зміст, і робить те саме з вашим запитанням. Потім вона повертає фрагменти, чиї числа найбільш близькі до чисел запитання.
Постійно згадуються два терміни. Список чисел фрагмента називається ембеддингом, а критерієм близькості є косинусна схожість. Ви можете пропустити математику, адже суть полягає просто у тому, наскільки близькими за значенням є дві речі.
Недолік видно в самому механізмі
Уявіть кожен фрагмент як стрілу, спрямовану в певному напрямку. Оцінка схожості відображає кут між двома стрілами: малий кут свідчить про схожість, великий — про відсутність зв’язку. Оскільки формула вираховує довжину кожної стріли, залишається лише напрямок тексту. Сила, точність та акцент втрачаються.
Ви можете продемонструвати наслідки цього приблизно за хвилину. Візьміть пари речень, які відрізняються лише одним словом, де це слово несе всю інформацію, наприклад „робити“ проти „не робити“. На перший погляд кожна пара виглядає майже однаковою. Якщо система обере неправильний елемент пари, кінцева відповідь не буде розпливчастою — вона буде абсолютно неправильною.
Перед тим, як покладатися на систему, проведіть швидку перевірку власних матеріалів. Виберіть два речення, які відрізняються лише запереченням, номером версії чи пороговим значенням, включіть їх та порівняйте результати. Це переконує краще, ніж будь-які опубліковані тестові дані, адже використовується ваш власний корпус текстів.
Чесно кажучи, цей підхід — це не зіставлення ключових слів. Він порівнює значення, тому синоніми не створюють проблем: якщо запитати про автомобіль, система знайде текст про автомобілі. Люди часто вважають, що краща формулювання — це рішення проблеми, але проблема не в формулюванні.
Цей показник вимірює те, чи стосується фрагмент майже тієї самої теми, що й запитання. Він не вимірює те, чи містить фрагмент відповідь. У більшості випадків це збігається, і ніхто цього не помічає. Запитання про те, коли була побудована Ейфелева вежа, відповідається фрагментом про Ейфелеву вежу, що є простим.
А тепер повернімося до хліба.
Коли відповідь знаходиться в іншій темі
Запитання стосується хліба. Сторінка з відповіддю — про дріжджі. Це різні теми, а не різні слова для однієї теми, тому кмітливе формулювання не може їх поєднати. Те, що їх пов’язує, — це причинно-наслідкова послідовність:
вода занадто гаряча, дріжджі гинуть, немає газу, немає підйому, хліб виходить пласким
Досвідчений пекар проходить цю послідовність без додаткових думок. Пошук схожостей зовсім не може її подолати, оскільки для цього потрібні міркування, а пошук вимірює лише близькість.
Ситуація погіршується. Ви запитали саме тому, що не знали причини. Якби ви знали, що потрібно перевіряти температуру дріжджів, у вас не було б потреби запитувати. Ці системи добре справляються з питаннями, на які можна було б відповісти самостійно.
Чому завантаження більше сторінок допомагає лише трохи
Підвищення значення з п’яти до п’ятдесяти здається очевидним рішенням, і сторінка про дріжджі тепер може бути врахована. Але рангінг не змінився. Сторінка залишається «похованою», тому що вона все ще присвятована іншій темі. Мережа є ширшою, і ви сподіваєтесь.
Є ще й фінансовий аспект: більше тексту означає вищу вартість, повільніші відповіді та додатковий матеріал, схожий на тематику, що заважає моделі обробляти інформацію, що, як показано нижче, активно погіршує результати.
Таблиці втрачаються ще до початку пошуку
Друга втрата відбувається раніше, під час завантаження документів. Перш ніж можна буде щось шукати, документ перетворюється на звичайний текст. Проза зберігається під час цього перетворення, але структура часто — ні.
Уявіть таблицю, у якій перелічені часи корекції, з однією колонкою для кожного типу хліба. Після перетворення на текст ці числа залишаються, але колонки зникають. Якщо запитати, скільки часу потрібно ржаному хлібу, збережений текст не містить жодного зв’язку між цифрою 45 хвилин та ржаним хлібом на відміну від сухарного. Лише колонки таблиці відображали цю взаємозв’язок, і вони не збереглися під час перетворення. Тож таблиця у спрощеному вигляді може надати моделі лише список окремих чисел та назв.
Кулінарна книга не має з цим проблем. Однак специфікації, таблиці цін, матриці сумісності чи довідники конфігурацій — так, адже в цих документах значення полягає у форматуванні, а не у реченнях.
Обидві великі платформи тепер пропонують кращу обробку даних: Bedrock має парсер на основі фундаментальної моделі, а Azure — функцію вилучення структури документа Document Intelligence. Вони дуже допомагають, але не усувають проблему, і вони не є стандартними функціями.
Емпіричні докази
Бенчмарк під назвою BRIGHT спрямований на завдання, де для пошуку правильного документа необхідне міркування, а не просте зіставлення тем. Моделі пошуку, які досягають приблизно 59 балів з 100 при звичайних пошуках, показують лише близько 18 балів у цих завданнях. Єдиною відмінністю був тип запитання. Більше обчислювальних ресурсів також не допомагає: серед тринадцяти протестованих моделей найкращий результат у складних завданнях становив 24 бали.
Небезпечна частина
Якби система відповідала «нічого не знайдено», це було б незначною проблемою. Але вона ніколи так не робить. Пошуковий двигун сортує результати за ступенем близькості та не відкидає жодних з них. Навіть коли у ваших документах немає відповіді, ви все одно отримуєте результати, які виглядають абсолютно як успішні, і не існує певного порогового значення, за яким система б визнала, що не знайшла нічого корисного.
Дослідження, представлене на ICLR 2025, розглядало саме це явище. Коли модель отримувала пов’язаний матеріал, який насправді не містив відповіді, кількість її неправильних відповідей зросла з приблизно 10% до 66%, що гірше, ніж взагалі не надавати жодних відповідей. Крім того, моделі значно менше були готові зізнатися, що не знають відповіді.
Матеріал, який є частково релевантним, завдає більше шкоди, ніж жодного, оскільки створює хибну впевненість. Просту проблему легко вирішити. Однак така сама помилка під час перевірки дотримання правил, медичного обстеження чи вибору архітектури має серйозні наслідки, тому ця проблема потребує уваги.
Що робити
Три кроки можуть допомогти, приблизно в порядку ефективності:
- Використовуйте реалістичні запитання. Команди зазвичай тестують за допомогою запитів, написаних авторами документів, використовуючи їхні власні слова. Краще попросити колег, які не читали матеріал, написати запитання, і тоді слабкі місця швидко стануть очевидними.
- Оцінюйте процес пошуку окремо. Перш ніж вирішувати, чи була відповідь хорошою, перевірте, чи взагалі був знайдений правильний фрагмент інформації. Якщо ні, корекція моделі не допоможе, оскільки лагодиться неправильна частина системи.
Традиційні системи RAG мають труднощі з глибокими технічними запитаннями з кількох причин, і ця прогалина між процесом пошуку та міркуванням — лише одна з них. Ще однією причиною є розділення тексту на частини, яке руйнує його сенс, а також системи, які проходять тестування, але зазнають невдач у реальних умовах. Для вирішення будь-якої з цих проблем спочатку потрібно визначити, де загубився потрібний фрагмент тексту, а не просто здогадуватися, а також враховувати, що перша спроба пошуку іноді може бути невдалою.
Пов’язана література
- Чому RAG все ще дає неправильні відповіді: гібридний пошук, переранжування та Recall@K — Чисті фрагменти тексту не гарантують якісних відповідей. Дізнайтеся, де зазнає невдачі векторний пошук, та як методи фузії, переранжування за допомогою крос-кодерів, HyDE та метрика Recall@K допомагають це виправити.
- Контекстуальне пошукове забезпечення для RAG: що приховує цифра 67%, які витрати вона несе та коли вона зазнає невдач — як використання префіксів допомагає вирішити проблему „сирітських“ фрагментів, чому 67% покращення досягається завдяки трьом послідовним заходам, що економить кешування запитів та чотири випадки, коли ця техніка не є ефективною.
- Локальна система RAG з Qdrant, fastembed та Gemini на Python — створення інкрементального інструменту командного рядка для RAG: розбиття локальних документів на фрагменти, їх вбудовування офлайн, зберігання векторів у Qdrant та відповіді на запитання за допомогою Gemini.
- Що насправді означає GPT та чому інженерія ШІ все ще залишається інженерією — Детальний розбір генеративних передтренованих трансформерів, механізму уваги, методів підбору параметрів та прогнозування, а також пояснення того, чому якісна робота з ШІ все ще залежить від звичайного інженерного судження та кращих запитань.