Сім моделей RAG, що виходять за межі базових чат-ботів, та ситуації, коли кожна з них підходить.
Посібник з використання наївних, гібридних, коригувальних, саморефлексивних, багатоетапних, графових та контекстуальних моделей RAG: яку прогалину закриває кожна з них, їх складові та як вибрати.
Джерела: Beyond the Chatbot: The Sophisticated Maturation of RAG Architectures
Генерація з підсиленням за допомогою пошуку вийшла за межі своєї експериментальної фази. Спочатку це означало завантаження PDF у векторну базу даних та запит у чат-бота про стислий огляд. Тепер індустрія рухається у бік складних систем ШІ, де пошук є частиною багатошарової когнітивної архітектури, а не окремим кроком. У корпоративних масштабах примітивний підхід продовжує зазнавати невдач у питаннях точності, затримки та багатокрокового міркування, тож у відповідь з’явилася низка спеціалізованих патернів. Ось карта цих патернів та спосіб їх вибору.
Чому кількість конструкцій продовжує зростати
Базовий підхід RAG розділяє документи на фіксовані частини, вбудовує їх, обирає k найкращих за косинусовою схожістю та передає їх моделі LLM. Цього достатньо для простих часто задаваних запитань. Однак він не справляється з точними ідентифікаторами, довгими звітами, наповненими неоднозначними займенниками, запитаннями, що охоплюють кілька документів, та сферами з високими вимогами, де галюцинації є неприйнятними.
Кожна новіша версія має на меті усунення однієї чи кількох з цих проблем:
- Низька точність у розпізнаванні буквальних термінів, таких як ідентифікатори політик, номери деталей чи посилання на розділи.
- Проникнення до моделі шумних чи неактуальних фрагментів тексту.
- Відсутність альтернативи, якщо в внутрішньому корпусі немає відповіді.
- Відсутність самоперевірки на те, чи ґрунтується процес отримання інформації чи її генерація на реальних даних.
- Відсутність можливості обробки інформації з кількох документів у кілька етапів.
- Втрата контексту на рівні документа в малих фрагментах.
Базовий варіант: наївний RAG
Ця схема є відправною точкою, і вона вже зменшує галюцинації порівняно з моделлю без доступу до зовнішніх даних, прив’язуючи відповіді до отриманого тексту.
Документи діляться на фрагменти фіксованого розміру, наприклад 512 токенів. Такі щільні моделі, як bge-large чи text-embedding-3-large, інкорпорують їх, а вектори зберігаються у системах на кшталт Qdrant, Weaviate чи Pinecone. Під час запиту вектор запиту порівнюється з векторами фрагментів за допомогою косинусової схожості, і три–п’ять найкращих фрагментів надсилаються разом із запитом до LLM.
Цей підхід підходить для внутрішніх баз знань з однією темою, простого пошуку у FAQ та прототипів, де швидкість важливіша за точність. Типові елементи включають розділення на фрагменти фіксованого розміру з мінімальним або жодним перекриттям, один індекс щільних векторів, відсутність або наявність простого ранжеру, а також генератор, налаштований під певні інструкції.
Слабкості є передбачуваними. Точні запити з ключовими словами та абревіатури створюють проблеми, межі фрагментів позбавляють систему контексту, а жоден механізм не виявляє проблем із пошуком до початку генерації.
Гібридний пошук із крос-кодером для переурочування результатів
Один щільний індекс не може ефективно обробити велику кількість даних, коли запити поєднують нечіткі значення з буквальними ідентифікаторами, такими як номери політик, ідентифікатори розділів, SKU чи посилання на нормативні акти. Дослідження показують, що гібридний метод пошуку у поєднанні з нейронним механізмом переурочування результатів ефективніший за одноетапні методи для документів із змішаним текстом та таблицями.
Два пошукові алгоритми працюють поруч. Простий лексичний алгоритм, такий як BM25 чи SPLADE, знаходить точні відповідності термінам. Насичений семантичний алгоритм враховує концептуальну схожість. Їхні списки рангування об’єднуються за допомогою методу Reciprocal Rank Fusion або каліброваної вагової схеми. П’ятдесят–сто найкращих кандидатів після об’єднання потрапляють до крос-кодера для повторного рангування, який оцінює кожну пару запиту та фрагмента разом та вибирає найкращі п’ять–десять результатів. Ці фрагменти та запит разом із метаданими посилань надходять до LLM.
Цей підхід підходить для документів, що підлягають регулюванню, де важливі точні посилання на розділи, для технічних посібників, наповнених номерами деталей та кодами помилок, для фінансових документів із таблицями та точними числовими запитаннями, а також для будь-якої системи виробництва, де якість пошуку впливає на якість відповідей. Типовими компонентами є фіксоване або семантичне розділення на частини з метаданими, алгоритми BM25 чи SPLADE разом із щільним бі-енкодером, методи RRF чи навчений спосіб фузії даних, крос-енкодери на кшталт bge-reranker, Cohere Rerank чи Jina Rerank, а також ШІ на основі інструкцій, яка підтримує посилання.
Коригувальний RAG
Метою тут є запобігання тому, щоб система впевнено відповідала на основі слабких чи нерелевантних даних. Після пошуку використовується контроль якості, а також існує запасний механізм у разі недостатності внутрішнього корпусу даних.
Після отримання даних легкий оцінювач аналізує фрагменти за змістом запиту та визначає рівень впевненості: правильний, неоднозначний чи неправильний. Потім маршрутизатор вирішує, що робити далі. Правильні результати використовуються для генерації відповіді. Неоднозначні результати спонукають до переписування запиту, його розкладання чи застосування іншої стратегії пошуку. Неправильні результати призводять до пошуку в Інтернеті чи використання інших зовнішніх джерел, тож такі фрагменти ніколи не використовуються.
Клієнтська підтримка є природним середовищем, де відсутня інформація не повинна перетворюватися на вигадку. Ще одним прикладом є технічна документація, яка часто оновлюється, але містить прогалини. Так само є будь-яка сфера, де чесна відповідь „Я не знаю“ із посиланням на джерело в Інтернеті краща за впевнену, але хибну відповідь. Складовими є гібридний або потужний пошуковий механізм, невеликий класифікатор або модель, яка оцінює релевантність, маршрутизатор на основі правил або ШІ, резервний варіант у вигляді API для пошуку в Інтернеті або додаткового сховища, та генератор, якому необхідно посилатися на джерела та визнавати невизначеність.
Саморефлексивний RAG
Ця конструкція об’єднує процеси пошуку та перевірки релевантності безпосередньо в процесі генерації. Модель навчається, коли потрібно шукати інформацію, чи є знайдене нею матеріал релевантним, та чи підкріплена її власна відповідь доказами.
Він працює як циклічний ланцюг, керований спеціальними токенами або структурованими запитами. Модель вирішує, чи потрібно взагалі здійснювати пошук, оцінює релевантність знайдених документів, пише відповідь на їхній основі, аналізує цю відповідь з точки зору обґрунтованості та повноти, а потім або вносить корективи, або відмовляється відповісти, якщо підтримуючих даних недостатньо. Навчання чи формулювання запитів спонукають її віддавати перевагу обґрунтованим твердженням та позначати непідтверджені ствердження.
Аналіз юридичних контрактів та порівняння їхніх положень є доцільними. Так само доцільними є резюме медичних звітів, клінічні рекомендації, аудити та перевірки дотримання правил, які мають бути простежуваними, а також усі ситуації, коли непідтримана твердження призводить до великих витрат. Компоненти включають гібридний або спеціалізований пошуковий механізм, генератор, навчений або стимульований до самокритики, за бажанням — зовнішній верифікатор, який перевіряє посилання проти отриманих фрагментів, та показники оцінки для визначення обґрунтованості, вірності та поведінки щодо утримання від непідтверджених тверджень.
Агентний багатоетапний та підзапитний RAG
Деякі запитання неможливо відповісти за один етап пошуку: порівняння показників між компаніями та роками, відстеження залежностей між документами чи збір інформації з кількох відділів.
Агент отримує складне запитання та розбиває його на кілька підзапитань. Кожне з них обробляється за допомогою механізму пошуку — послідовно або паралельно. Потім агент усуває суперечливості, об’єднує отримані дані та формулює остаточну відповідь; у разі виявлення прогалин у проміжних результатах процес може бути повторений.
Типові сфери застосування включають порівняння звітів типу 10-K із телефонними конференціями щодо фінансових результатів, аналіз політик у різних документах, розслідування, які охоплюють кілька відділів великої компанії, а також допомогу дослідникам у об’єднанні результатів з багатьох джерел. Системі потрібен агент-планувальник, який розбиває запити на частини, один або кілька індексів з можливо різними обсягами пошуку, короткострокова пам’ять для зберігання проміжних результатів, синтезатор для об’єднання підвідповідей, а також — за потреби — етап перевірки їхньої послідовності.
GraphRAG
Отримання плоских фрагментів тексту не враховує зв’язки, які охоплюють кілька елементів, наприклад з’єднання підозрілих рахунків у роботі з протидії відмиванню грошей, дотримання клінічних алгоритмів чи розуміння складної ланцюгової структури постачання.
LLM або процес вилучення даних знаходить у документах ентитети та зв’язки між ними. Ці дані потрапляють у граф знань у Neo4j або у структуру в пам’яті. Потім запити просуваються по цьому графу для пошуку багатоетапних зв’язків, наприклад того, що певна ентитет обробляє певний стан у конкретній клініці. Отримані підграфи поєднуються з фрагментами тексту та передаються LLM.
Він застосовується у виявленні шахрайств та дотриманні правил у сфері фінансових злочинів, у підтримці клінічних рішень, у картографуванні організацій чи ланцюгів постачання, а також у будь-якій галузі, де зв’язки між елементами мають таке ж значення, як і сам текст. Основними складовими є засіб для вилучення елементів та їхніх зв’язків, база даних у вигляді графа, така як Neo4j чи NetworkX, або керована база даних графів, засіб для пошуку, який поєднує обход графа з необов’язковим векторним пошуком описів вузлів, та генератор, який бере до уваги як текст, так і контекст графа.
Контекстуальне чи пізнє розділення на частини
Частина тексту, відокремлена від свого оточення, може втратити свій сенс. Речення «Дохід зріс на 15 відсотків» не вказує, про яку компанію, рік чи сегмент йдеться.
Рішення полягає у тому, щоб ШІ-модель додавала до кожного фрагмента перед його інкорпоруванням п’ятдесят–сто токенів контексту всього документа. У цьому заголовку можуть міститися назва документа, розділ, фінансовий рік, назва суб’єкта та інші важливі метадані. Кожен такий доповнений фрагмент інкорпорується та індексується, тож отримані фрагменти надходять із своїм контекстом, що зменшує кількість припущень у генератора.
Це корисно для довгих PDF-звітів із таблицями, графіками та неоднозначними займенниками, багаторічної фінансової звітності та регуляторних документів, а також для технічних стандартів із повторюваними структурами розділів. Коротко кажучи, це будь-який корпус, де фрази на кшталт „компанія“, „ця умова“ чи „вони“ зустрічаються без чіткого локального об’єкта, до якого вони посилаються. Складові системи — це інструмент розбиття на частини, який може працювати за допомогою ШІ або правил, інструменти додавання заголовків, гібридні чи інтенсивні механізми пошуку, необов’язковий крос-кодер для переурочування результатів та генератор, здатний використовувати додаткові токени контексту.
Вибір шаблону
Використовуйте наведене нижче як відправну точку, а потім коригуйте під результати оцінки.
- Простий внутрішній пошук та прототипи: залишайтеся при примітивному підході RAG.
- Промислові системи, особливо з точними термінами та таблицями: переходьте до гібридного пошуку з використанням крос-кодера для переурочування результатів.
Зрілі системи зазвичай поєднують кілька з цих підходів. Сильна, поширена структура у 2026 році поєднує гібридний пошук із фузією RRF, переранжуванням за допомогою крос-енкодера та контекстуальним розділенням на частини, а також має коригувальний механізм для запитів із низькою впевненістю.