Від прототипу до продакшен-рішення RAG: гібридний пошук, агенти та оцінка.
Архітектура для реалізації RAG у продакшені на .NET: розділення на частини, гібридний та графовий пошук, переранжування, планування запитів, типовий вихід та постійна оцінка.
Багато прототипів RAG здаються готовими після п’яти кроків: завантаження документів, обчислення ембеддингів, збереження векторів, отримання кількох фрагментів та надсилання запиту до моделі. Для доведення цієї концепції достатньо саме цього. Проблеми починаються пізніше, коли корпус даних зростає, запити стають непередбачуваними, відповідь потребує кількох джерел або хтось просить цифри, які покажуть покращення ефективності пошуку. Ця архітектура, представлена через додаток на .NET та Blazor, охоплює те, що додається у продакшні версіях. Вона починається з отримання та розділення даних на фрагменти, потім переходить до пошуку, який поєднує ключові слова, вектори та графові сигнали, до переурочування результатів, до агента, який планує запити, до структурованого виводу та до постійної оцінки ефективності.
У першій діаграмі порівнюється прототип із етапами пошуку, ранжування, обґрунтування та оцінки, необхідними у продакшні.
Три способи надання даних моделі
Модель відповідає на основі своїх даних навчання та інформації, яку ви надаєте під час запиту. Внутрішні звіти, контракти, заявки на підтримку, політики та проєктні документи допомагають лише тоді, коли додаток може знайти відповідні частини та включити їх у контекст моделі. Це просто, поки обсяг даних не перевищує можливості одного запиту, і тут існують три поширені підходи.
Найпростіший — це вікно контексту: витягніть текст файлу, вставте його у запит та поставте питання. Цей метод підходить для невеликих обсягів контенту та короткострокових завдань, але стає неефективним, коли один і той самий великий обсяг контенту надсилається знову та знову або коли додатку доводиться шукати в багатьох документах.
Другий підхід — це зберігання даних про проєкт чи сеанс. Додаток зберігає менший набір даних для повторних семантичних пошуків, що підходить для асистента, прив’язаного до одного проєкту, робочого простору чи активного сеансу.
На третьому місці знаходиться генерація з підтримкою пошуку, скорочено RAG. Додаток заздалегідь створює індекс, а потім для кожного запиту завантажує лише відповідні уривки, замість того щоб надсилати до моделі весь корпус даних. Огляд RAG від Microsoft описує цей процес аналогічно: шар пошуку надає необхідні дані при надходженні запиту, і моделі ніколи не потрібна перепідготовка.
У наступній діаграмі порівнюються ці три підходи за обсягом, терміном служби та кількістю даних, які можна шукати.
Що насправді включає пошук
Більша частина інженерних рішень стоїть за терміном „пошук“. Лексичний пошук є ефективним, коли користувач знає точний термін: коди продуктів, імена клієнтів та номери полісів добре реагують на зіставлення ключових слів. Векторний пошук вирішує іншу проблему – знаходження уривків тексту, які означають те саме іншими словами. Механізм цього процесу простий у поясненні. Модель ембеддингу перетворює текст на числові вектори, запит проходить через ту саму модель, а шар пошуку повертає найближчі аналоги.
Вибір того, що саме перетворювати на вектор, є складнішим рішенням. Один ембеддинг для всього довгого документа зазвичай є занадто грубим для точних пошуків. У продакшн-системах документи діляться на менші, самодостатні частини, додається певний перекриття, щоб контекст не втрачався на межах, а також зберігаються метадані вихідного документа, щоб кожну знайдену частину можна було прив’язати до початкового документа.
Отже, процес обробки є потоковою процедурою, а не одним викликом API. Кожен файл аналізується, нормалізується, розділяється, інтегрується та індексується, причому залежно від конструкції цей процес також може вилучати метадані, поля, ентитети та зв’язки.
На діаграмі нижче показано шлях вихідних файлів від екстракції тексту, розділення на частини, створення ембеддингів, вилучення метаданих до створення індексів для пошуку.
Одне рішення принесе користь пізніше: зберігати достатньо метаданих, щоб кожна відповідь могла вказати свій джерело. Система RAG у продакшені повинна дозволяти користувачеві простежити будь-яке твердження до відповідного документа та до його частин.
Поєднання стратегій пошуку
Векторний пошук є корисним, але не завжди однаково ефективним для кожного запиту. Семантична схожість допомагає, коли змінюється формулювання. Точне зіставлення ключових слів залишається корисним для імен, дат, кодів, абревіатур та спеціалізованої термінології. Графовий пошук надає ще один сигнал, коли відповідь залежить від взаємозв’язків між елементами, а не від схожості між уривками тексту. Тому пошук найкраще розглядати як поєднання різних стратегій, а не як єдину операцію пошуку.
Пошук за ключовими словами забезпечує лексичну точність, а векторний пошук — семантичне відтворення інформації. Гібридний пошук поєднує методи ранжування та об’єднує їхні списки результатів. Azure AI Search використовує для об’єднання метод Reciprocal Rank Fusion (RRF), який поєднує результати паралельних пошуків. Пошук за графами йде ще далі: система використовує вилучені елементи та зв’язки для переходу за посиланнями між контентом, що допомагає при запитах, відповіді на які розкидані по кількох документах.
Після цього семантичний ранжер може переоцінити кандидатів з урахуванням запиту та підняти найкращі результати на вершину списку. Цей другий етап є важливим, адже об’єднання списків з рангуванням не показує, який результат найкраще відповідає запиту.
На наступній діаграмі показано, як пошук за ключовими словами, векторний пошук та пошук за графами об’єднуються за допомогою RRF та піддаються переранжуванню, перш ніж обрані фрагменти потраплять до моделі.
Планування запиту
Фіксований підхід до пошуку передбачає, що одного пошуку достатньо, що суперечить багатьом реальним запитанням. Уявіть користувача, який запитує, чим стара політика відрізняється від нової та які наслідки це має для підрядників. Для виконання цього завдання потрібно виконати кілька кроків: знайти два документи, витягнути з них відповідні розділи, оцінити наявні докази, а потім скласти узагальнюючий відповідь.
Агентний підхід до пошуку включає це планування безпосередньо у процес пошуку. Агент аналізує запит, розділяє його на конкретні підзапити, використовує історію розмови для отримання контексту, виконує пошуки паралельно, переоцінює результати та об’єднує докази в єдину обґрунтовану відповідь. Архітектурна відмінність полягає у тому, що пошук більше не є єдиним кроком, який завжди діє однаково. Додаток вирішує, скільки пошуків потрібно та які докази слід зібрати перед початком формування відповіді.
Нижче показано схему цього механізму: складне запитання розділяється на кілька паралельних завдань з пошуку інформації, а знайдені дані об’єднуються у відповідь із посиланнями.
Оцінка
Система RAG може створити якісну відповідь навіть у разі слабкого пошуку, тому періодичні ручні перевірки не можуть бути єдиним способом забезпечення якості. Три окремі запитання допомагають у цьому:
- Якість пошуку: чи повернув пошук фрагменти інформації, релевантні запиту?
- Обґрунтованість: чи підтримують ці фрагменти сформовану відповідь?
- Релевантність: чи відповідає кінцева відповідь поставленому запиту?
Вони дозволяють виявити різні види проблем. Слабкий пошук неможливо виправити шляхом переписування кінцевої відповіді; обґрунтована відповідь все одно може не відповідати суті запиту, а релевантна відповідь може містити непідтверджені твердження. Microsoft Foundry пропонує інструменти для оцінки цих аспектів якості систем RAG.
Наступна діаграма показує, як три показники оцінюють різні точки збою у відповіді RAG.
У умовах реального використання оцінка відбувається безперервно: збираються оцінки, і при їхньому зниженні нижче очікуваного рівня відправляється сповіщення. Таким чином якість перестає бути одноразовим тестом та стає частиною можливостей моніторингу додатку.
Об’єднання елементів
З розділенням обов’язків систему легше аналізувати. Виникають три потоки обробки:
- Офлайн-потік: підготовка корпусу даних шляхом парсингу джерел, їхнього розділення на частини та вставки ембеддингів, додавання метаданих чи відношень між ентитетами, а потім зберігання всього цього у індексах пошуку
- Онлайн-потік: обробка запиту, де планувальник вибирає, що шукати, відбувається пошук за відповідними стратегіями, об’єднання та переурочування кандидатів, а обраний доказ надсилається до моделі
Керівництво з проектування та оцінки рішень RAG від Microsoft розділяє ці аспекти на окремі проблеми проектування, що є зручним способом організації роботи над рішенням.
Далі розглядається цілісна картина, яка включає офлайн-отримання даних, онлайн-пошук та генерацію інформації, а також постійну оцінку.
Це розділення також пояснює, чому реальна реалізація перевищує те, що може показати прототип. У системі існують елементи обробки документів, створення індексів, векторного та лексичного пошуку, зв’язків у графах, ранжування, викликів моделей, посилань, оцінки та користувацького інтерфейсу. Керовані послуги чи платформи можуть надавати деякі з цих функцій, проте кожна з відповідальностей все одно існує, просто під керуванням іншої сторони.
Приклад застосування з фінансовою звітністю
Щоб протестувати архітектуру в додатку, фінансові звіти є чудовим джерелом матеріалу. Вони поєднують у собі довгі документи, точні цифри та постійно повторювану термінологію, тож неправильна цифра відразу стає помітною.
Додаток складається з чотирьох шарів. Фронтенд Blazor Server використовує Telerik UI for Blazor для чату, діаграм, таблиць та форматування. Він звертається до Nuclia .NET SDK для отримання даних, а сервіс RAG відповідає за їх надходження, гібридне та графове пошук, переранжування та оцінку.
Шари показані на цій діаграмі: Blazor Server, Telerik UI, Nuclia SDK та сервіс RAG.
Фінансові PDF-файли пройшли процес обробки, щоб можна було вилучити пошуковий контент та структуровані поля. Це дозволило провести два типи перевірок даних: стандартний пошук у відповідь на запитання мовою природи та структурований вивід даних, призначених для інтерфейсу користувача. Тест із запитом про чистий обсяг продажів за фінансовий рік повернув потрібну цифру разом із посиланням на джерело. У відповідях щодо фінансових питань так само необхідні посилання, як і самі речення, адже вони безпосередньо вказують користувачеві на відповідний документ.
Додаток використовує механізм AskAsync від SDK, і його перевагою є те, що відповідь може бути чимось більшим, ніж просто текст. Разом із запитом надсилається тип C# під назвою ChartAugmentedAnswer. SDK перетворює його на схему JSON; агент пошуку використовує цю схему під час формування відповіді, а повернений JSON-даний знову конвертується у об’єкт типу C#.
Ця діаграма показує шлях від типу C# до схеми, потім отримання доказів, а далі — обробка даних для графіка.
Це усуває критичний етап. Не потрібно аналізувати текст, щоб здогадатися, які дані підходять для графіка. Текст та структуровані значення надходять у одному об’єкті, і компонент графіка безпосередньо прив’язується до них.
Вибір правильного рівня
Невеликий, короткочасний джерело інформації може оброблятися лише за допомогою вікна контексту. Більший корпус із прямими фактичними запитаннями обробляється за допомогою класичного підходу RAG як базового рішення: ефективне розділення на частини, пошук за векторами та ключовими словами, посилання та оцінка. Багатокомпонентні, конверсаційні запитання або ті, що залежать від зв’язків між джерелами, вимагають планування запиту та автономного пошуку. Графовий пошук є корисним, коли у запиті є інформація про взаємозв’язки ентитетів, але він ускладнює процес, тому сама лише наявність такої можливості не є підставою для її використання.
Те саме стосується керованих платформ. Вони скорочують кількість елементів інфраструктури пошуку, які потрібно підтримувати, тоді як створення власних сервісів дає більше контролю над індексуванням, оркестрацією, ранжуванням та інтеграцією. Правильний вибір залежить від того, який рівень контролю хоче мати команда.
Одна річ не може чекати: оцінка. Як тільки користувачі починають покладатися на отримані відповіді, необхідний надійний спосіб перевірки того, чи пошук та генерація даних все ще працюють так, як очікується.
Прототип демонструє, що процес пошуку може функціонувати. У серійному виробництві потрібно довести щось складніше: правильні докази продовжують з’являтися у вигляді даних, коли змінюються запитання та користувачі. Це досяжно, якщо розділити обов’язки. Створіть організований канал отримання даних, зберігайте посилання та метадані джерел, поєднуйте методи пошуку, коли одного сигналу недостатньо, переоцінюйте результати перед генерацією, плануйте запити, коли для відповіді потрібно кілька пошуків, та відстежуйте якість пошуку, його обґрунтованість та релевантність, щоб зміни проявлялися у конкретних показниках, а не лише у припущеннях. Розумний порядок розробки полягає у тому, щоб почати з найпростішого шаблону пошуку, який вирішує поточну проблему, і додавати наступний рівень лише тоді, коли програма доведе його необхідність. Таким чином результати легше пояснювати, тестувати та вдосконалювати.
Пов’язана література
- Виправляйте проблеми в потоці обробки даних, а не в самій моделі: модель мислення для вирішення проблем у RAG — Коли бот RAG дає неправильні відповіді, причина рідко криється у самій моделі. Відстежуйте проблеми на етапах отримання даних, їх пошуку, генерації відповідей, оцінки та інших циклів, щоб знайти проблемний етап.
- Практичні нотатки: обмеження векторного пошуку в RAG — косинусна схожість та інше — Детальний посібник з практичних нотаток: обмеження векторного пошуку в RAG — косинусна схожість та інше: контракти, перевірки та готові фрагменти коду для команд, які використовують цю схему.