От прототипа к производственному RAG: гибридный поиск, агенты и оценка
Архитектура для производственного использования RAG в .NET: разбиение на чанки, гибридный и графовый поиск, переранжирование, планирование запросов, типизированный вывод и постоянная оценка.
Многие прототипы RAG кажутся готовыми после пяти шагов: загрузка документов, вычисление эмбеддингов, сохранение векторов, получение нескольких фрагментов текста и задание запроса модели. Для доказательства концепции этого достаточно. Проблемы начинаются позже, когда объем корпуса данных растет, запросы становятся непредсказуемыми, на ответ требуется несколько источников, или кто-то просит цифры, показывающие улучшение качества поиска. Данная эталонная архитектура, показанная на примере приложения на .NET и Blazor, охватывает то, что добавляется в производственную среду. Она начинается с загрузки и разбиения данных на фрагменты, затем переходит к поиску с использованием ключевых слов, векторов и графовых сигналов, к переранжированию результатов, к агенту, планирующему запросы, к структурированному выводу и к непрерывной оценке качества.
На первой диаграмме показано сравнение прототипа с этапами поиска, ранжирования, обоснования результатов и оценки, необходимыми в производственной среде.
Три способа передачи данных модели
Модель отвечает на основе своих данных обучения, а также на информацию, предоставленную в момент запроса. Внутренние отчеты, контракты, заявки на поддержку, правила и проектная документация полезны лишь тогда, когда приложение может найти соответствующие части и включить их в контекст модели. Это просто, пока объем данных не превышает размер одного запроса, и в таких случаях существуют три распространенных подхода.
Самый простой — это окно контекста: извлекается текст файла, он вставляется в запрос, и задается вопрос. Этот метод подходит для небольших объемов контента и краткосрочных задач, но становится неэффективным, когда один и тот же большой объем данных отправляется снова и снова или приложению приходится искать во многих документах.
Второй подход — это хранение данных проекта или сессии. Приложение сохраняет небольшой набор данных для повторных семантических поисков, что подходит для ассистента, связанного с одним проектом, рабочим пространством или активной сессией.
На третьем месте находится генерация с усилением с помощью поиска, сокращенно RAG. Приложение заранее создает индекс, после чего для каждого вопроса извлекаются только необходимые фрагменты текста, вместо того чтобы передавать в модель весь корпус данных. В обзоре RAG от Microsoft описано аналогичным образом: при поступлении запроса слой поиска предоставляет необходимые данные, и модели не требуется переобучение.
На следующей диаграмме сравниваются эти три подхода с точки зрения объема, срока службы и количества обрабатываемых данных для поиска.
Что на самом деле включает в себя процесс поиска
Большая часть технических решений связана с процессом «поиска». Лексический поиск эффективен, когда пользователь знает точный термин: коды продуктов, имена клиентов и номера полисов хорошо отвечают на поиск по ключевым словам. Векторный поиск решает другую задачу — нахождение фрагментов текста, имеющих схожее значение, но выраженного другими словами. Механизм его работы прост в объяснении: модель вкладки преобразует текст в числовые векторы, вопрос также проходит через эту же модель, после чего слой поиска возвращает наиболее близкие по значению результаты.
Выбор того, что следует преобразовать в вектор, — более сложный вопрос. Один вектор для всего длинного документа обычно слишком груб для точных поисков. В производственных системах документы делятся на меньшие, самодостаточные фрагменты, добавляется некоторое перекрытие между ними, чтобы контекст не терялся на границах, а также сохраняются метаданные исходного документа, что позволяет отследить происхождение каждого найденного фрагмента.
Процесс обработки данных представляет собой цепочку операций, а не один вызов API. Каждый файл анализируется, нормализуется, разделяется на части, включается в структуру и индексируется; в зависимости от спецификации процесс может также включать извлечение метаданных, полей, сущностей и связей.
На приведённой ниже диаграмме показан путь исходных файлов от извлечения текста до его разбиения на фрагменты, генерации эмбеддингов, извлечения метаданных и создания поисковых индексов.
Одно правильное решение принесёт пользу в будущем: необходимо сохранять достаточно метаданных, чтобы каждый ответ мог указывать на свой источник. Качественная система RAG должна позволять пользователю проследить любое утверждение до соответствующего документа и его фрагментов.
Сочетание стратегий поиска
Векторный поиск полезен, но не всегда эффективен для всех запросов. Семантическое сходство помогает при изменении формулировок. Точное совпадение ключевых слов остается важным для имён, дат, кодов, аббревиатур и специальной терминологии в определённых областях. Графовый поиск предоставляет дополнительный сигнал в тех случаях, когда ответ зависит от взаимосвязей между сущностями, а не от сходства между текстовыми фрагментами. Поэтому поиск лучше рассматривать как сочетание различных стратегий, а не как один единственный запрос.
Поиск по ключевым словам обеспечивает лексическую точность, а векторный поиск — семантическую воспроизводимость. Гибридный поиск объединяет методы с ранжированием и сливает их списки результатов. Azure AI Search выполняет слияние с использованием метода Reciprocal Rank Fusion (RRF), сочетая результаты параллельных поисков с ранжированием. Поиск по графам идет еще дальше: система использует извлеченные сущности и связи для перехода по ссылкам внутри контента, что помогает при ответах на вопросы, где информация распределена по нескольким документам.
Затем семантический ранжировщик может переоценить кандидаты с учетом запроса и вывести наиболее подходящий результат на первое место. Этот второй этап важен, поскольку слияние списков с ранжированием не позволяет определить, какой результат наилучшим образом отвечает на запрос.
На следующей диаграмме показано, как поиск по ключевым словам, векторный поиск и поиск по графам сливаются с помощью RRF и проходят переранжирование перед тем, как выбранные фрагменты попадут в модель.
Планирование запроса
Фиксированная схема обработки предполагает, что одного поиска достаточно, чему противоречат многие реальные вопросы. Представьте, что пользователь спрашивает, в чём разница между старой и новой политикой, и как это влияет на подрядчиков. Здесь необходимо выполнить несколько задач: найти два документа, извлечь из них соответствующие разделы, оценить полученные данные, а затем составить обобщённый ответ.
Метод агентного поиска включает это планирование в сам процесс поиска. Агент анализирует запрос, разделяет его на конкретные подзапросы, использует историю общения для понимания контекста, выполняет поиски параллельно, переориентирует рейтинг результатов и объединяет все данные в один обоснованный ответ. Архитектурная разница заключается в том, что поиск больше не является одноразовым операцией с одинаковым поведением во всех случаях. Приложение само решает, сколько поисков необходимо и какие данные нужно собрать перед началом формирования ответа.
Ниже показан механизм планирования: один сложный вопрос разделяется на несколько параллельных задач по поиску информации, а полученные данные объединяются в итоговый ответ с соответствующими ссылками.
Оценка
Система RAG способна сгенерировать качественный ответ даже при слабом результате поиска, поэтому периодические ручные проверки не могут быть единственным способом обеспечения качества. Три отдельных вопроса помогают в этом:
- Качество поиска: возвращают ли результаты поиска фрагменты, релевантные запросу?
- Обоснованность: подтверждают ли эти фрагменты правильность сгенерированного ответа?
- Релевантность: отвечает ли итоговый ответ на поставленный вопрос?
Они позволяют выявить различные типы сбоев. Слабый результат поиска невозможно исправить путем переписывания итогового ответа; обоснованный ответ всё равно может не отвечать сути вопроса, а релевантный ответ может содержать неподтверждённые утверждения. Microsoft Foundry предоставляет инструменты для оценки качества систем RAG по этим критериям.
На следующей диаграмме показано, как три метода оценивают различные точки сбоя в ответе RAG.
В производственных условиях оценка выполняется непрерывно: собираются показатели, и при их падении ниже ожидаемого уровня срабатывает оповещение. Таким образом, качество перестаёт быть результатом однократного теста и становится частью возможностей мониторинга приложения.
Собирание всех элементов воедино
При разделении обязанностей систему легче понимать. Выделяются три потока обработки:
- Офлайн-поток: подготавливает корпус данных путём парсинга источников, разбиения их на части и включения в эмбеддинги, добавления метаданных или информации о связях между сущностями, затем сохраняет всё в индексы поиска
- Онлайн-поток: обрабатывает запрос, при этом планировщик определяет, что искать, происходит поиск с использованием соответствующих стратегий, кандидаты объединяются и переранжируются, а выбранные доказательства передаются в модель
Руководство Microsoft по проектированию и оценке решений типа RAG разделяет эти аспекты на отдельные задачи проектирования, что является удобным способом организации работы над решением.
Далее рассматривается полная картина процесса: оффлайн-ввод данных, онлайн-поиск и генерация ответов, а также непрерывная оценка.
Такое разделение также объясняет, почему реальная реализация превосходит по масштабам то, что показывает прототип. В системе присутствуют компоненты для парсинга документов, создания индексов, векторного и лексического поиска, формирования связей между элементами, ранжирования, вызовов моделей, формирования цитат, оценки качества и интерфейса пользователя. Управляемые сервисы или платформы могут обеспечить некоторые из этих функций, однако каждая из задач по-прежнему существует, просто находясь в ведении другого подразделения.
Пример применения с финансовой отчетностью
Для тестирования архитектуры в приложении отчетность является отличным исходным материалом. В ней сочетаются длинные документы, точные цифры и повторяющаяся терминология, поэтому ошибка в цифре сразу становится заметной.
Приложение состоит из четырех слоев. Фронтенд Blazor Server использует Telerik UI for Blazor для реализации чата, диаграмм, таблиц и форматирования интерфейса. Для получения данных он обращается к Nuclia .NET SDK, а сервис RAG отвечает за ввод данных, поиск гибридными и графовыми методами, переранжирование результатов и их оценку.
Эти слои показаны на этой диаграмме: Blazor Server, Telerik UI, Nuclia SDK и сервис RAG.
Финансовые PDF-файлы проходили обработку с целью извлечения поискового контента и структурированных полей. Это позволило провести два этапа проверки данных: стандартный поиск для вопросов на естественном языке и структурированный вывод для значений, предназначенных для интерфейса. При тестировании с запросом о чистых продажах за финансовый год результат вместе с источником данных был возвращен. Для финансовых ответов не менее важна ссылка на источник, чем сам ответ, поскольку она напрямую указывает пользователю на соответствующий документ.
Приложение использует механизм AskAsync SDK, причем удобство заключается в том, что ответ может состоять не только из текста. Вместе с запросом передаётся тип C# под названием ChartAugmentedAnswer. SDK преобразует его в схему JSON; агент по поиску использует эту схему при формировании ответа, а возвращаемый JSON-данный затем десериализуется в объект типа C#.
На этой диаграмме показан путь от типа C# к схеме, затем получение доказательств, а после этого — форматирование данных для графика.
Это устраняет один из уязвимых этапов. Не требуется парсить текст, чтобы определить, какие данные следует отобразить в графике. Текст и структурированные значения поступают в виде одного объекта, и компонент графика сразу связывается с ними.
Выбор подходящего уровня
Небольшие и временные источники могут обрабатываться исключительно с помощью окна контекста. Более крупные корпуса с прямыми фактическими вопросами обрабатываются с использованием классического подхода RAG в качестве основы: эффективное разделение на части, поиск по векторам и ключевым словам, указание источников и оценка качества. Многокомпонентные, диалоговые вопросы или те, которые зависят от связей между источниками, требуют планирования запросов и использования агентных механизмов поиска. Графовый поиск оправдывает себя, когда в вопросе упоминаются отношения между сущностями, но он увеличивает сложность, поэтому одного лишь наличия такой возможности недостаточно для его применения.
То же самое касается управляемых платформ. Они сокращают объем работы по обслуживанию механизмов поиска, которые должна поддерживать команда, в то время как самостоятельная разработка сервисов предоставляет больший контроль над индексацией, оркестрацией, ранжированием и интеграцией. Правильный выбор зависит от того, какой уровень работы команда хочет контролировать.
Один аспект нельзя откладывать: оценка. Как только пользователи начинают полагаться на получаемые ответы, становится обязательным наличие способа для повторяемой проверки того, что механизмы поиска и генерации по-прежнему работают так, как ожидается.
Прототип демонстрирует, что процесс извлечения информации возможен. Однако в производственных условиях необходимо доказать более сложную задачу: правильные доказательства продолжают появляться по мере изменения данных, вопросов и пользователей. Это достижимо при разделении обязанностей. Необходимо создать четкий процесс ввода данных, сохранять цитаты и метаданные источников, использовать комбинацию методов извлечения, когда одного сигнала недостаточно, переоценивать результаты перед генерацией, планировать запросы, когда для ответа требуется несколько поисков, а также отслеживать качество, обоснованность и релевантность извлеченной информации, чтобы изменения отражались в числовых показателях, а не в предположениях. Разумный порядок разработки заключается в следующем: начинать с самого простого варианта извлечения информации, решающего текущую проблему, и добавлять новые слои только тогда, когда приложение покажет их необходимость. Таким образом получаются результаты, которые легче объяснить, протестировать и улучшить.
Связанные материалы
- Отладка конвейера, а не самой нейросети: модель мышления для устранения сбоев в RAG — Когда бот на основе RAG дает неверные ответы, проблема редко кроется в самой модели. Необходимо проследить сбои на этапах загрузки данных, поиска, генерации ответов, оценки качества и выполнения действий, чтобы выявить сломанный этап.
- Практические рекомендации: ограничения векторного поиска в RAG — косинусное сходство и др. — Подробное руководство по практическим рекомендациям: ограничения векторного поиска в RAG — косинусное сходство и др., включающее шаблоны контрактов, проверок и готового кода для команд, использующих эту архитектуру.