Главная / Статьи

Оценка процесса извлечения информации в рамках RAG за пределами показателя восстановления данных в ANN, на примере Turbopuffer.

Быстрый векторный поиск всё равно может не найти ответ. Узнайте о компромиссах в хранении в Turbopuffer, гибридном подходе BM25 с векторным поиском и о том, как «золотой набор» оценивает реальную степень восстановления данных.

Издатель: REACTAPP.TOP7 мин чтения1671 слов

Источники: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

Команды, начинающие проект RAG, обычно сразу сталкиваются с одним вопросом: какой выбрать векторный база данных. Это разумный вопрос, но он не является главным. Лучшая база данных может снизить затраты, ускорить поиск и упростить управление крупными системами. Однако она не может гарантировать, что пользователь действительно получит необходимую информацию.

Turbopuffer — хороший пример для анализа по двум причинам. Его модель хранения и обслуживания данных необычна, и она подчеркивает этап, который большинство команд RAG пропускают: надлежащую проверку процесса извлечения данных.

Как Turbopuffer хранит и обслуживает данные

Постоянная копия данных хранится в системе объектного хранения, в то время как память и NVMe выполняют роль кэша. Машины для обработки запросов не имеют состояния, поэтому одна машина может обслуживать множество пространств имён и не обязана вечно хранить данные конкретного клиента.

Это подходит для большого корпуса данных, разделенного между множеством пользователей. Представьте B2B-продукт, в котором у каждого клиента есть свой набор документов, но в любой момент времени активны только несколько клиентов. Хранение полного индекса каждого клиента в ОЗУ было бы дорогостоящим. Неактивные данные могут храниться дешево в объектном хранилище, в то время как активные названия пространств хранения используют быстрое хранилище NVMe и оперативную память.

У такого подхода есть свои компромиссы. Для пространства хранения, содержащего миллион документов, Turbopuffer обеспечивает время ответа на теплые запросы на уровне 14 мс, тогда как время ответа на первый запрос к холодному пространству хранения такого же размера составляет 874 мс. Поэтому описание «всегда быстро» неверно. Лучше сказать, что система дешева при хранении неактивных данных и быстра, когда данные становятся активными. Многие крупные системы RAG должны согласиться с таким компромиссом, хотя он неудачен, если каждый запрос должен обрабатываться быстро даже для данных, с которыми недавно никто не работал.

Этот продукт также сосредотачивается на поиске на первом этапе, сужая огромный корпус данных до небольшого набора кандидатов. Остальная работа выполняется приложением: гибридный поиск, переранжирование и логика, определяющая, что попадет в модель. Такое разделение помогает сохранять ясность в восприятии фактов. База данных может обеспечить возможность поиска, но приложение по-прежнему решает, насколько результаты поиска качественны.

Почему базовый подход недостаточен

Самый простой пайплайн RAG выглядит следующим образом:

User question → vector search → top 5 chunks → LLM answer

Подходит для демонстрации, но неэффективен в реальных условиях. Настоящие пользователи задают не только структурированные семантические вопросы. Они приводят коды ошибок, спрашивают о исключениях из правил, используют аббревиатуры и названия продуктов, нуждаются в более старой версии документа или хотят получить ответ, охватывающий несколько документов.

Использование обоих типов поиска имеет смысл:

  • Векторный поиск обрабатывает смысловую составляющую. Он может связать фразу «отпуск после рождения ребенка» с страницей под названием «отпуск по уходу за ребенком».
  • BM25 обрабатывает буквальные термины, поэтому запрос, содержащий ERR_PAYMENT_042, SKU-78291 или AuthMiddleware, направляется на соответствующую страницу.

Оба метода доступны в Turbopuffer через multi_query, и результаты можно объединить с техникой Reciprocal Rank Fusion, известной как RRF. Затем приложение может переотсортировать лучшие 20–50 результатов и предоставить большой языковой модели лишь несколько наиболее значимых фрагментов. Гибридный поиск автоматически не является лучшим вариантом. Векторный и поисковый по ключевым словам работают по-разному, поэтому только собственный набор тестов приложения может показать, заслуживают ли оба метода использования.

Три показателя для оценки

Высокое значение векторного воспроизведения заставляет многие команды полагать, что технология RAG работает эффективно. Однако это не соответствует действительному значению этого показателя.

Необходимо оценивать три отдельных критерия:

  1. Надежность индекса: возвращает ли приблизительный векторный поиск те же результаты, что и точный векторный поиск?
  2. Релевантность результатов: возвращает ли поиск информацию, которая отвечает на поставленный вопрос?
  • Качество ответа: использует ли модель эти доказательства правильно и безопасно?
  • Turbopuffer хорошо справляется с первым пунктом. Он берет пробу из 1% активного трафика запросов, сравнивает приблизительный результат по принципу ближайшего соседа с результатом полного векторного поиска и отслеживает степень их совпадения. По его оценкам, уровень воспроизведения 90–95% при 10 запросах является разумным балансом для многих задач. Это показывает, находит ли индекс то же, что и точный векторный поиск, но не говорит о том, подходит ли точный векторный поиск конкретному вопросу.

    Рассмотрим ситуацию, когда пользователь задает вопрос:

    What does ERR_PAYMENT_042 mean?
    

    Ответ присутствует в базе знаний на странице с кодом ошибки, но этот код отображается лишь один раз внутри огромной таблицы. Поиск по векторам может вернуть три общих руководства по оплате, поскольку они по смыслу близки к вопросу, и точный поиск по векторам также вернёт эти три же руководства. В результате база данных сообщает о 100% воспроизведении результатов методом ANN, хотя настоящий ответ так и не попадает в модель.

    Один поиск с использованием алгоритма BM25 для кода ERR_PAYMENT_042 мог бы решить эту проблему. Никакая настройка векторного индекса не поможет, поскольку сам индекс не был повреждён; он справлялся со своей задачей идеально, ему просто была поставлена неправильная задача. Отсюда основная идея: воспроизведение результатов методом ANN — это не то же самое, что воспроизведение результатов методом RAG. Один показатель оценивает степень соответствия индекса математическому поиску, а другой — получил ли пользователь правильные доказательства.

    Создание небольшого «золотого» набора

    Прежде чем изменять размер блоков, эмбеддинги, параметры top-K или алгоритмы переранжирования, соберите небольшой набор реальных вопросов и определите, какие блоки должны отвечать на каждый из них. Для начала достаточно ста вопросов, и они не обязательно должны быть идеальными. Используйте логи поиска, заявки на поддержку и сообщения об ошибках от пользователей, а также добавьте несколько вопросов от экспертов в данной области. Для каждой записи требуется совсем немного информации:

    {
      "query": "How much parental leave do employees get?",
      "relevant_chunk_ids": ["benefits/parental-leave#3"],
      "query_type": "semantic_paraphrase",
      "must_contain": ["16 weeks"],
      "must_abstain": false
    }
    

    Набор должен включать различные типы вопросов:

    • точные идентификаторы и аббревиатуры,
    • обычные семантические вопросы,
    • длинные, запутанные вопросы пользователей,
    • вопросы, требующие двух документов,
    • вопросы без ответа и
    • вопросы, чувствительные к разрешениям, когда ответ существует, но пользователь не имеет права его видеть.

    Группа вопросов без ответа имеет большое значение. Система RAG должна уметь сообщать, что она не смогла найти нужную информацию в доступных документах, что лучше, чем выдумка под видом ответа.

    Существует правило, которое стоит соблюдать: превращайте каждую реальную неудачу RAG в тестовый случай перед её устранением. Если этого не сделать, баг будет исправлен, пример забыт, и та же проблема возникнет снова через шесть недель.

    Начните с простых показателей поиска

    Сначала не следует использовать судью в виде большой языковой модели. Простые показатели поиска выполняют первоначальную работу:

    • Recall@K определяет, появился ли правильный фрагмент среди первых K результатов.
    • Mean Reciprocal Rank (MRR) показывает, на какой ранней стадии появился первый правильный фрагмент. Правильный фрагмент на первом месте в рейтинге не эквивалентен фрагменту на пятом месте, расположенному после четырех шумных фрагментов.
    • Normalized Discounted Cumulative Gain (nDCG) становится полезным, когда некоторые фрагменты можно оценить как «очень релевантные», а другие — как «довольно релевантные». Рекомендации по гибридному поиску от Turbopuffer предусматривают создание набора тестовых запросов с идеальными результатами для оценки nDCG.

    Одно общее среднее значение скрывает слишком много информации, поэтому результаты следует разделять по типам вопросов. Полезный вывод может звучать так: гибридный поиск повысил общий уровень воспроизведения информации, но почти весь прирост был достигнут за счет кодов ошибок и аббревиатур, тогда как для обычных семантических вопросов добавилось совсем немного. Общее среднее значение не позволяет сделать такой вывод.

    Сравнивайте конфигурации, внося по одному изменению

    Делайте эксперименты маломасштабными и воспроизводимыми, применяя один и тот же эталонный набор данных к нескольким конфигурациям:

    • Эксперимент A: поиск только с использованием векторов, базовый вариант.
    • Эксперимент B: поиск только с использованием BM25, чтобы показать, когда точное совпадение слов дает преимущество.
    • Эксперимент C: сочетание векторов и BM25 с использованием алгоритма RRF, чтобы проверить, помогает ли гибридный подход.
    • Эксперимент D: эксперимент C с дополнительным алгоритмом переранжирования, чтобы определить, оправдывает ли улучшение качества дополнительную задержку и затраты.

    Изменяйте только одну вещь за один запуск и фиксируйте следующие показатели: процент воспроизведения результатов при 5 и 10 запросах, значение MRR (плюс nDCG после оценки меток), время задержки при старте работы с новыми данными и при работе с уже имеющимися данными, а также стоимость обработки 1 000 запросов. Поддержка тестовых пространств имён и веток производственного пространства имён в Turbopuffer упрощает выполнение задания, поскольку можно тестировать с реальными данными, не затрагивая при этом живое пространство имён.

    Также следует отслеживать процент воспроизведения результатов, рассчитываемый самим Turbopuffer, в качестве проверки состояния индекса. Если этот показатель снижается, значит индекс плохо справляется с точным поиском. Если состояние индекса хорошее, но показатель, основанный на золотом наборе данных, низкий, проблема заключается в чем-то другом: в эмбеддингах, разбиении данных на части, гибридном поиске, фильтрах или механизмах переранжирования. Это очень полезная диагностика.

    Затем проверьте ответ

    Как только соответствующие фрагменты текста попадают в LLM, необходимо проверить окончательный ответ с помощью пяти вопросов. Правильный ли он? Подкреплены ли все важные утверждения найденным текстом? Содержит ли он всю ключевую информацию? Подтверждают ли цитаты приведенные рядом утверждения? Предпринималась ли попытка дать ответ при отсутствии информации?

    Простые факты требуют простой проверки: ответ, в котором должно быть указано «16 недель», можно легко найти путем поиска этой фразы. Для более сложных случаев, таких как определение того, является ли длинный ответ обоснованным и полным, следует использовать специальный инструмент оценки от LLM. Инструменты вроде Ragas могут помочь, но они не могут заменить качественный набор тестов.

    Опасный случай возникает, когда поиск информации не удается, но LLM всё равно выдает правдоподобный ответ на основе собственных данных обучения. Полная проверка может показать, что ответ кажется корректным, в то время как процесс RAG потерпел неудачу. Это становится опасным, когда ответ касается конкретной компании, был недавно изменен или является конфиденциальным.

    Более важный урок

    Turbopuffer подходит тогда, когда необходимо извлекать большой объем данных из множества пространств имён, причем модель затрат не делает излишне дорогим хранение неиспользуемых данных. Однако главный урок касается не самого продукта, а методов измерения. Turbopuffer проверяет, соответствует ли его приблизительный поиск результатам полного поиска в реальном трафике, что является примером хорошей инженерной практики. Система RAG должна перенять эту привычку на следующем уровне, проверяя, были ли извлечены правильные доказательства, эффективно ли их использовало модель и ухудшил ли какой-либо новый изменение реальный рабочий процесс пользователя.

    Скорость — это не точность, ведь быстрый механизм поиска может вернуть неверный документ всего за несколько миллисекунд. Решением является создание небольшого «золотого набора» данных, постепенная замена одной переменной за другой и преобразование каждой неудачи в тест на регрессию. Именно так система RAG превращается из чего-то, что кажется волшебством, в систему, которую можно постепенно совершенствовать.