Головна / Статті

Оцінка процесу пошуку в RAG за межами показників точності ANN, на прикладі Turbopuffer

Швидкий векторний індекс все одно може пропустити правильну відповідь. Дізнайтеся про компроміси у зберіганні в Turbopuffer, гібридний підхід BM25 та векторного пошуку, а також про те, як «золотий набір» вимірює справжню точність повернення даних.

Видавець: REACTAPP.TOP7 хв читання1671 слів

Джерела: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

Команди, які починають проєкт RAG, зазвичай починають з одного запитання: яку базу даних векторів обрати. Це цілком логічне запитання, проте воно не є головним. Краща база даних може знизити витрати, прискорити пошук та полегшити керування великою системою. Однак вона не може визначити, чи отримав користувач справді необхідну інформацію.

Turbopuffer є гарним прикладом для аналізу з двох причин. Його модель зберігання та обслуговування є незвичайною, і вона підкреслює крок, який більшість команд RAG пропускають: належну перевірку процесу отримання даних.

Як Turbopuffer зберігає та надає дані

Стабільна копія даних зберігається у об’єктному сховищі, а пам’ять та NVMe виконують функцію кешу. Машини для обробки запитів є безстановими, тому одна машина може обслуговувати багато просторів імен та не змушена постійно зберігати дані одного клієнта.

Це підходить для великого корпусу даних, який поділяють багато користувачів. Уявіть собі B2B-продукт, де кожен клієнт має набір документів, але в будь-який момент активними є лише кілька клієнтів. Зберігання повного індексу кожного клієнта в оперативній пам’яті було б дорогим. Неактивні дані можна зберігати дешево у сховищі об’єктів, тоді як активні назви просторів зберігаються у NVMe та оперативній пам’яті.

Цей дизайн має свої компроміси. Для простору імен із мільйоном документів Turbopuffer забезпечує час виконання запиту p50 у розмірі 14 мс, тоді як час виконання першого запиту до простору імен такого ж розміру, але неактивного, становить 874 мс. Тож опис „завжди швидко“ є неправильним. Краще сказати, що система дешева, коли дані неактивні, а швидка, коли вони активні. Багато великих систем RAG мали б прийняти такий компроміс, хоча він є недостатнім, якщо кожен запит має бути швидким навіть для даних, до яких не торкалися нещодавно.

Цей продукт також зосереджується на пошуку на першому етапі, звужуючи величезний корпус даних до невеликого набору кандидатів. Решта обробки залишається на рівні додатку: гібридний пошук, переранжування та логіка, яка визначає, що потрапить до моделі. Такий підхід дозволяє зберігати одну істину у фокусі – база даних може забезпечити можливість пошуку, але додаток все одно вирішує, чи є результати пошуку корисними.

Чому базовий підхід є недостатнім

Найпростіша схема роботи RAG виглядає так:

User question → vector search → top 5 chunks → LLM answer

Підходить для демонстрації, але неефективний у реальних умовах використання. Справжні користувачі не ставлять лише чітких семантичних запитань. Вони вставляють коди помилок, запитують про винятки з правил, використовують абревіатури та назви продуктів, потребують старішої версії документа або хочуть відповідь, яка охоплює кілька документів.

Має сенс використовувати обидва типи пошуку:

  • Векторний пошук розуміє сенс тексту. Він може пов’язати фразу „відпустка після народження дитини“ зі сторінкою під назвою „батьківська відпустка“.
  • BM25 обробляє буквальні терміни, тож запит, що містить ERR_PAYMENT_042, SKU-78291 або AuthMiddleware, веде на правильну сторінку.

Обидва методи доступні в Turbopuffer через multi_query, а результати можна об’єднати за допомогою технології Reciprocal Rank Fusion, відомої як RRF. Після цього додаток може переурядкувати найкращі 20–50 результатів та надати LLM лише кілька найбільш корисних фрагментів. Гібридний пошук не є автоматично кращим. Векторний та ключовий пошук виявляють проблеми по-різному, тому саме тестовий набір додатку має визначити, чи заслуговують обидва підходи на використання.

Три показники для оцінки

Високе значення vector-recall змушує багато команд вважати, що RAG ефективно працює. Однак це не є справжнім значенням цього показника.

Необхідно оцінити три окремі якості:

  1. Надійність індексу: чи повертає наближений векторний пошук те саме, що й точний векторний пошук?
  2. Релевантність результатів: чи повертає пошук інформацію, яка відповідає на поставлене запитання?
  • Якість відповіді: чи використовує модель ці докази правильно та безпечно?
  • Turbopuffer добре вирішує першу проблему. Він бере зразки 1% активного трафіку запитів, порівнює приблизні результати на основі алгоритму найближчих сусідів із результатами повного векторного пошуку та відстежує ступінь їхнього збігу. За його оцінками, рівень відтворення інформації 90–95% при 10 запитах є розумним балансом для багатьох завдань. Це показує, чи індекс знаходить те саме, що знайшов би точний векторний пошук, але не вказує, чи підходив саме точний векторний пошук для поставленого запиту.

    Розгляньмо ситуацію, коли користувач ставить запит:

    What does ERR_PAYMENT_042 mean?
    

    Відповідь є у базі знань, на сторінці коду помилки, але цей код з’являється лише один раз у величезній таблиці. Пошук за векторами може повернути три загальні посібники з оплати, оскільки вони за змістом близькі до запитання, а точний пошук за векторами також поверне ці три посібники. Тоді база даних повідомляє про 100% відтворення результатів за методом ANN, хоча справжня відповідь ніколи не потрапляє до моделі.

    Одина пошукова операція BM25 для ERR_PAYMENT_042 могла б вирішити цю проблему. Жодні налаштування векторного індексу не допоможуть, адже векторний індекс ніколи не був пошкоджений. Він виконував свою роботу ідеально, просто йому було доручено неправильне завдання. Отже, основна ідея: відтворення результатів за методом ANN — це не те саме, що відтворення результатів за методом RAG. Один показник вимірює ступінь відповідності індексу математичному пошуку, а інший — чи отримав користувач правильні докази.

    Створіть невеликий «золотий» набір

    Перш ніж змінювати розмір чанків, ембеддинги, параметри top-K чи алгоритми переранкінгу, зіберіть компактний набір реальних запитань та визначте, які чанки мають відповідати на кожне з них. Сто запитань — це достатньо для початку, і вони не обов’язково мають бути ідеальними. Використовуйте журнали пошуку, заявки на підтримку та повідомлення про проблеми від користувачів, а також додайте кілька запитань від експертів у цій галузі. Кожна запис потребує дуже мало інформації:

    {
      "query": "How much parental leave do employees get?",
      "relevant_chunk_ids": ["benefits/parental-leave#3"],
      "query_type": "semantic_paraphrase",
      "must_contain": ["16 weeks"],
      "must_abstain": false
    }
    

    Набір має містити різні типи запитань:

    • точні ідентифікатори та абревіатури,
    • звичайні семантичні запитання,
    • довгі, розлогі запитання користувача,
    • запитання, які потребують двох документів,
    • запитання без відповіді, та
    • запитання, чутливі до дозволів, де відповідь існує, але користувач не повинен її бачити.

    Група запитань без відповіді має важливе значення. Система RAG повинна мати змогу сказати, що вона не змогла знайти щось у наявних документах, що краще, ніж вигадування відповіді.

    Правило, яке варто застосовувати: перетворюйте кожну справжню невдачу RAG на тестовий випадок перед її виправленням. Якщо цього не зробити, баг буде виправлений, приклад забутий, і та сама проблема з’явиться знову через шість тижнів.

    Почніть зі звичайних метрик пошуку

    Суддя у вигляді LLM не повинен бути першим кроком. Прості метрики пошуку виконують початкову роботу:

    • Recall@K визначає, чи з’явився правильний фрагмент у перших K результатах.
    • Mean Reciprocal Rank (MRR) показує, на якій ранній стадії з’явився перший правильний фрагмент. Правильний фрагмент на 1-му місці не є еквівалентним фрагменту на 5-му місці, який знаходиться після чотирьох шумних фрагментів.
    • Normalized Discounted Cumulative Gain (nDCG) стає корисним тоді, коли деякі фрагменти можна оцінити як „дуже релевантні“, а інші — як „дещо релевантні“. Рекомендації щодо гібридного пошуку від Turbopuffer передбачають створення набору тестових запитів із ідеальними результатами та оцінку nDCG.

    Одне загальне середнє значення приховує занадто багато інформації, тому результати слід розділяти за типом запиту. Корисний висновок може звучати так: гібридний пошук підвищив загальний рівень відтворення інформації, але майже весь приріст походив від кодів помилок та абревіатур, тоді як для звичайних семантичних запитів додано мало. Середнє значення не може цього показати.

    Порівнюйте налаштування, змінюючи їх по одній

    Зберігайте експеримент малим та повторюваним, а також працюйте з тим самим базовим набором даних у кількох конфігураціях:

    • Експеримент A: пошук лише за векторами, базовий варіант.
    • Експеримент B: пошук лише за алгоритмом BM25, щоб показати, де мають перевагу точні слова.
    • Експеримент C: поєднання векторів та алгоритму BM25 з використанням RRF, щоб перевірити, чи допомагає гібридний підхід.
    • Експеримент D: експеримент C з додатковим алгоритмом ранжування, щоб показати, чи компенсує покращення якості додаткову затримку та витрати.

    Змінюйте лише одну річ за кожен запуск та фіксуйте ці показники: рівень відтворення даних на 5 та 10 етапах, MRR (разом із nDCG після оцінки міток), окремо відстежуйте час відповіді при початковому запуску та при регулярних запитах, а також вартість обробки 1 000 запитів. Підтримка тестових просторів імен та гілок продакшн-простору імен у Turbopuffer спрощує цей процес, оскільки можна працювати з реальними даними, не торкаючись живого простору імен.

    Також слід відстежувати рівень відтворення даних власного ANN Turbopuffer як перевірку стану індексу. Якщо цей показник знижується, індекс погано справляється з точним пошуком. Якщо індекс у гарному стані, але результати пошуку за допомогою золотого набору даних є поганими, проблема полягає в чомусь іншому: у ембеддингах, розділенні даних на частини, гібридному пошуку, фільтрах чи переуроченні рангів. Це дуже корисна діагностика.

    Потім перевірте відповідь

    Як тільки відповідні фрагменти потрапляють до LLM, перевірте кінцеву відповідь за допомогою п’яти запитань. Чи вона правильна? Чи кожне важливе твердження підтверджується знайденим текстом? Чи містить вона всю ключову інформацію? Чи підтримують посилання твердження, поруч з якими вони розташовані? Чи відмовилась система, коли відповіді не існувало?

    Прості факти вимагають простих перевірок: відповідь, у якій має бути зазначено „16 тижнів“, можна просто знайти за цим виразом. Для складніших ситуацій, наприклад, для визначення того, чи є довга відповідь обґрунтованою та повною, слід використовувати спеціальний оцінювач LLM. Інструменти на кшталт Ragas можуть допомогти, проте вони не можуть замінити якісний набір тестів.

    Ризикованою є ситуація, коли пошук інформації проваливається, а LLM все одно надає правдоподібну відповідь на основі власного навчання. Перевірка від початку до кінця може показати, що відповідь виглядає нормальною, хоча процес RAG зазнав невдачі. Це стає небезпечним, коли відповідь є специфічною для компанії, нещодавно зміненою або конфіденційною.

    Більш важливий урок

    Turbopuffer підходить тоді, коли необхідно отримати велику кількість даних та інформацію з багатьох просторів імен, причому модель витрат не робить інертні дані дорогими. Проте головний урок стосується не самого продукту, а методів вимірювання. Turbopuffer перевіряє, чи його приблизний пошук відповідає повному пошуку серед актуальних даних, що є ознакою якісної інженерії. Система RAG повинна перейняти цю практику, запитуючи, чи були отримані правильні докази, чи ефективно їх використав модель та чи нові зміни погіршили реальний робочий процес користувача.

    Швидкість — це не точність, адже швидкий пошуковик може надати неправильний документ за кілька мілісекунд. Рішенням є створення невеликого набору „золотих“ даних, поступова зміна кожної змінної та перетворення кожної невдачі на тест на зворотний розвиток. Саме так система RAG перетворюється з чогось, що здається магією, на систему, яку можна поступово вдосконалювати.