Головна / Статті

Чому RAG все ще дає неправильні відповіді: гібридний пошук, переранжування та Recall@K

Чисті фрагменти не гарантують якісних відповідей. Дізнайтеся, де зазнає невдачі відтворення векторів, та як фузія, крос-енкодер для переранжування, HyDE та метод оцінки Recall@K це виправляють.

Видавець: REACTAPP.TOP6 хв читання1434 слів

Джерела: The AI Series: The Hardest Part of RAG, Part 2 — Why Perfect Chunks Still Give You Bad Retrieval

Поширена ситуація у проектах RAG: робота з парсингом завершена. Фрагменти тексту очищені, таблиці формуються у форматі Markdown, і кожен фрагмент має номер сторінки та назву розділу. Проте користувачі в промисловому середовищі все ще отримують неправильні відповіді на запитання, які система мала б обробляти без проблем. Проблема не у фрагментах — пошуковий механізм просто продовжує отримувати неправильні дані.

Якісний парсинг забезпечує якісні дані, але якісні дані не гарантують ефективного пошуку. Це окремі проблеми, і друга з них отримує значно менше уваги, ніж заслуговує.

Що насправді робить пошук схожості

Багато команд ставляться до similarity_search() як до „чорної скриньки“, тому корисно швидко заглянути всередину. Модель ембеддингу перетворює текст на список чисел, тобто вектор, який є точкою у просторі з кількістю вимірів від 384 до 3072 залежно від моделі. Тексти з схожим змістом мають знаходитися близько один до одного, а несуміжні тексти — далеко один від одного.

Проста версія з лише 4 вимірами дозволяє залишати числа читабельними:

"How do I reset my password?"     → [0.81, 0.12, -0.44, 0.09]
"Steps to change your password"   → [0.79, 0.15, -0.41, 0.11]
"How do I cancel my subscription?"→ [0.22, 0.68, 0.05, -0.39]

Два вектори порівнюються за допомогою косинусової схожості, яка вимірює ступінь їхнього спільного напрямку, ігноруючи довжину. Оцінка 1,0 означає однаковий напрямок, 0 — відсутню взаємозв’язок, а від’ємні значення — протилежні напрямки.

from numpy import dot
from numpy.linalg import norm

def cosine_similarity(a, b):
    return dot(a, b) / (norm(a) * norm(b))

query = [0.80, 0.13, -0.42, 0.10]  # "reset my password"

print(cosine_similarity(query, [0.81, 0.12, -0.44, 0.09]))  # 0.998 - very close
print(cosine_similarity(query, [0.22, 0.68, 0.05, -0.39]))  # 0.310 - far apart

За фразою „Штучний інтелект розуміє запитання“ стоїть лише це. Йдеться про геометрію, а не про розуміння, і саме геометрія пояснює невдачі: вона не може зрозуміти, що „заборонено“ змінює значення „дозволено“, а також що „Error 4092“ — це буквальний рядок, який користувачу потрібно знайти.

Чотири способи, якими ламається процес пошуку

Скорочення абзацу до однієї точки призводить до втрати інформації. Як тільки система виходить за межі демо-режиму, продовжують з’являтися ті самі чотири проблеми.

  1. Невідповідність лексики. Хтось шукає точний код помилки чи ідентифікатор продукту, а алгоритм обробки сприймає його як звичайний токен, тож фрагмент, що містить саме цей рядок, не потрапляє до топ-10 результатів.
  • Сліпота до заперечень. Політика, згідно з якою повернення коштів припиняється через місяць, та запит щодо отримання повернення після цього терміну мають багато спільного лексичного матеріалу, тому вони можуть опинитися дуже близько один до одного, хоча їхні значення суперечать одне одному.
  • Ізоляція фрагментів. Відповідь охоплює два фрагменти — наприклад, число в одному та позначка, що його пояснює, у попередньому, — і система повертає лише один з них.
  • Плутанина через свіжість. Векторний індекс не має уявлення про те, що документ може бути застарілим, тому старі та нові версії однієї політики часто отримують однакові оцінки щодо релевантності.
  • Демонстрація з 20 документами не виявляє жодного з цих явищ. Вони проявляються лише тоді, коли корпус містить справжнє дублювання, перекриття та неоднозначності, що є характерним для кожної продуктивної системи.

    Конвеєр замість одного виклику

    Один виклик до сховища векторів — це не система пошуку. Надійна система має кілька етапів:

    Кожен етап існує тому, що попередній сам по собі є недостатнім. Саме це є найбільшою різницею між демо-версією RAG та RAG у продакшені: кожен етап усуває певну слабкість на попередньому етапі, і жоден з них не є декоративним.

    Гібридний пошук із злиттям рангів

    Пошук за векторами погано справляється з точними збігами, а пошук за ключовими словами (BM25) — з концептуальними збігами. Замість вибору краще використовувати обидва методи та об’єднати їхні результати.

    Злиття рангів шляхом взаємності — це найпростіший спосіб об’єднати два списки з рангами, коли їхні оцінки не на одній шкалі. Типова реалізація виглядає так:

    from collections import defaultdict
    
    def reciprocal_rank_fusion(result_lists, k=60):
        scores = defaultdict(float)
        for result_list in result_lists:
            for rank, doc_id in enumerate(result_list):
                scores[doc_id] += 1 / (k + rank + 1)
        return sorted(scores, key=scores.get, reverse=True)
    
    vector_ids = [d.metadata["chunk_id"] for d in vector_store.similarity_search(query, k=20)]
    bm25_ids = [d.metadata["chunk_id"] for d in bm25_index.search(query, k=20)]
    
    final_ranking = reciprocal_rank_fusion([vector_ids, bm25_ids])
    

    Частою початковою помилкою є об’єднання двох списків результатів без їхнього справжнього поєднання. Той список, який йде першим, мовчки домінує у кінцевому контексті, що суперечить меті використання двох стратегій.

    Переранжування

    Найскладнішим етапом аналізу є вилучення даних з таблиць, а у процесі пошуку — переранжування. Моделі ембеддингу кодують запит та кожен документ окремо, після чого порівнюють результати. Модель переранжування, зазвичай це крос-кодер, одночасно обробляє запит та кандидатські фрагменти та безпосередньо виводить оцінку релевантності. Цей процес займає більше часу, тому він виконується лише з 20 до 50 найкращих кандидатів після поєднання даних, а не з усього індексу.

    from sentence_transformers import CrossEncoder
    
    reranker = CrossEncoder("BAAI/bge-reranker-base")
    
    def rerank(query, candidates, top_n=5):
        pairs = [(query, c["text"]) for c in candidates]
        scores = reranker.predict(pairs)
        for c, s in zip(candidates, scores):
            c["rerank_score"] = float(s)
        return sorted(candidates, key=lambda c: c["rerank_score"], reverse=True)[:top_n]
    

    У одній з внутрішніх систем пошуку підтримки використання ранжеру після процесу фузії підвищило показник Recall@5 з приблизно 61% до 84%, при цьому модель ембеддингу та розмір частинок залишилися незмінними. Ця єдина зміна перевершила ефект від усіх інших етапів обробки, тому її зазвичай рекомендують у першу чергу, коли відповіді RAG здаються близькими, але не зовсім правильними.

    Закриття прогалини у словниковому запасі

    Іноді індекс у порядку, а справжньою проблемою є формулювання. Користувачі пишуть неформально („Чому воно не дозволяє мені увійти?“), тоді як документація має формальний стиль („Помилки автентифікації можуть виникнути, коли токени сеансу закінчуються“).

    Існують дві техніки для вирішення цієї проблеми. При переписуванні запиту ШІ переформулює нечітке запитання так, щоб воно було ближче до формулювання вихідного матеріалу. HyDE (Hypothetical Document Embeddings) йде ще далі: ШІ складає коротку уявну відповідь, і саме цей текст, а не первісне запитання, підлягає імбеддингу та пошуку, оскільки правдоподібна відповідь у векторному просторі знаходиться набагато ближче до реальних відповідей, ніж саме запитання.

    def hyde_retrieve(query, llm, vector_store, k=5):
        hypothetical = llm.invoke(f"Write a short passage answering: {query}")
        return vector_store.similarity_search(hypothetical, k=k)
    

    Система підтримки, яка використовує цей підхід, змогла повернути значну кількість запитів, які раніше не давали корисної інформації, лише через те, що користувачі та документація використовують різні варіанти формулювань.

    Вимірювання ефективності пошуку безпосередньо

    Привабливим спрощенням є оцінка ефективності пошуку за тим, чи звучить кінцева відповідь ШІ правильно. Однак це майже нічого не розкриває про те, на якому етапі виникла проблема.

    Необхідний невеликий набір даних із позначками — навіть 50–100 пар запитів та правильних фрагментів відповідей, щоб можна було виміряти показник Recall@K ще до використання ШІ. Recall@K полягає у запитанні: із фрагментів, які дійсно містять відповідь, скільки з них опинилося серед перших K?

    def recall_at_k(retrieved_ids, relevant_ids, k):
        top_k = set(retrieved_ids[:k])
        return len(top_k & relevant_ids) / len(relevant_ids) if relevant_ids else 0.0
    

    Без цього кожна зміна розміру частинок, моделі імбеддингу чи алгоритму переранкінгу є лише припущенням, прикидаючимся покращенням.

    Підводні камені та розумний набір інструментів

    Підвищення значення k рідко виправляє проблеми з пошуком інформації, оскільки це переважно надає LLM ще більше відволікаючих факторів. Проведення першого тижня у налаштуванні розміру частинок також є неефективним порівняно з результатами, які дає алгоритм переранкінгу. Нарешті, створіть набір даних для оцінки ще до появи скарг, адже діагностика проблем пізніше марнує цілий цикл роботи.

    Розумний набір інструментів для створення цього шару з нуля: Qdrant для векторного пошуку, BM25 через OpenSearch у поєднанні з RRF, самостійно розгорнутий алгоритм BGE переранкінгу з Cohere Rerank як альтернативою у хостованій версії, та HyDE, призначений для обробки запитів у форматі розмови.

    Звідки насправді походить якість відповідей

    Дискусії зазвичай зосереджуються на тому, який LLM створює найбільш плавну кінцеву відповідь, але справжній вирішальний фактор знаходиться ще до моделі: чи були взагалі отримані правильні фрагменти даних? Чудова модель у неправильному контексті щоразу дає чудову, впевнену, але хибну відповідь.

    Парсинг вводить дані в систему, тоді як процес пошуку визначає, чи потрапляє до моделі правильна її частина. Якщо хтось із цих етапів є неправильним, інженерія запитів не може врятувати ситуацію. За наявності надійного пошуку наступним питанням є те, як автоматично, від початку до кінця, перевірити, чи система належним чином аналізує отримані дані, замість того щоб перевіряти результати по одному.

    Пов’язана література

  • Чому RAG не знаходить сторінку з відповіддю: хліб, дріжджі та вектори — чому пошук за схожістю може знаходити сторінки на правильну тему, але пропускати ту, де є відповідь, як таблиці та обмеження типу top-k погіршують ситуацію, та що варто перевірити спочатку.