Головна / Статті

Гібридний метод пошуку для RAG: BM25, Rank Fusion та переранжування перевершують вектори.

Чистий векторний пошук пропускає точні терміни. Використання BM25 разом із ембеддингами, методу Reciprocal Rank Fusion та крос-енкодера-реранкера дозволило досягти точності пошуку 91% у цій конфігурації RAG.

Видавець: REACTAPP.TOP6 хв читання1365 слів

Джерела: `I Stopped Using Vector Databases. My RAG Got Better.`

Ранні поради щодо RAG майже одностайні: оберіть Pinecone, Weaviate або Chroma, вбудуйте документи, збережіть вектори, запустіть семантичний пошук та вважайте все готовим. Багато команд слідують саме цій схемі. Вони ділять документи на частини, створюють ембеддинги за допомогою хостованої моделі, завантажують базу даних векторів та пишуть функцію пошуку, яка знаходить п’ять найбільш схожих частин для кожного запиту. Це працює, але лише до певної міри, і саме тоді починає мати значення точність.

Де зазнає невдачі чистий векторний пошук

Прості, відкриті запитання дають пристойні результати пошуку. Усе, що вимагає точності, дає погані результати: конкретні дати, точні цифри, посилання на певний розділ, технічні запитання з великою кількістю ключових слів. Тоді ШІ впевнено формує відповідь на основі неправильних частин документа. Вина не в моделі, адже система пошуку надала їй неправильний контекст.

Зазвичай реакція полягає у звинуваченні процесу генерації. Люди коригують запити, додають інструкції на кшталт «відповідайте лише на основі наданого контексту» та створюють цикли саморефлексії. Але все це не допомагає, якщо отриманий матеріал є неправильним. Слабкою ланкою є пошук, а не генерація.

Ембеддинги добре справляються з розумінням змісту, але стикаються труднощів із конкретикою, і конкретний приклад це ілюструє. Припустимо, у звіті є рядок про те, що дохід у четвертому кварталі 2024 року склав 12,8 мільйона доларів, що на 23% більше, ніж у третьому кварталі. Користувач запитує, яким був дохід у четвертому кварталі 2024 року. Здається, що це просте завдання для ембеддингів.

Ось що насправді відбувається. Модель імбеддингу перетворює запит та кожен фрагмент на вектори високого розміру, а потім шукає концептуальну близькість до понять „дохід“, „фінансові показники“ та „квартальні результати“. Вона може повернути фрагменти про дохід взагалі, прогнози на майбутнє чи показники третього кварталу, оскільки всі вони знаходяться поблизу ідеї квартального доходу. Фрагмент із текстом „12,8 мільйона доларів“ може опинитися на четвертому чи п’ятому місці, або зовсім зникнути, якщо межі фрагментів розріжуть речення в невдалим місці. Звичайний пошук за ключовими словами „дохід за 4-й квартал 2024 року“ знайшов би його миттєво.

Масштаб погіршує ситуацію

З 50 документами семантичний пошук працює непогано, частково тому, що конкурує мало фрагментів. З 5 000 документами він перестає ефективно працювати. Більший корпус містить більше фрагментів, які є семантично близькими, але фактично несуттєвими, тож співвідношення сигналу до шуму падає, і система знаходить уривки з „правильного району“, які містять неправильну інформацію.

Один тест на технічному корпусі приблизно з 3 000 сторінок (документація API, журнали змін та посібники з інтеграції) показав точність чистого векторного пошуку близько 62%. Це означає, що майже чотири з десяти запитів надходили до ШІ з неповним або неправильним контекстом. Жодна оптимізація запитів не може це виправити, оскільки сама основа є пошкодженою.

Відмова від векторного пошуку не була рішенням. Проблемою була саме залежність від нього. Трикомпонентна архітектура підвищила точність у цьому тесті з 62% до 91%.

Частина перша: BM25 для точних термінів

BM25 походить з 1990-х років та досі належить до найефективніших алгоритмів пошуку. На відміну від алгоритмів на основі ембеддингів, які змішують елементи тексту, він знаходить точні терміни: для запиту „Дохід у 4-му кварталі 2024 року“ він бере кожен фрагмент, що містить ці слова, та сортує їх за частотою вживання та релевантністю у корпусі даних. Цей алгоритм працює швидко, завжди дає однаковий результат та може функціонувати без GPU. Для його реалізації достатньо невеликої бібліотеки, причому не потрібні векторні бази даних — достатньо текстового індексу, створеного на основі фрагментів тексту.

Частина друга: зберегти ембеддинги, але як єдине джерело інформації

Ембеддинги зберігають свою цінність, оскільки вони враховують намір користувача та видають пов’язаний контент. Користувач, який запитує „Як обробити процедуру автентифікації?“, серед документів під назвою „Керування входом користувачів“ отримує результат від семантичного пошуку, якого BM25 ніколи б не дав. Тож ембеддинги стають одним із джерел кандидатів, але ніколи не єдиним джерелом.

Найкращі результати від обох пошукових систем об’єднуються за допомогою Reciprocal Rank Fusion (RRF) — простого методу, який поєднує списки з рангуванням, надаючи перевагу фрагментам, що присутні в обох. Фрагмент, який посідає перше місце за критерієм BM25 та третє за результатами семантичного пошуку, має значно вищий ранг, ніж фрагмент, який є лише в одному списку. Це природним чином підвищує ранг фрагментів, які є релевантними як за ключовими словами, так і за змістом. Реалізація складається приблизно з 20 рядків коду на Python та не вимагає використання жодних фреймворків.

Частина третя: перерангування

Етап переранжування — це той, який більшість команд пропускають, проте саме він найбільше впливає на результати. Коли гібридне об’єднання дає від 15 до 20 кандидатів, крос-енкодер для переранжування оцінює кожного з них. Модель ембеддингу кодує запит та документ окремо один від одного. Натомість крос-енкодер одночасно обробляє запит та одного кандидата через модель, тож оцінка відображає ступінь відповідності цієї пари.

Невелика модель переранжування додає приблизно 200 мс затримки та суттєво покращує вибір тих фрагментів, які потрапляють до кінцевого контексту. П’ятеро лідерів після переранжування майже завжди є правильними. Це добре ілюструє метафора риболовлі: BM25 у поєднанні з семантичним пошуком розкидає широку мережу, а переранжування сортує „улов“ та залишає лише найкраще.

До та після

Дані, наведені для гібридної схеми порівняно з чистим векторним пошуком:

Показник Лише пошук векторів Гібридний підхід з переранжуванням
Точність отримання Топ-5 результатів 62% 91%
Правильність відповідей 58% 87%
Частота галюцинацій 31% 8%
Звіти користувачів про неправильні відповіді близько 3 на день близько 2 на тиждень

Несподіваним побічним ефектом була вартість. Після скасування хостованої бази даних векторів витрати на інфраструктуру знизилися приблизно на 60%. BM25 працює на одному процесорі, а для переранжування потрібен лише невеликий GPU або процесор із прийнятною затримкою.

Чому рекомендації схиляються до векторних баз даних

Компанії, що створюють бази даних векторів, залучили величезні суми коштів, а їхній маркетинг присутній у кожному посібнику, курсі та відео, які починаються з фрази „Крок 1: налаштуйте свою базу даних векторів“. Ніхто з продавців цих продуктів не має інтересу визнавати, що алгоритм, якому десятиліття, у поєднанні з простим інструментом переорієнтації, у більшості сценаріїв є кращим за їхні продукти.

Проте бази даних векторів не є марними. Вони є корисними для:

  • Дослідницького пошуку, коли користувачі переглядають інформацію, а не шукають конкретні факти.
  • Багатомодального пошуку серед зображень, аудіо чи коду.
  • Величезних колекцій у кілька мільярдів документів, де індекси BM25 стають незручними для використання.

Для більшості систем RAG, таких як внутрішні бази знань, пошук документації, боти підтримки та інструменти для дотримання правил, гібридний метод пошуку без спеціалізованого сховища векторів працює краще та коштує дешевше.

Практичний шлях міграції

Не обов’язково проводити повне розбирання. Підійде поступовий підхід:

  1. Додайте BM25 поруч із існуючим пошуком за векторами. Бібліотека Python на кшталт rank-bm25 може індексувати ті самі фрагменти, що займає приблизно годину.
  2. Об’єднайте результати за допомогою Reciprocal Rank Fusion. Формула оцінки є простою та добре задокументованою.
  3. Додайте безкоштовний cross-encoder для переоцінки результатів, запустіть його локально або через API. Пропустіть через нього об’єднані кандидати та залиште п’ять найкращих.
  4. Вимірюйте ефективність. Створіть невеликий набір для оцінки, наприклад 50 запитань із відомими відповідями, та порівняйте точність пошуку до та після впровадження змін. Покращення буде помітним швидко.
  5. Потім з’ясуйте, чи все ще потрібна база даних векторів. Для багатьох систем вона не потрібна.

Більша картина

Хайп рідко вказує на найкращий варіант. Кращий вибір зазвичай є простим, зрозумілим та неяскравим з точки зору привабливості. BM25 є простим алгоритмом, гібридний пошук — прямолінійним, а дослідники у галузі пошуку інформації вже десятиліттями вивчають методи переранжування результатів. Історія про повторне використання 30-річного алгоритму не приверне фінансування венчурних інвесторів чи уваги соціальних мереж. Надійний ШІ все ще досягається шляхом вибору правильного інструменту, навіть якщо він вже не є модним.

Коли система RAG працює неефективно, виникає спокуса звинувачувати в цьому ШІ, переписувати запити чи налаштовувати модель ембеддингів. Однак краще зосередитися на процесі пошуку, адже саме там зазвичай полягає проблема. Рішенням може бути використання старішого, простішого методу пошуку у поєднанні з сучасним механізмом переранжування для подолання недоліків. Іноді прогрес означає спочатку озирнутися назад.

Пов’язана література

  • Gemini's 1M Window Replaced My Vector Store; Latency and Provenance Objected — Тест заповнення повним контекстом у системі RAG на 500 запитань підтримки: результати щодо точності, затримки та витрат, чому важлива походження даних, та гібридна конфігурація, яка зберегла обидва переваги. —