Гібридний пошук для RAG: поєднання пошуку за ключовими словами, векторного пошуку та пошуку у графіках.
Як поєднати BM25, векторний пошук та пошук у графіках у RAG: фузія рангів за допомогою RRF, де допомагає GraphRAG, та архітектура отримання даних, їх фузії, розширення та переранжування.
Джерела: Hybrid Retrieval for RAG: Combining Graph, Vector, and Keyword Search
Жоден окремий метод пошуку не може відповісти на всі запитання. Пошук за ключовими словами найкраще підходить для точних фраз, векторний пошук — для змісту, а пошук у графах — для визначення взаємозв’язків. У реальних ситуаціях зазвичай потрібні всі три методи одночасно, саме тому пошукові платформи та системи GraphRAG зараз схильні поєднувати лексичний, семантичний та графовий підходи до пошуку, замість того щоб покладатися лише на одну технологію.
Чому один метод недостатній
Пошук за ключовими словами залишається важливим, оскільки він пов’язаний із термінами, які дійсно зустрічаються в даних. Класичні системи пошуку інформації створюють зворотний індекс на основі словника та списків записів, а метод оцінки у стилі BM25 вдосконалює просте зіставлення термінів, враховуючи їх частоту та довжину документа. Лексичні двигуни також надають можливості керування, яких природним чином не мають семантичні системи: цитовані фрази, булеві оператори, обмеження полів, аналізатори токенів та прогнозоване зіставлення. Коли точність формулювання має таке ж значення, як і значення, саме ці можливості є перевагою.
Ембеддинги усувають протилежну слабкість. Текст перетворюється на вектори, і запит знаходить найближчий варіант, навіть якщо формулювання повністю відрізняється від запитання. У статті DPR були наведені цифри: у кількох наборах даних для відповідей на запитання з відкритою тематикою індексування типу dense retrieval показало результат на 9–19 балів кращий за налаштований базовий індекс Lucene BM25 за критерієм точності у топ-20. У масштабних системах майже всі рішення використовують індекси найближчих сусідів з наближеним пошуком, часто HNSW, тому пошук виконується протягом кількох мілісекунд.
Граф забезпечує те, чого не можуть два інші підходи: чітку структуру. Вузли можуть представляти ентитети, а ребра — взаємозв’язки, а поверх них формуються спільноти, твердження та шляхи між кількома документами. Огляди GraphRAG описують перевагу цього підходу як точність та повноту завдяки структурі на рівні ентитетів. Реалізація Microsoft розділяє локальний пошук, спрямований на запитання щодо одного ентитета, та глобальний пошук, спрямований на запитання щодо всього корпусу. KG²RAG демонструє ще одне застосування: вводяться семантично відповідні фрагменти інформації, а граф знань розростає їх у кохерентний, різноманітний набір підтверджуючих доказів.
Два значення терміна „граф“
Тут термін „граф“ використовується у перенасиченому значенні. HNSW, який належить до найпоширеніших методів наближеного пошуку найближчих сусідів, сам є графом, створеним для швидкого пошуку серед векторів, що є близькими за значенням. Документація до індексу векторів у Neo4j розкриває його налаштування — vector.hnsw.m та vector.hnsw.ef_construction.
Коли люди обговорюють поєднання пошуку за графом, векторами та ключовими словами, йдеться про два різних графи. Один з них — це внутрішня структура індексу, яка прискорює пошук за схожістю. Інший — це зовнішній граф знань, який моделює реальні об’єкти та зв’язки між ними. Перший допомагає швидко знаходити схожі вектори, тоді як другий дозволяє здійснювати міркування на основі пов’язаних фактів. Плутанина між цими двома призводить до нечітких обговорень архітектури.
Як у практиці працює гібридний пошук
Зазвичай вихідною точкою є одночасне виконання двох пошуків – лексичного та семантичного. Weaviate називає свій підхід гібридним пошуком: виконуються як запити на основі векторів, так і на основі ключових слів, а їхні набори результатів об’єднуються. OpenSearch досягає цього за допомогою пошукових конвеєрів, які або нормалізують оцінки, або об’єднують результати за рангом перед тим, як щось повернути. Neo4j за допомогою HybridRetriever запитує векторний та повнотекстовий індекси, а потім об’єднує їх у єдиний список із рангуванням. Кожен з цих підходів компенсує слабкі сторони іншого. Ключові слова повертають точні докази, а векторні представлення – уривки, які мають однакове значення, але формулюються інакше.
Об’єднання списків
Наступний вибір стосується того, як поєднувати рейтинги. Метод взаємного злиття рейтингів (RRF) є хорошим стандартним варіантом, оскільки він працює з позиціями рейтингу, а не з первинними оцінками. У документації Elastic його описують як метод, який майже не потребує налаштувань та не вимагає однакових масштабів оцінок. Це має значення, адже оцінки BM25 та подібності ембеддингів зазвичай знаходяться у дуже різних числових діапазонах.
Якщо ви хочете більше контролю, можна використати нормалізоване зважене злиття. Weaviate підтримує злиття на основі оцінок, а OpenSearch пропонує як процесори, засновані на нормалізації, так і злиття на основі рейтингу. Elastic також зазначає, що лінійна комбінація може перевершити RRF, якщо ваги правильно налаштовані, проте це вимагає ретельної нормалізації та експериментування.
Яке місце посідає граф
Шар графів зазвичай додається після першого етапу пошуку. Інструмент HybridCypherRetriever від Neo4j ілюструє цю ідею: кандидати отримуються за допомогою векторного та повнотекстового пошуку, а потім перебір графу забезпечує більш детальний контекст навколо них.
Локальний пошук GraphRAG від Microsoft слідує схожому підходу, поєднуючи контекст з графу з початковим текстом. Глобальний пошук використовує інший шлях та відповідає на запитання, що стосуються всього набору даних, на основі звітів спільноти, оброблених заздалегідь. Це крок за межами „BM25 плюс ембеддинги“: знайти хороший вузол чи фрагмент, а потім рухатися далі та збирати факти, яких не містив відповідний уривок.
Коли GraphRAG окуповує свою вартість
Пошук з використанням графів є ефективним, коли запит стосується зв’язків, а не окремих уривків тексту. У документації Microsoft чітко описано розподіл завдань: локальний пошук для пошуку конкретних ентитетів, глобальний пошук для міркувань на основі всього набору даних, DRIFT для локальних міркувань з урахуванням контексту спільноти, а базовий пошук — для запитів, на які вже добре відповідає звичайний векторний пошук. Графи найбільше допомагають, коли користувач хоче, щоб система пов’язувала елементи, визначала залежності, узагальнювала теми чи аналізувала кілька рівнів доказів.
Проте це не безкоштовне покращення релевантності. У новій науковій роботі з тестування GraphRAG прямо ставиться питання про те, коли графи є корисними, і виявляється, що GraphRAG може показувати гірші результати, ніж звичайний RAG, у багатьох реальних завданнях. Основна ідея полягає у тому, що структура графа є корисною тоді, коли обсяг роботи справді вимагає ієрархічного пошуку, міркувань з урахуванням зв’язків чи широкого синтезу контексту. Для простих, локальних запитів створення графа, його обход та узагальнення можуть принести мало користі. Хороший гібридний підхід має бути вибірковим, а не максимальним.
Архітектура для порівняння
Спочатку йде підготовка. Розділіть документи на частини, виділіть ентитети та зв’язки там, де це доцільно, та створіть чітке відповідність між кожною частиною та об’єктами графа, про які вона згадує. Потім поруч існують три структури: лексичний індекс для зіставлення токенів, векторний індекс для з’ясування значення та шар графа для просування чи розширення спільнот.
Запити виконуються за чотирма кроками: отримання даних, об’єднання, розширення та переурочування. Спочатку відбувається лексичний та векторний пошук, а їхні результати об’єднуються. Лише найбільш переконливі результати розширюються через граф, а пристрій переурочування сортує розширені дані перед тим, як їх побачить генератор. Витрати залишаються контрольованими, а якість відтворення та контексту зберігається на високому рівні.
Куди рухаємося
Постачальники та дослідники зосереджуються на інтегрованих рішеннях. Elastic, Weaviate, OpenSearch та Neo4j пропонують гібридний метод пошуку як стандартну функцію, а не тимчасове рішення. Milvus описує гібридну конфігурацію, побудовану на моделі BGE-M3, чия наукова стаття описує щільні, розріджені та багатовекторні результати вихідних даних. Ця тенденція свідчить про зменшення кількості окремих способів пошуку та появу більшої кількості систем, які отримують кілька сигналів релевантності з одних і тих самих даних та поєднують їх під час отримання запиту.
Практичні поради
Найбільшою помилкою є сприйняття гібридного пошуку як одного алгоритму. Це стратегія:
- Почніть з точності ключових слів у поєднанні з семантичним відтворенням інформації.
- Використовуйте метод RRF, коли шкали оцінок не збігаються.
- Перейдіть на вагове поєднання даних після створення даних для оцінки.
- Додавайте розширення графу лише там, де важливі взаємозв’язки.
Релевантність також не є єдиним обмеженням. Векторні індекси займають багато пам’яті та спричиняють затримки, а посібник з операцій Neo4j зазначає, що його векторні індекси, засновані на Lucene, сильно залежать від кешу файлової системи ОС. Уміння вибирати прості рішення є частиною проектування.
Гібридний метод пошуку ефективний, тому що відтворює спосіб, яким люди шукають інформацію. Іноді ми пам’ятаємо точну фразу, іноді — лише ідею, а іноді саме ланцюжок посилань пояснює, як пов’язані два факти. Пошук за ключовими словами, векторами та графами задовольняє кожну з цих потреб, а найсильніші системи пошуку навмисно поєднують їх.
Пов’язана література
- Vector RAG проти Keyword RAG: коли використовувати кожен з них та чому перемагає гібридний підхід — Порівняння методів пошуку на основі ембеддингів з BM25, SQL та графовим пошуком у рамках RAG: як працює кожен з методів, де виникають проблеми та як підходить гібридний підхід із повторним ранжуванням.
- Вибір бази даних векторів у масштабі: Weaviate проти Pinecone для RAG — Практичне порівняння Weaviate та Pinecone для розробки систем RAG: гібридний пошук, ізоляція користувачів, компроміси щодо пам’яті, варіанти розгортання та способи тестування.