Гибридный поиск для RAG: сочетание поиска по ключевым словам, векторного поиска и поиска по графам
Как объединить BM25, векторный поиск и поиск по графам в RAG: слияние рангов с использованием RRF, где помогает GraphRAG, а также архитектура поиска, слияния, расширения и повторного ранжирования.
Источники: Hybrid Retrieval for RAG: Combining Graph, Vector, and Keyword Search
Ни один метод поиска не может ответить на все вопросы. Поиск по ключевым словам наилучшим образом подходит для точного совпадения слов, векторный поиск — для понимания смысла, а поиск по графам — для выявления связей. На практике для решения реальных задач часто требуются все три метода одновременно, и именно поэтому поисковые платформы и системы GraphRAG сейчас предпочитают использовать комбинацию лексического, семантического и графового поиска, вместо того чтобы полагаться на один метод для решения всей задачи.
Почему один метод недостаточен
Поиск по ключевым словам остается важным, поскольку он связан с теми терминами, которые действительно присутствуют в данных. Классические методы поиска информации создают обратный индекс на основе словаря и списков записей, а системы оценки в стиле BM25 усовершенствуют простое совпадение терминов, учитывая частоту их использования и длину документа. Лексические движки также предоставляют возможности управления, которых естественным образом не имеют семантические системы: цитированные фразы, логические операторы, ограничения по полям, анализаторы токенов и предсказуемое совпадение. Когда точные формулировки важны не меньше, чем смысл, именно эти возможности оказываются решающими.
Эмбеддинги устраняют противоположную слабость. Текст преобразуется в векторы, и запрос возвращает наиболее близкие к нему результаты, даже если формулировка совершенно отличается от вопроса. В статье DPR были приведены цифры: в нескольких наборах данных для ответов на вопросы из открытых доменов метод плотного поиска показал результат на 9–19 пунктов выше, чем отрегулированный алгоритм Lucene BM25, при оценке точности по первым 20 результатам. В масштабных решениях практически всегда используются приближенные индексы ближайших соседей, чаще всего HNSW, благодаря чему поисковые запросы обрабатываются за доли секунды.
Граф предоставляет то, чего не могут два других подхода: явную структуру. Узлы могут представлять собой сущности, а рёбра — связи между ними; сверху к этой структуре добавляются слои вроде сообществ, утверждений и путей между несколькими документами. В обзорах GraphRAG такой подход описывается как способ повышения точности и полноты информации благодаря структуре на уровне сущностей. Реализация Microsoft разделяет локальный поиск, предназначенный для вопросов, касающихся одной сущности, и глобальный поиск, предназначенный для вопросов, касающихся всего корпуса данных. KG²RAG демонстрирует ещё одно применение: в систему вводятся семантически соответствующие фрагменты текста, которые затем преобразуются с помощью знаниевого графа в целостный и разнообразный набор подтверждающих доказательств.
Два значения термина «граф»
Здесь термин «граф» используется в чрезмерно широком смысле. HNSW, один из наиболее распространённых методов приближённого поиска ближайших соседей, сам по себе представляет собой граф, созданный для быстрого перехода к векторам, наиболее близким к искомому. В документации Neo4j по индексам векторов описаны его параметры — vector.hnsw.m и vector.hnsw.ef_construction.
Когда речь идёт о сочетании поиска по графам, векторам и ключевым словам, имеются в виду два разных графа. Один из них — внутренняя структура индекса, обеспечивающая быстрый поиск по сходству. Другой — внешний знаниевой граф, моделирующий реальные сущности и связи между ними. Первый помогает быстро находить похожие векторы, в то время как второй поддерживает выводы на основе связанных фактов. Путаница между ними приводит к неясным обсуждениям архитектуры.
Как на практике работает гибридный поиск
Обычной отправной точкой являются два поиска одновременно: лексический и семантический. Weaviate называет свой подход гибридным поиском: выполняются запросы как на векторы, так и на ключевые слова, после чего их результаты объединяются. OpenSearch достигает аналогичного результата с помощью поисковых пайплайнов, которые либо нормализуют оценки, либо объединяют результаты по рангу перед их возвратом. В Neo4j функция HybridRetriever запрашивает векторный индекс и индекс полнотекстового поиска, затем объединяет их в один ранжированный список. Каждый из подходов компенсирует слабые стороны другого: ключевые слова возвращают точные примеры, а векторные представления — фрагменты текста, имеющие одинаковое значение, но выраженные разными словами.
Объединение списков
Следующий вопрос касается способа объединения рейтингов. Метод взаимного слияния рейтингов (RRF) является хорошим стандартным вариантом, поскольку он использует позиции в рейтинге вместо сырых оценок. В документации Elastic говорится, что для его работы практически не требуется настройка, и он не нуждается в сопоставимых шкалах оценок. Это важно, поскольку оценки BM25 и сходство векторных представлений обычно находятся в совершенно разных числовых диапазонах.
Если требуется больший контроль, можно воспользоваться нормализованным взвешенным слиянием. Weaviate поддерживает слияние на основе оценок, а OpenSearch предлагает как процессоры, основанные на нормализации, так и метод слияния, основанный на рейтингах. Elastic также отмечает, что линейное сочетание может превзойти RRF при правильной настройке весов, однако это требует тщательной нормализации и экспериментов.
Роль графа
Слой графа обычно добавляется после первого этапа поиска. Инструмент HybridCypherRetriever от Neo4j иллюстрирует эту идею: кандидаты получаются в результате векторного и полнотекстового поиска, а затем прослеживание по графу предоставляет более подробный контекст вокруг них.
Локальный поиск GraphRAG от Microsoft следует аналогичному пути, сочетая контекст, взятый из графа, с исходным текстом. Глобальный поиск использует другой подход и отвечает на вопросы, касающиеся всего набора данных, на основе заранее вычисленных отчетов сообщества. Это уже шаг за пределами «BM25 плюс эмбеддинги»: сначала находится подходящий узел или фрагмент, затем производится поиск внутри него для сбора фактов, которых не содержалось в соответствующем отрывке.
Когда GraphRAG оправдывает свои затраты
Метод поиска с учётом графов оказывается эффективным, когда вопрос касается связей между элементами, а не отдельных фрагментов текста. В документациях Microsoft чётко описано разделение задач: локальный поиск для поиска конкретных сущностей, глобальный поиск для анализа всего набора данных, технология DRIFT для локального анализа с учётом контекста сообщества, а также базовый поиск для вопросов, на которые уже хорошо отвечает обычный векторный поиск. Графы наиболее полезны тогда, когда пользователь хочет, чтобы система соединяла элементы, выявляла зависимости, обобщала темы или анализировала несколько уровней связей между данными.
Однако это не бесплатное улучшение релевантности. В более новой статье с тестами GraphRAG прямо задаётся вопрос о том, когда графы бывают полезны, и выясняется, что GraphRAG может показывать худшие результаты, чем обычный RAG, во многих реальных задачах. Основная идея заключается в том, что структура графа оправдывает себя тогда, когда задача действительно требует иерархического поиска, рассуждений с учётом связей или широкого синтеза контекста. Для простых локальных запросов создание графа, его просмотр и обобщение могут принести небольшую пользу. Хороший гибридный дизайн должен быть избирательным, а не максимальным.
Архитектура для справки
Сначала идет подготовка. Разделяйте документы на части, извлекайте сущности и связи там, где это целесообразно, и ведите четкую связку от каждой части к объектам графа, о которых она упоминает. Затем рядом находятся три структуры: лексический индекс для сопоставления токенов, векторный индекс для определения смысла и слой графа для прослеживания связей или расширения сообществ.
Запросы выполняются в четыре этапа: получение данных, слияние результатов, расширение информации и переупорядочивание. Сначала производятся лексический и векторный поиск, а их результаты сливаются. Только наиболее достоверные результаты расширяются с помощью графа, после чего специальный алгоритм переупорядочивает полученные данные перед тем, как они попадут к генератору. Таким образом сохраняется контроль над затратами, а качество воспроизведения и контекста остается на высоком уровне.
Куда движется развитие
Поставщики решений и исследователи смещаются к использованию интегрированных решений. Elastic, Weaviate, OpenSearch и Neo4j предоставляют гибридные методы поиска в качестве стандартной функции, а не временной меры. Milvus описывает гибридную конфигурацию, основанную на BGE-M3 — модели, чья статья описывает густые, разреженные и многовекторные результаты, получаемые с одной сети. Тренд указывает на сокращение количества отдельных способов поиска и на появление систем, которые извлекают несколько сигналов релевантности из одних и тех же данных и смешивают их при поступлении запроса.
Практические советы
Самая большая ошибка — рассматривать гибридный поиск как один алгоритм. Это стратегия:
- Начните с точности по ключевым словам в сочетании с семантической воспроизводимостью.
- Обратитесь к методу RRF, когда шкалы оценок не совпадают.
- Перейдите к взвешенному слиянию данных после того, как соберете данные для оценки.
- Добавляйте расширение графа только там, где важны связи между элементами.
Релевантность тоже не является единственным ограничением. Векторные индексы потребляют реальную память и увеличивают задержку, а руководство по операциям Neo4j указывает, что его векторные индексы, основанные на Lucene, в значительной степени зависят от кэша файловой системы ОС. Умение выбирать простые решения — часть процесса проектирования.
Гибридный способ поиска эффективен, потому что он отражает способ, которым люди ищут информацию. Иногда мы помним точную фразу, иногда — только идею, а иногда именно цепочка связей помогает понять, как связаны два факта. Поиск по ключевым словам, векторный поиск и графовый поиск удовлетворяют по одной из этих потребностей, а самые совершенные системы поиска намеренно сочетают их.
Связанные материалы
- Vector RAG против Keyword RAG: когда использовать каждый из них и почему побеждает гибридный вариант — Сравнение методов поиска на основе эмбеддингов с BM25, SQL и графовым поиском для RAG: как работает каждый метод, где возникают проблемы и как подходит гибридный поиск с повторной классификацией.
- Выбор векторной базы данных в крупном масштабе: Weaviate против Pinecone для RAG — Практическое сравнение Weaviate и Pinecone для развития систем RAG: гибридный поиск, изоляция тенантов, компромиссы в использовании памяти, варианты развертывания и способы тестирования.