Главная / Статьи

Гибридный поиск для RAG: BM25, методы Rank Fusion и переранжирования превосходят векторные подходы.

Чистый векторный поиск упускает точные термины. Использование BM25 в сочетании с эмбеддингами, метода слияния рангов по принципу обратных взаимосвязей и кросс-кодера для переранжирования позволило добиться точности поиска 91% в этой схеме RAG.

Издатель: REACTAPP.TOP6 мин чтения1365 слов

Источники: `I Stopped Using Vector Databases. My RAG Got Better.`

Ранние рекомендации по технологии RAG практически единогласны: выберите Pinecone, Weaviate или Chroma, встроите документы, сохраните векторы, запустите семантический поиск — и всё готово. Многие команды строго следуют этому алгоритму. Они делят документы на фрагменты, генерируют векторные представления с помощью хостинговой модели, загружают базу данных векторов и пишут функцию поиска, которая находит пять наиболее похожих фрагментов для каждого запроса. Этот подход работает до определённой степени, и именно на этом этапе начинает играть роль точность результатов.

Где терпит неудачу чистый векторный поиск

На простые, открытые вопросы удаётся получить приемлемые результаты поиска. Однако всё, что требует точности — конкретные даты, точные цифры, ссылки на определённый раздел, технические запросы с большим количеством ключевых слов — приводит к плохим результатам. В таких случаях большие языковые модели уверенно формируют ответ на основе неверных фрагментов. Вина не в самой модели, ведь система поиска предоставила ей неверный контекст.

Обычная реакция — винить процесс генерации. Люди корректируют запросы, добавляют указания вроде «отвечайте только на основе предоставленного контекста» и создают циклы саморефлексии. Но всё это бесполезно, если полученный материал неверен. Слабым звеном является поиск, а не генерация.

Эмбеддинги хорошо справляются с пониманием смысла, но терпят неудачу с конкретикой, и конкретный пример это иллюстрирует. Предположим, в отчёте есть строка с указанием, что доход в четвёртом квартале 2024 года составил 12,8 миллиона долларов, что на 23% больше, чем в третьем квартале. Пользователь спрашивает, каков был доход в четвёртом квартале 2024 года. Казалось бы, это простая задача для эмбеддингов.

Вот что на самом деле происходит. Модель встраивания преобразует запрос и каждый фрагмент в высокомерные векторы, затем ищет концептуальную близость к понятиям «доход», «финансовые показатели» и «квартальные результаты». Она может вернуть фрагменты, касающиеся доходов в целом, прогнозы на будущее или данные за 3-й квартал, поскольку все они находятся рядом с идеей квартальных доходов. Фрагмент с текстом «12,8 миллиона долларов» может оказаться на четвертом или пятом месте, или вообще исчезнуть, если границы фрагментов разрежут предложение в неподходящем месте. Обычный поиск по ключевым словам «доходы за 4-й квартал 2024 года» нашел бы его сразу.

Масштаб усугубляет ситуацию

При 50 документах семантический поиск работает неплохо, отчасти потому, что мало фрагментов конкурируют между собой. При 5 000 документах он теряет эффективность. Больший корпус содержит больше фрагментов, семантически близких, но фактически несущественных, поэтому соотношение сигнала к шуму резко снижается, и система извлекает фрагменты из «близлежащей области», содержащие неверную информацию.

Тест на техническом корпусе примерно из 3 000 страниц (документация API, журналы изменений и руководства по интеграции) показал точность чистого векторного поиска около 62%. Это означает, что почти четыре из десяти запросов поступали к большой языковой модели с неполным или неверным контекстом. Никакая оптимизация запросов не может это исправить, поскольку сама основа поиска повреждена.

Отказ от векторного поиска не был решением. Проблема заключалась в односторонней зависимости от него. Трехэтапная архитектура повысила точность в этом тесте с 62% до 91%.

Часть первая: BM25 для точных терминов

BM25 появился в 1990-х годах и до сих пор считается одним из самых мощных алгоритмов поиска. В то время как эмбеддинги смешивают элементы текста, он работает с буквальными терминами: для запроса «Доход за 4-й квартал 2024 года» он извлекает каждый фрагмент, содержащий эти слова, и сортирует их по частоте вхождения и релевантности внутри корпуса. Он работает быстро, всегда дает одинаковый результат и может функционировать без GPU. Для его реализации достаточно небольшой библиотеки, причем не требуется векторная база данных — используется только текстовый индекс, построенный на фрагментах текста.

Часть вторая: сохранить эмбеддинги, но объединить их в единый источник

Эмбеддинги сохраняют свою ценность, поскольку они улавливают намерение пользователя и выделяют связанный контент. Пользователь, задающий вопрос «Как обработать процедуру аутентификации?» в контексте документов с названием «Управление входом пользователя», получает результат от семантического поиска, которого никогда бы не дал BM25. Таким образом, эмбеддинги становятся одним из источников кандидатов, но никогда не единственным.

Лучшие результаты от обоих поисковиков объединяются с помощью Reciprocal Rank Fusion (RRF) — простого метода, который комбинирует списки с рангированием, ставя высокие оценки тем фрагментам, которые присутствуют в обоих списках. Фрагмент, занимающий первое место по критерию BM25 и третье место по результатам семантического поиска, получает гораздо более высокую оценку, чем фрагмент, присутствующий только в одном списке. Это естественным образом повышает ранг тех фрагментов, которые являются релевантными как по ключевым словам, так и по смыслу. Реализация этого метода занимает около 20 строк кода на Python и не требует использования каких-либо фреймворков.

Часть третья: переранжирование

Этап переранжирования — это тот, который чаще всего опускают команды, но именно он наиболее сильно влияет на итоговые показатели. После гибридного слияния получается от 15 до 20 кандидатов, после чего кросс-кодер-переранжировщик оценивает каждого из них. Модель вкладки кодирует запрос и документ независимо друг от друга. В то время как кросс-кодер одновременно обрабатывает запрос и одного кандидата через модель, поэтому оценка отражает степень соответствия этой пары.

Небольшая модель переранжирования добавляет примерно 200 мс задержки, но значительно улучшает выбор тех фрагментов, которые попадают в итоговый контекст. Пять лучших результатов после переранжирования почти всегда бывают правильными. Здесь подходит метафора рыбалки: BM25 в сочетании с семантическим поиском бросает широкую сеть, а переранжирование сортирует пойманное и оставляет только лучшее.

До и после

Цифры, приведенные для гибридной схемы по сравнению с чистым векторным поиском:

Показатель Только поиск векторов Гибридный метод с переранжированием
Точность поиска топ-5 результатов 62% 91%
Правильность ответов 58% 87%
Частота галлюцинаций 31% 8%
Количество жалоб пользователей на неверные ответы примерно 3 в день примерно 2 в неделю

Неожиданным побочным эффектом стала стоимость. После отказа от хостинга векторной базы данных расходы на инфраструктуру снизились примерно на 60%. Алгоритм BM25 работает на одном процессоре, а для переранжирования требуется лишь небольшая видеокарта или процессор с допустимой задержкой.

Почему рекомендации склоняются в пользу векторных баз данных

Компании, создающие базы данных векторов, привлекли огромные суммы капитала, и их маркетинг присутствует во всех учебниках, курсах и видео, которые начинаются со слов «Шаг 1: настройка вашей базы данных векторов». Никто из продавцов таких продуктов не заинтересован признавать, что алгоритм, существующий уже десятилетия, в сочетании с простым инструментом переориентации результатов, в большинстве случаев превосходит их продукт.

Однако базы данных векторов не бесполезны. Они полезны для:

  • Эксплоративного поиска, при котором пользователи просматривают информацию, а не ищут конкретные факты.
  • Мультимодального поиска среди изображений, аудиофайлов или кода.
  • Обработки огромных коллекций — миллиардов документов, — когда индексы BM25 становятся слишком громоздкими.

Для большинства систем RAG, таких как внутренние базы знаний, поиск документации, боты поддержки и инструменты соблюдения нормативов, гибридный подход к поиску без использования специализированного хранилища векторов дает лучшие результаты при меньших затратах.

Практический план миграции

Не требуется полное разборка системы. Можно использовать поэтапный подход:

  1. Добавьте BM25 рядом с существующим механизмом векторного поиска. Библиотека на Python, такая как rank-bm25, может индексировать те же данные; это занимает примерно час.
  2. Слинкуйте результаты с помощью метода Reciprocal Rank Fusion. Формула оценки проста и хорошо задокументирована.
  3. Добавьте open-source ранжер cross-encoder, запустите его локально или через API. Пропустите через него слинкованные кандидаты и оставьте пять лучших.
  4. Оцените эффективность. Составьте небольшой набор для оценки, например, 50 вопросов с известными ответами, и сравните точность поиска до и после применения изменений. Улучшения становятся заметными быстро.
  5. Затем определите, действительно ли нужна векторная база данных. Для многих систем она не требуется.

Более общая картина

Ажиотаж редко указывает на лучший вариант. Лучший выбор обычно бывает простым, незамысловатым и понятным. BM25 — простой алгоритм, гибридный поиск — прост в использовании, а исследователи в области поиска информации изучают методы переранжирования уже десятилетиями. История о повторном использовании 30-летнего алгоритма не привлечёт инвестиций или внимания социальных сетей. Надёжный ИИ всё равно создаётся путём выбора подходящего инструмента, даже если он устарел.

Когда система RAG работает не так хорошо, возникает соблазн винить большие языковые модели, переписывать запросы или настраивать модели эмбеддингов. Однако следует сосредоточиться на процессе поиска, ведь именно там обычно кроется проблема. Решением может стать использование более старого, простого метода поиска в сочетании с современным инструментом переранжирования для устранения недостатков. Иногда прогресс означает сначала оглянуться назад.

Связанные материалы

  • Gemini's 1M Window Replaced My Vector Store; Latency and Provenance Objected — Испытание метода заполнения полного контекста вместо RAG на 500 вопросов поддержки: результаты точности, задержки и затрат, почему важна происхожденность данных, а также гибридная конфигурация, позволяющая сохранить оба преимущества.