Главная / Статьи

Vector RAG против Keyword RAG: когда использовать каждый из них и почему побеждает гибридный вариант

Vector RAG против vectorless RAG: эмбеддинги против BM25, SQL и поиска по графам, как работает каждый из подходов, где они терпят неудачу, и почему гибридный вариант с повторной классификацией оказывается лучшим.

Издатель: REACTAPP.TOP6 мин чтения1281 слов

Источники: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?

RAG предоставляет языковой модели справочник, к которому она может обратиться перед ответом. Это лучше, чем запихивать всю информацию в веса модели, что требует больших ресурсов, приводит к устареванию данных и способствует галлюцинациям. Интересный вопрос заключается в том, как происходит поиск. Существуют два основных подхода: векторный поиск, основанный на оценке семантической схожести, и так называемый безвекторный поиск, использующий традиционные методы поиска, такие как BM25, поиск по ключевым словам, графы и SQL. Каждый из этих подходов может оказаться эффективным в зависимости от характера данных.

Векторный поиск

Именно это представляют собой большинство людей, когда слышат термин «современный RAG». Каждый фрагмент текста преобразуется в высокомерное измеренный вектор (эмбеддинг) и сохраняется в векторной базе данных. При поступлении запроса его также преобразуют в эмбеддинг, и возвращаются те фрагменты, чьи векторы находятся ближе всего. Близость в векторном пространстве соответствует близости по смыслу.

Процесс включает пять этапов:

  1. Прием и разбиение на части. Разделите документы на перекрывающиеся фрагменты, например, по 512 токенов с примерно 10% перекрытием. Маркировка фрагментов метаданными необязательна, но рекомендуется.
  2. Встраивание. Пропустите каждый фрагмент через модель встраивания, такую как text-embedding-3-large от OpenAI, Cohere Embed или BGE, чтобы получить плотный вектор с числами с плавающей точкой.
  3. Индексация. Храните векторы в Pinecone, Weaviate, Qdrant, pgvector или Chroma, индексируя их с использованием алгоритмов HNSW или IVF, чтобы поиск ближайших соседей оставался быстрым.
  4. Поиск. Встраивайте запрос, выполните поиск k-NN или ANN и выберите к фрагменты с наибольшей косинусовой схожестью.
  5. Генерация. Включите полученные фрагменты в промпт и пусть большая языковая модель сгенерирует основанный на них ответ.

Минимальная версия LangChain начинается с следующих импортов:

# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA

и далее идут эмбеддинги, хранилище и цепочка QA:

embeddings  = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever   = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=retriever,
    return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")

Сильная сторона здесь — семантическое понимание. На странице с правилами может быть обещание «гарантии возврата денег», в то время как пользователь вводит вопрос «Могу ли я получить возврат средств?». Нет точного слово в слово совпадения, но всё равно возвращается правильный результат. Классический поисковик это упустит.

Слабая сторона заключается в том, что близость не всегда означает точность. Представьте блок, схожий с запросом на 0,94, который всё равно не находит точного ответа, потому что точный термин, который хотел найти пользователь, никогда не появлялся в тексте. Кажется, что при каждом запросе происходит лишь частичное совпадение.

Поиск без векторов

Под термином «поиск без векторов» подразумеваются BM25 (вероятностная ранжировка ключевых слов, используемая в Elasticsearch и OpenSearch), поиск в SQL в структурированных данных, просмотр знаний в виде графа и гибридные символические методы. Эти технологии используются для корпоративного поиска уже десятилетиями. Они не выглядят особенно привлекательно, но эффективны.

Процесс выглядит следующим образом:

  1. Индексация. Токенизируются документы, после чего создается обратный индекс, который соотносит каждый термин с документами, содержащими его, с использованием оценки в стиле TF-IDF.
  2. Анализ запроса. Он также токенизируется, при необходимости расширяется с помощью синонимов, стемминга или переписывания с использованием ЯИ, чтобы повысить точность нахождения информации.
  3. Ранжирование. Алгоритм BM25 оценивает документы по терминам запроса и в порядке убывания возвращает точные или имеющие высокую степень совпадения результаты.
  4. Опционально просмотр графа. Связываются сущности, затем через структурированный граф собираются связанные факты, что подходит для вопросов с несколькими этапами обработки.
  5. Генерация ответа. Как и раньше: полученные фрагменты текста передаются в ЯИ.

Пример использования BM25 с функцией rank_bm25 начинается с импорта необходимых библиотек:

# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk

затем токенизирует корпус, создаёт индекс и выполняет поиск в нём:

tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)

В то время как векторы отражают смысл, этот подход позволяет выявлять конкретику. Попробуйте найти идентификатор продукта вроде SKU-4892-XL — модель эмбеддингов будет с трудом с этим справляться, тогда как BM25 найдет его за считанные миллисекунды. Техническая документация, юридические положения, коды ошибок и финансовые идентификаторы — вот сфера его применения. Представьте детектива, запрашивающего точную фразу «красный учетник»: система на основе векторов вернет 47 документов о красных тетрадях, алых дневниках и рецепте клубничного джема, тогда как индекс BM25 выдаст всего один результат — страница 14, параграф 3. Для точного поиска идентификаторов, собственных имён и технических кодов BM25 всегда превосходит метод косинусного сходства.

Порядок рядом

Что касается основной технологии, то векторный поиск использует плотные эмбеддинги с методом ANN, тогда как другие подходы применяют алгоритм BM25, ключевые слова, SQL или графы. Векторный поиск хорошо справляется с парафразами и синонимами, но слабо работает с идентификаторами, кодами и редкими терминами. Поиск по ключевым словам находит только точные или почти точные термины, причем его оценка точности является детерминированной и очень точной для точных совпадений.

С точки зрения эксплуатации, векторная система требует больших ресурсов: необходимы модели эмбеддингов и инфраструктура векторной базы данных, к тому же весь корпус данных должен быть преобразован в эмбеддинги перед началом работы. Классическая система имеет меньшие требования (Elasticsearch или SQLite) и может сразу индексировать существующие документы. Типичная задержка при векторном поиске составляет от 50 до 200 мс, а при классическом поиске — от 5 до 50 мс. Расходы также схожи: с одной стороны — затраты на обработку с использованием GPU и векторной базы данных, с другой — поиск, оптимизированный для CPU.

Для конкретных сценариев векторы подходят для систем вопросов и ответов в открытых доменах, семантического поиска и чатов. Классические методы поиска подходят для юридической, медицинской, финансовой документации и документации кода. Риск галлюцинаций при использовании векторов средний, поскольку сходство не гарантирует точности, а при точном совпадении он ниже. Поддержка нескольких языков у мультиязычных эмбеддингов хорошая, однако для классических методов требуется настройка с учетом особенностей конкретного языка.

Использование обоих подходов

Большинство учебников пропускают этот аспект: в производственных системах их обычно сочетают. Стандартный подход — гибридный поиск с повторной классификацией результатов. Запускают BM25 параллельно с векторным поиском, объединяют два списка результатов с помощью метода Reciprocal Rank Fusion (RRF), передают топ-N результатов в кросс-кодер для повторной классификации и вставляют окончательные отсортированные результаты в контекст LLM.

Это позволяет использовать широту возможностей семантического поиска вместе с точностью ключевых слов. LlamaIndex, LangChain и Haystack напрямую поддерживают гибридный способ поиска, а API Rerank от Cohere и кросс-кодеры Sentence-Transformers часто используются на этапе переупорядочивания результатов. Как в команде грабителей, у каждого метода есть своя специализация: эмбеддинги анализируют общую структуру, BM25 находит точные коды, а инструменты переупорядочивания обеспечивают, чтобы модель рассматривала только пять лучших результатов.

Принятие решения

В большинстве случаев достаточно ответов на три вопроса.

  • Формулируют ли пользователи запросы на разном уровне естественного языка? Если да, стоит использовать векторы. Если запросы структурированы, содержат точные ID и коды, лучше обратиться к классическим методам.
  • Является ли корпус неструктурированным (PDF-файлы, статьи) или структурированным (таблицы, записи)? Для прозы подходят векторы; для таблиц и записей — SQL и BM25.
  • Каковы ваши лимиты по задержке и стоимости? Ограниченный бюджет или строгие требования к задержке указывают на использование классического способа поиска или легкой гибридной версии. Более широкий бюджет позволяет применять полностью гибридный подход с повторной классификацией результатов.
  • Для открытых вопросов в неструктурированном тексте, где важна семантика, таких как боты поддержки, исследовательские ассистенты и системы вопросов и ответов к документам из больших корпусов данных, лучше использовать векторы. Обратитесь к классическому способу поиска, когда важны точные совпадения (коды продуктов, номера пунктов, финансовые идентификаторы, коды ошибок, серийные номера) или когда стоимость и задержка являются строгими ограничениями. В производственных условиях используйте оба подхода.

    Более важно, чем просто выбор одного из вариантов, понимание причин эффективности каждого из них, чтобы процесс обработки данных соответствовал вашим данным и пользователям, а не тому, что использовалось в последнем учебном пособии.

    Связанные материалы

  • Гибридный поиск для RAG: сочетание поиска по ключевым словам, векторного поиска и графового поиска — Как объединить BM25, векторный поиск и графовый поиск в RAG: слияние рангов с использованием RRF, роль GraphRAG, а также архитектура поиска, слияния данных, расширения информации и повторного ранжирования.