Vector RAG против Keyword RAG: когда использовать каждый из них и почему побеждает гибридный вариант
Vector RAG против vectorless RAG: эмбеддинги против BM25, SQL и поиска по графам, как работает каждый из подходов, где они терпят неудачу, и почему гибридный вариант с повторной классификацией оказывается лучшим.
Источники: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?
RAG предоставляет языковой модели справочник, к которому она может обратиться перед ответом. Это лучше, чем запихивать всю информацию в веса модели, что требует больших ресурсов, приводит к устареванию данных и способствует галлюцинациям. Интересный вопрос заключается в том, как происходит поиск. Существуют два основных подхода: векторный поиск, основанный на оценке семантической схожести, и так называемый безвекторный поиск, использующий традиционные методы поиска, такие как BM25, поиск по ключевым словам, графы и SQL. Каждый из этих подходов может оказаться эффективным в зависимости от характера данных.
Векторный поиск
Именно это представляют собой большинство людей, когда слышат термин «современный RAG». Каждый фрагмент текста преобразуется в высокомерное измеренный вектор (эмбеддинг) и сохраняется в векторной базе данных. При поступлении запроса его также преобразуют в эмбеддинг, и возвращаются те фрагменты, чьи векторы находятся ближе всего. Близость в векторном пространстве соответствует близости по смыслу.
Процесс включает пять этапов:
- Прием и разбиение на части. Разделите документы на перекрывающиеся фрагменты, например, по 512 токенов с примерно 10% перекрытием. Маркировка фрагментов метаданными необязательна, но рекомендуется.
- Встраивание. Пропустите каждый фрагмент через модель встраивания, такую как
text-embedding-3-largeот OpenAI, Cohere Embed или BGE, чтобы получить плотный вектор с числами с плавающей точкой. - Индексация. Храните векторы в Pinecone, Weaviate, Qdrant, pgvector или Chroma, индексируя их с использованием алгоритмов HNSW или IVF, чтобы поиск ближайших соседей оставался быстрым.
- Поиск. Встраивайте запрос, выполните поиск k-NN или ANN и выберите к фрагменты с наибольшей косинусовой схожестью.
- Генерация. Включите полученные фрагменты в промпт и пусть большая языковая модель сгенерирует основанный на них ответ.
Минимальная версия LangChain начинается с следующих импортов:
# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
и далее идут эмбеддинги, хранилище и цепочка QA:
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")
Сильная сторона здесь — семантическое понимание. На странице с правилами может быть обещание «гарантии возврата денег», в то время как пользователь вводит вопрос «Могу ли я получить возврат средств?». Нет точного слово в слово совпадения, но всё равно возвращается правильный результат. Классический поисковик это упустит.
Слабая сторона заключается в том, что близость не всегда означает точность. Представьте блок, схожий с запросом на 0,94, который всё равно не находит точного ответа, потому что точный термин, который хотел найти пользователь, никогда не появлялся в тексте. Кажется, что при каждом запросе происходит лишь частичное совпадение.
Поиск без векторов
Под термином «поиск без векторов» подразумеваются BM25 (вероятностная ранжировка ключевых слов, используемая в Elasticsearch и OpenSearch), поиск в SQL в структурированных данных, просмотр знаний в виде графа и гибридные символические методы. Эти технологии используются для корпоративного поиска уже десятилетиями. Они не выглядят особенно привлекательно, но эффективны.
Процесс выглядит следующим образом:
- Индексация. Токенизируются документы, после чего создается обратный индекс, который соотносит каждый термин с документами, содержащими его, с использованием оценки в стиле TF-IDF.
- Анализ запроса. Он также токенизируется, при необходимости расширяется с помощью синонимов, стемминга или переписывания с использованием ЯИ, чтобы повысить точность нахождения информации.
- Ранжирование. Алгоритм BM25 оценивает документы по терминам запроса и в порядке убывания возвращает точные или имеющие высокую степень совпадения результаты.
- Опционально просмотр графа. Связываются сущности, затем через структурированный граф собираются связанные факты, что подходит для вопросов с несколькими этапами обработки.
- Генерация ответа. Как и раньше: полученные фрагменты текста передаются в ЯИ.
Пример использования BM25 с функцией rank_bm25 начинается с импорта необходимых библиотек:
# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk
затем токенизирует корпус, создаёт индекс и выполняет поиск в нём:
tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)
В то время как векторы отражают смысл, этот подход позволяет выявлять конкретику. Попробуйте найти идентификатор продукта вроде SKU-4892-XL — модель эмбеддингов будет с трудом с этим справляться, тогда как BM25 найдет его за считанные миллисекунды. Техническая документация, юридические положения, коды ошибок и финансовые идентификаторы — вот сфера его применения. Представьте детектива, запрашивающего точную фразу «красный учетник»: система на основе векторов вернет 47 документов о красных тетрадях, алых дневниках и рецепте клубничного джема, тогда как индекс BM25 выдаст всего один результат — страница 14, параграф 3. Для точного поиска идентификаторов, собственных имён и технических кодов BM25 всегда превосходит метод косинусного сходства.
Порядок рядом
Что касается основной технологии, то векторный поиск использует плотные эмбеддинги с методом ANN, тогда как другие подходы применяют алгоритм BM25, ключевые слова, SQL или графы. Векторный поиск хорошо справляется с парафразами и синонимами, но слабо работает с идентификаторами, кодами и редкими терминами. Поиск по ключевым словам находит только точные или почти точные термины, причем его оценка точности является детерминированной и очень точной для точных совпадений.
С точки зрения эксплуатации, векторная система требует больших ресурсов: необходимы модели эмбеддингов и инфраструктура векторной базы данных, к тому же весь корпус данных должен быть преобразован в эмбеддинги перед началом работы. Классическая система имеет меньшие требования (Elasticsearch или SQLite) и может сразу индексировать существующие документы. Типичная задержка при векторном поиске составляет от 50 до 200 мс, а при классическом поиске — от 5 до 50 мс. Расходы также схожи: с одной стороны — затраты на обработку с использованием GPU и векторной базы данных, с другой — поиск, оптимизированный для CPU.
Для конкретных сценариев векторы подходят для систем вопросов и ответов в открытых доменах, семантического поиска и чатов. Классические методы поиска подходят для юридической, медицинской, финансовой документации и документации кода. Риск галлюцинаций при использовании векторов средний, поскольку сходство не гарантирует точности, а при точном совпадении он ниже. Поддержка нескольких языков у мультиязычных эмбеддингов хорошая, однако для классических методов требуется настройка с учетом особенностей конкретного языка.
Использование обоих подходов
Большинство учебников пропускают этот аспект: в производственных системах их обычно сочетают. Стандартный подход — гибридный поиск с повторной классификацией результатов. Запускают BM25 параллельно с векторным поиском, объединяют два списка результатов с помощью метода Reciprocal Rank Fusion (RRF), передают топ-N результатов в кросс-кодер для повторной классификации и вставляют окончательные отсортированные результаты в контекст LLM.
Это позволяет использовать широту возможностей семантического поиска вместе с точностью ключевых слов. LlamaIndex, LangChain и Haystack напрямую поддерживают гибридный способ поиска, а API Rerank от Cohere и кросс-кодеры Sentence-Transformers часто используются на этапе переупорядочивания результатов. Как в команде грабителей, у каждого метода есть своя специализация: эмбеддинги анализируют общую структуру, BM25 находит точные коды, а инструменты переупорядочивания обеспечивают, чтобы модель рассматривала только пять лучших результатов.
Принятие решения
В большинстве случаев достаточно ответов на три вопроса.
- Формулируют ли пользователи запросы на разном уровне естественного языка? Если да, стоит использовать векторы. Если запросы структурированы, содержат точные ID и коды, лучше обратиться к классическим методам.
- Является ли корпус неструктурированным (PDF-файлы, статьи) или структурированным (таблицы, записи)? Для прозы подходят векторы; для таблиц и записей — SQL и BM25.
Для открытых вопросов в неструктурированном тексте, где важна семантика, таких как боты поддержки, исследовательские ассистенты и системы вопросов и ответов к документам из больших корпусов данных, лучше использовать векторы. Обратитесь к классическому способу поиска, когда важны точные совпадения (коды продуктов, номера пунктов, финансовые идентификаторы, коды ошибок, серийные номера) или когда стоимость и задержка являются строгими ограничениями. В производственных условиях используйте оба подхода.
Более важно, чем просто выбор одного из вариантов, понимание причин эффективности каждого из них, чтобы процесс обработки данных соответствовал вашим данным и пользователям, а не тому, что использовалось в последнем учебном пособии.
Связанные материалы
- Действительно ли вам ещё нужны эмбеддинги? Сравнение методов Vector и PageIndex в тестах RAG — В тестах FinanceBench сравниваются методы поиска на основе векторов и метод PageIndex без использования векторов в сценариях с одним документом, несколькими документами и с искажёнными данными, при этом проводятся статистические тесты.
- Выбор векторной базы данных в крупном масштабе: Weaviate против Pinecone для реализации систем RAG — Практическое сравнение Weaviate и Pinecone для развития систем RAG: гибридный поиск, изоляция тенантов, компромиссы в использовании памяти, варианты развертывания и способы проведения тестов.