Vector RAG проти Keyword RAG: коли використовувати кожен з них та чому перемагає гібридний підхід
Vector RAG проти безвекторного RAG: ембеддинги проти BM25, SQL та пошуку в графах, як працює кожен підхід, де кожен з них зазнає невдачі, та чому гібридний підхід із переранжуванням є кращим.
Джерела: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?
RAG надає мовній моделі довідкову книгу, до якої вона може звертатися перед тим, як дати відповідь. Це краще, ніж запам’ятовувати все у вагах моделі, що є дорогим, призводить до застаріння даних та сприяє галюцинаціям. Цікавим є питання про те, як відбувається пошук. Існують два основні підходи: отримання векторів, яке оцінює схожість за семантикою, та так зване отримання векторів без використання векторів, яке ґрунтується на класичних методах пошуку, таких як BM25, зіставлення ключових слів, графи та SQL. Кожен з цих підходів може бути кращим залежно від даних.
Отримання векторів
Саме це уявляють більшість людей, коли чують термін „сучасний RAG“. Кожен фрагмент тексту перетворюється на високорозмірний вектор (ембеддинг) та зберігається у векторній базі даних. Під час запиту запит також перетворюється на ембеддинг, і повертаються ті фрагменти, чиї вектори знаходяться найближче. Близькість у векторному просторі відповідає близькості у значенні.
Процес складається з п’яти етапів:
- Прийом та розділення на частини. Розділіть документи на перекриваючіся частини, наприклад, по 512 токенів із приблизно 10% перекриттям. Позначення частин метаданими є необов’язковим, але корисним.
- Вбудовування. Пропустіть кожну частину через модель вбудовування, таку як
text-embedding-3-largeвід OpenAI, Cohere Embed або BGE, щоб отримати щільний вектор з числами з плаваючою комою. - Індексування. Зберігайте вектори у Pinecone, Weaviate, Qdrant, pgvector або Chroma, індексуючи їх за допомогою HNSW або IVF, щоб пошук найближчих сусідів залишався швидким.
- Пошук. Вбудуйте запит, виконайте пошук за алгоритмом k-NN або ANN та візьміть кілька найкращих частин за косинусовою схожістю.
- Генерація. Включіть отримані частини до запиту та дозвольте LLM створити обґрунтовану відповідь.
Мінімальна версія LangChain починається з цих імпортів:
# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
і продовжується з ембеддингами, сховищем та ланцюгом QA:
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")
Сильною стороною тут є семантичне розуміння. Сторінка з правилами може обіцяти „гарантію повернення грошей“, поки користувач пише „чи можу я отримати повернення коштів?“. Нічого не збігається слово в слово, проте все одно повертається правильний результат. Класичний пошуковий двигун цього не помітить.
Слабкою стороною є те, що близькість не є точністю. Уявіть собі фрагмент тексту, який має рівень схожості 0,94 із запитом, але все одно не дає точної відповіді, оскільки точний термін, який хотів знайти користувач, ніколи не з’являвся в тексті. Це схоже на майже правильну відповідь на кожен запит.
Безвекторний пошук
„Безвекторний“ — це узагальнюючий термін для BM25 (імовірнісне ранжування ключових слів, технологія, яка лежить в основі Elasticsearch та OpenSearch), пошуку в SQL у структурованих даних, перебірку знаннєвих графів та гібридних символічних методів. Ці методи використовуються для корпоративного пошуку вже десятиліттями. Вони не є привабливими з точки зору технологій, але ефективні.
Процес виглядає так:
- Індексування. Токенізуйте документи та створіть зворотний індекс, який відображає кожен термін документам, що його містять, із оцінкою у стилі TF-IDF.
- Аналіз запиту. Токенізуйте його та за бажанням розширіть за допомогою синонімів, стемінгу чи переписування на основі LLM для підвищення точності відтворення інформації.
- Ранжування. Алгоритм BM25 оцінює документи за термінами запиту та повертає точні або сильно перекриваючіся результати у відповідному порядку.
- За потреби — пересування по графіку. Пов’яжіть ентитети, а потім переходьте по структурованому графіку, щоб зібрати пов’язані факти, що підходить для багатоетапних запитів.
- Генерація. Як і раніше: передайте отримані уривки до LLM.
Приклад використання BM25 з функцією rank_bm25 починається з імпорту бібліотек:
# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk
потім токенізує корпус, створює індекс та здійснює пошук у ньому:
tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)
Де вектори фіксують сенс, цей підхід фіксує конкретику. Якщо шукати ідентифікатор продукту на кшталт SKU-4892-XL, модель ембеддингів буде мати з тим проблеми, тоді як BM25 знаходить його за кілька мілісекунд. Технічна документація, юридичні положення, коди помилок та фінансові ідентифікатори — це сфера його діяльності. Уявіть детектива, який шукає точний вираз „crimson ledger“: система векторів повертає 47 документів про червоні зошити, червоні щоденники та рецепт полуничного джему, тоді як індекс BM25 повертає один результат — сторінка 14, абзац 3. Для точних пошуків ідентифікаторів, власних імен та технічних кодів BM25 щоразу перевершує косинусну схожість.
Порівняння
Щодо основної техніки, векторний пошук використовує щільні ембеддинги з алгоритмом ANN, тоді як інші підходи застосовують BM25, ключові слова, SQL чи графи. Векторний пошук добре справляється з парафразами та синонімами, але слабко працює з ідентифікаторами, кодами та рідкісними термінами. Пошук за ключовими словами знаходить лише точні або майже точні терміни, проте його оцінка є детермінованою та дуже точною для точних збігів.
З точки зору експлуатації, векторна система є більш вимогливою: потрібні моделі ембеддингів та інфраструктура векторної бази даних, крім того, весь корпус даних має бути ембеддований перед початком роботи. Класична система є простішою (Elasticsearch чи SQLite) та може одразу індексувати існуючі документи. Типова затримка становить близько 50–200 мс для векторного пошуку та 5–50 мс для класичного. Витрати також відрізняються: з одного боку — витрати на обробку за допомогою GPU та векторної бази даних, з іншого — пошук, оптимізований для CPU.
Для конкретних сценаріїв вектори підходять для систем типу Q&A у відкритих доменах, семантичного пошуку та чатів. Класичні методи пошуку підходять для юридичної, медичної, фінансової документації та коду. Ризик галюцинацій із векторами є помірним, оскільки схожість не гарантує правильності, а з класичними методами він нижчий. Підтримка кількох мов є сильною за допомогою багатомовних ембеддингів, проте з класичними методами потрібна налаштування під конкретну мову.
Використання обох методів
Більшість навчальних матеріалів пропускають цей аспект: у продакшн-системах їх зазвичай поєднують. Стандартний підхід — це гібридний пошук із повторною класифікацією результатів. Запускайте BM25 паралельно з векторним пошуком, об’єднайте два списки результатів за допомогою методу Reciprocal Rank Fusion (RRF), передайте N найкращих результатів до крос-енкодера для повторної класифікації та вставте остаточні результати у контекст LLM.
Це забезпечує широту семантичного пошуку разом із точністю ключових слів. LlamaIndex, LangChain та Haystack безпосередньо підтримують гібридний метод пошуку, а API Rerank від Cohere та крос-кодери Sentence-Transformers є поширеними варіантами для етапу переранжування. Як у команді злодіїв, кожен метод має свою спеціалізацію: ембеддинги аналізують загальну структуру, BM25 визначає точні коди, а механізм переранжування гарантує, що модель бачитиме лише п’ять найкращих фрагментів.
Прийняття рішення
У більшості випадків достатньо трьох запитань.
- Чи формулюють користувачі запити різними способами у природній мові? Якщо так, краще використовувати вектори. Якщо запити структуровані, з точними ID та кодами, краще обирати класичні методи.
- Чи є корпус неструктурованим (PDF-файли, статті) чи структурованим (таблиці, записи)? Прозовий текст краще обробляти за допомогою векторів. Таблиці та записи краще обробляти за допомогою SQL та BM25.
Для відкритих запитань у неструктурованому тексті, де важлива семантика, наприклад у ботах підтримки, дослідницьких асистентах та системах Q&A для документів із великими корпусами даних, краще використовувати вектори. Класичний метод пошуку підходить тоді, коли важливі точні збіги (коди продуктів, номери клозул, фінансові ідентифікатори, коди помилок, серійні номери) або коли витрати та затримка є суворими обмеженнями. У продакшені варто використовувати обидва підходи.
Важливіше, ніж обрати один із варіантів, — зрозуміти, чому кожен з них ефективний, щоб процес обробки даних відповідав вашим даним та користувачам, а не тому, що використовувалося у попередньому посібнику.
Пов’язана література
- Чи все ще потрібні ембеддинги? Бенчмарк Vector проти PageIndex RAG — Бенчмарк FinanceBench порівнює методи пошуку векторів із методом PageIndex без векторів у сценаріях одного документа, кількох документів та зі шумом даних, включаючи тести на значущість різниць.
- Вибір бази даних векторів у масштабі: Weaviate проти Pinecone для RAG — Практичне порівняння Weaviate та Pinecone для розширення систем RAG: гібридний пошук, ізоляція користувачів, компроміси щодо пам’яті, варіанти розгортання та способи проведення бенчмарків.