Vector RAG kontra Keyword RAG: Kiedy używać każdego z nich i dlaczego zwycięża hybryda
Vector RAG kontra RAG bez wektorów: embeddingi w porównaniu z BM25, SQL i wyszukiwaniem grafowym, jak działa każda z tych metod, gdzie każda z nich zawodzi oraz dlaczego rozwiązanie hybrydowe z ponownym sortowaniem jest lepsze.
Źródła: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?
RAG dostarcza modelowi językowemu książkę referencyjną, do której może się odwołać przed udzieleniem odpowiedzi. To lepsze niż próba umieszczenia wszystkiego w wagach modelu – co jest kosztowne, prowadzi do przestarzałych wyników i sprzyja halucynacjom. Interesujące pytanie brzmi, jak dokładnie odbywa się to wyszukiwanie. Dominują tu dwie metody: pozyskiwanie wektorów, które sortuje wyniki według podobieństwa semantycznego, oraz to, co nazywa się pozyskiwaniem bez wektorów, oparte na klasycznych metodach wyszukiwania takich jak BM25, dopasowywaniu słów kluczowych, grafach i SQL. Każda z tych metod może okazać się skuteczna, w zależności od danych.
Pozyskiwanie wektorów
To właśnie wyobrażają sobie większość ludzi, słysząc „nowoczesne RAG”. Każdy fragment tekstu staje się wektorem wysokowymiarowym (embeddedem) i trafia do bazy danych wektorowej. Podczas wyszukiwania pytanie również jest przekształcane w wektor, a powracają te fragmenty, których wektory są najbliżej niego. Bliskość we przestrzeni wektorowej odpowiada bliskości znaczeniowej.
Proces ten składa się z pięciu etapów:
- Przetwarzanie i dzielenie na fragmenty. Dziel dokumenty na nakładające się fragmenty, na przykład po 512 tokenach z około 10% nakładaniem się. Oznaczanie fragmentów metadanymi jest opcjonalne, ale zalecane.
- Wbudowywanie. Przesuwaj każdy fragment przez model do wbudowywania, takie jak
text-embedding-3-largeod OpenAI, Cohere Embed lub BGE, aby uzyskać gęsty wektor liczbowy. - Indeksowanie. Przechowuj wektory w Pinecone, Weaviate, Qdrant, pgvector lub Chroma, z indeksem typu HNSW lub IVF, aby szybka była wyszukiwarka najbliższych sąsiadów.
- Wyszukiwanie. Wbuduj zapytanie, przeprowadź wyszukiwanie typu k-NN lub ANN i wybierz najlepsze k fragmentów według podobieństwa kosinowego.
- Generowanie. Włącz uzyskane fragmenty do promptu i pozwól modelowi językowemu wygenerować uzasadnioną odpowiedź.
Minimalna wersja LangChain zaczyna się od następujących importów:
# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
a następnie przechodzi do embeddingów, sklepu oraz łańcucha QA:
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")
Siłą tego podejścia jest semantyczne rozumienie. Strona z zasadami może obiecywać „gwarancję zwrotu pieniędzy”, podczas gdy użytkownik wpisuje „czy mogę otrzymać zwrot?”. Nic nie pokrywa się dosłownie, a mimo to otrzymujemy właściwą odpowiedź. Klasyczny silnik wyszukiwania by tego nie dostrzegł.
Słabością jest to, że bliskość nie równa się dokładności. Wyobraźmy sobie fragment tekstu, który uzyskuje wynik 0,94 pod względem podobieństwa do zapytania, a mimo to nie znajduje dokładnej odpowiedzi, ponieważ dokładny termin poszukiwany przez użytkownika w ogóle nie pojawił się w tekście. Wydaje się to błędnym trafieniem przy każdym zapytaniu.
Wyszukiwanie bez wektorów
„Wyszukiwanie bez wektorów” to termin ogólny obejmujący BM25 (prawdopodobnicze rankowanie słów kluczowych, silnik stojący za Elasticsearch i OpenSearch), zapytania SQL do danych strukturalnych, przeszukiwanie grafów wiedzy oraz hybrydowe metody symboliczne. Od dziesięcioleci służą one do wyszukiwania w przedsiębiorstwach. Nie są efektowne, ale działają.
Przepływ działań wygląda następująco:
- Indeks. Tokenizuj dokumenty i utwórz odwrotny indeks, który łączy każdy termin z dokumentami go zawierającymi, przy użyciu oceny w stylu TF-IDF.
- Analiza zapytania. Tokenizuj je, a opcjonalnie rozszerz je za pomocą synonimów, procesowania rdzeni słów lub przepisywania opartego na LLM, aby poprawić dokładność wyników.
- Ranking. BM25 ocenia dokumenty pod kątem terminów zapytania i zwraca dokładne lub silnie pokrywające się wyniki w określonej kolejności.
- Opcjonalnie przeszukaj graf. Połącz entity, a następnie przemieszczaj się po strukturalnym grafie, aby zebrać powiązane fakty, co jest przydatne przy zapytaniach wieloetapowych.
- Generowanie. Tak samo jak wcześniej: przekaż pozyskane fragmenty do LLM.
Przykład użycia BM25 z funkcją rank_bm25 zaczyna się od importów:
# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk
Następnie tokenizuje korpus, tworzy indeks i go wyszukuje:
tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)
Gdzie wektory oddają znaczenie, ten podejście oddaje specyfikę. Spróbuj wyszukać ID produktu, np. SKU-4892-XL – model embeddingów będzie miał z tym trudności, podczas gdy BM25 znajdzie je w ułamku sekundy. Dokumentacja techniczna, klauzule prawne, kody błędów oraz identyfikatory finansowe to jego domena. Wyobraź sobie detektywa proszącego o dokładną frazę „crimson ledger”: system wektorowy zwróci 47 dokumentów o czerwonych notatnikach, szkarłatnych dziennikach oraz przepisie na dżem truskawkowy, natomiast indeks BM25 zwróci jeden wynik – stronę 14, akapit 3. Przy dokładnych wyszukiwaniach ID, nazw własnych i kodów technicznych BM25 za każdym razem przewyższa podobieństwo kosinowe.
Obok siebie
Pod względem techniki podstawowej wyszukiwanie wektorowe wykorzystuje gęste embeddingi w połączeniu z algorytmami typu ANN, natomiast inne metody stosują BM25, słowa kluczowe, SQL lub grafy. Wyszukiwanie wektorowe dobrze radzi sobie z parafrazami i synonimami, ale słabo funkcjonuje przy identyfikatorach, kodach i rzadkich terminach. Wyszukiwanie oparte na słowach kluczowych dopasowuje jedynie dokładne lub niemal dokładne terminy, przy czym jego ocena jest deterministyczna i bardzo dokładna w przypadku dokładnych dopasowań.
Z operacyjnego punktu widzenia konfiguracja oparta na wektorach jest bardziej złożona: potrzebne są modele embeddingów oraz infrastruktura bazy danych wektorowej, a cały korpus musi zostać przekształcony w formę embeddingów przed rozpoczęciem pracy. Klasyczna konfiguracja jest lżejsza (Elasticsearch lub SQLite) i może natychmiast indeksować istniejące dokumenty. Typowa latencja wynosi około 50 do 200 ms dla wyszukiwania wektorowego oraz 5 do 50 ms dla klasycznego wyszukiwania. Koszty również różnią się – z jednej strony są to opłaty za przetwarzanie na GPU i korzystanie z bazy danych wektorowej, z drugiej zaś za wyszukiwanie przyjazne procesorom.
W przypadku zastosowań wektory nadają się do systemów Q&A w otwartym domenie, wyszukiwania semantycznego i czatów. Klasyczne metody wyszukiwania są odpowiednie do dokumentacji prawniczej, medycznej, finansowej oraz kodu. Ryzyko halucynacji jest umiarkowane przy użyciu wektorów, ponieważ podobieństwo nie równa się poprawności, natomiast jest niższe przy dokładnym dopasowaniu. Wsparcie wielojęzyczne jest silne dzięki embeddingom wielojęzycznym, ale po stronie klasycznej wymaga dostosowań specyficznych dla danego języka.
Używanie obu metod
Większość tutoriali pomija ten aspekt: systemy produkcyjne zazwyczaj łączą obie metody. Standardowym rozwiązaniem jest hybrydowe wyszukiwanie z ponownym sortowaniem wyników. Uruchom BM25 równolegle z wyszukiwaniem wektorowym, połącz obie listy wyników za pomocą Reciprocal Rank Fusion (RRF), przekaż N najlepszych wyników do narzędzia do ponownego sortowania typu cross-encoder i włącz ostatecznie uszeregowane fragmenty do kontekstu LLM.
To daje szerokość wyszukiwania semantycznego w połączeniu z precyzją słów kluczowych. LlamaIndex, LangChain i Haystack bezpośrednio obsługują hybrydowe metody odzyskiwania danych, natomiast API Rerank od Cohere oraz kodery cross-encoders od Sentence-Transformers są często wybierane na etapie ponownego sortowania wyników. Podobnie jak zespołem złodziei, każda z tych metod ma swoją specjalizację: embeddingi analizują ogólny kształt informacji, BM25 precyzyjnie identyfikuje konkretne kody, a narzędzia do ponownego sortowania zapewniają, że model zobaczy tylko pięć najlepszych fragmentów.
Decyzja
W większości przypadków wystarczy odpowiedzieć na trzy pytania.
- Czy użytkownicy formułują zapytania w różnorodnym języku naturalnym? Jeśli tak, warto skorzystać z wektorów. Jeśli zapytania są ustrukturyzowane, zawierają dokładne ID i kody, lepszym wyborem będą metody klasyczne.
- Czy korpus jest nieustrukturyzowany (pliki PDF, artykuły) czy ustrukturyzowany (tabele, rekordy)? Tekst prozatorski lepiej radzi sobie z wektorami, natomiast tabele i rekordy wymagają użycia SQL i BM25.
Wybierz wektory do pytań otwartych w przypadku nieustrukturyzowanego tekstu, gdzie istotna jest semantyka, np. w botach obsługi klienta, asystentach badawczych oraz systemach Q&A do dokumentów z dużymi korpusami danych. Wybierz klasyczne wyszukiwanie, gdy kluczowe są dokładne dopasowania (kody produktów, numery klauzul, identyfikatory finansowe, kody błędów, numery seryjne) lub gdy koszt i opóźnienie stanowią surowe ograniczenia. W produkcji używaj obu metod.
Ważniejsze niż wybór jednej z metod jest zrozumienie, dlaczego każda z nich działa, aby proces odpowiadał twoim danym i użytkownikom, a nie temu, co zostało użyte w ostatnim przewodniku.
Literatura pokrewna
- Czy nadal potrzebne są embeddingi? Porównanie Vector z PageIndex RAG — Benchmark FinanceBench porównuje wyszukiwanie wektorowe z bezwektorowym PageIndex w scenariuszach jednodokumentowych, wielodokumentowych oraz z zakłóceniami, wraz z testami istotności.
- Wybór bazy danych wektorowych w skali: Weaviate vs Pinecone dla RAG — Praktyczne porównanie Weaviate i Pinecone dla rozwijających się systemów RAG: wyszukiwanie hybrydowe, izolacja użytkowników, kompromisy pomiędzy pamięcią a wydajnością, opcje wdrażania oraz sposoby przeprowadzania benchmarków.