Dlaczego RAG nadal daje błędne odpowiedzi: hybrydowe wyszukiwanie, ponowne rankowanie i Recall@K
Czyste fragmenty tekstu nie gwarantują dobrych odpowiedzi. Zobacz, gdzie zawodzi wyszukiwanie wektorowe oraz w jaki sposób metody takie jak fuzja, ponowne rankowanie za pomocą cross-encodera, HyDE i miara Recall@K to naprawiają.
Źródła: The AI Series: The Hardest Part of RAG, Part 2 — Why Perfect Chunks Still Give You Bad Retrieval
Częsty wzorzec w projektach RAG: praca nad analizą tekstu została zakończona. Fragmenty są czyste, tabele są generowane w formacie Markdown, a każdy fragment zawiera numer strony oraz tytuł sekcji. Mimo to użytkownicy w środowisku produkcyjnym nadal otrzymują błędne odpowiedzi na pytania, które system powinien rozwiązywać bez trudu. Problem nie leży w fragmentach – narzędzie do wyszukiwania po prostu ciągle pobiera niewłaściwe z nich.
Dobra analiza tekstu zapewnia dobre dane, ale dobre dane nie gwarantują skutecznego wyszukiwania. Są to odrębne problemy, przy czym drugi z nich otrzymuje znacznie mniej uwagi, niż na to zasługuje.
Co tak naprawdę robi wyszukiwanie podobieństw
Wiele zespołów traktuje similarity_search() jak czarną skrzynkę, dlatego szybkie zajrzenie do jej wnętrza jest pomocne. Model embedding konwertuje tekst na listę liczb, wektor, który stanowi punkt w przestrzeni o od 384 do 3072 wymiarach w zależności od modelu. Teksty o podobnym znaczeniu powinny znajdować się blisko siebie, natomiast niespowiązane teksty – daleko od siebie.
Wersja uproszczona z zaledwie 4 wymiarami ułatwia odczytanie liczb:
"How do I reset my password?" → [0.81, 0.12, -0.44, 0.09]
"Steps to change your password" → [0.79, 0.15, -0.41, 0.11]
"How do I cancel my subscription?"→ [0.22, 0.68, 0.05, -0.39]
Dwa wektory są porównywane za pomocą podobieństwa kosinowego, które mierzy, jak blisko skierowane są w tym samym kierunku, ignorując jednocześnie ich długość. Wynik 1,0 oznacza ten sam kierunek, 0 oznacza brak związku, a wartości ujemne oznaczają przeciwne kierunki.
from numpy import dot
from numpy.linalg import norm
def cosine_similarity(a, b):
return dot(a, b) / (norm(a) * norm(b))
query = [0.80, 0.13, -0.42, 0.10] # "reset my password"
print(cosine_similarity(query, [0.81, 0.12, -0.44, 0.09])) # 0.998 - very close
print(cosine_similarity(query, [0.22, 0.68, 0.05, -0.39])) # 0.310 - far apart
Za frazą „Sztuczna inteligencja rozumie pytanie” kryje się coś więcej niż to. Chodzi tu o geometrię, a nie o zrozumienie, i to właśnie geometria wyjaśnia te błędy: system nie potrafi zrozumieć, że „zabronione” odwraca znaczenie „dozwolone”, ani że „Błąd 4092” to dosłowny ciąg znaków, który użytkownik musi dopasować.
Cztery sposoby, w jakie zawodzi wyszukiwanie
Przekształcanie akapitu w jeden punkt oznacza utratę informacji. Gdy system opuszcza obszar demonstracyjny, te same cztery błędy nadal się pojawiają.
- Niezgodność leksykalna. Ktoś wyszukuje dokładny kod błędu lub identyfikator produktu, a algorytm traktuje go jako zwykły token, w rezultacie cząstka zawierająca ten precyzyjny ciąg znaków nie trafia do pierwszej dziesiątki wyników.
- Ślepota na negację. Zasada mówiąca, że zwroty pieniędzy kończą się po miesiącu, oraz pytanie o możliwość zwrotu po tym czasie dzielą większość słownictwa, dzięki czemu mogą znajdować się niepokojąco blisko siebie, mimo że ich znaczenia są sprzeczne.
- Izolacja fragmentów. Odpowiedź obejmuje dwa fragmenty – na przykład liczbę w jednym, a etykietę wyjaśniającą ją w poprzednim – a system wyszukiwania zwraca tylko jeden z nich.
- Pomieszanie z powodu świeżości. Indeks wektorowy nie ma pojęcia o tym, że dokument jest przestarzały, więc stare i nowe wersje tej samej zasady często otrzymują równie wysokie oceny pod względem istotności.
Demo z 20 dokumentami nie ujawnia żadnego z tych problemów. Pojawiają się one dopiero wtedy, gdy korpus zawiera rzeczywiste duplikaty, nakładanie się treści i niejednoznaczności, co jest charakterystyczne dla każdego systemu produkcyjnego.
Proces kaskadowy zamiast pojedynczego wywołania
Jedno wezwanie do magazynu wektorowego nie stanowi systemu wyszukiwania. System odporny na awarie składa się z kilku etapów:
Każdy etap istnieje dlatego, że poprzedni sam w sobie nie wystarcza. To największa różnica w podejściu pomiędzy demonstracją RAG a jego użyciem w produkcji: każdy etap naprawia określoną słabość na wcześniejszym etapie, a żaden z nich nie służy jedynie dekoracji.
Wyszukiwanie hybrydowe z fuzją rankingu
Wyszukiwanie wektorowe słabo radzi sobie z dokładnymi dopasowaniami, natomiast wyszukiwanie na podstawie słów kluczowych (BM25) słabo radzi sobie z dopasowaniami koncepcyjnymi. Zamiast wybierać jeden z nich, należy uruchomić oba i połączyć ich wyniki.
Fuzja rankingu wzajemnego to najprostszy sposób na połączenie dwóch list uszeregowanych, gdy ich oceny nie znajdują się na tej samej skali. Typowa implementacja wygląda w ten sposób:
from collections import defaultdict
def reciprocal_rank_fusion(result_lists, k=60):
scores = defaultdict(float)
for result_list in result_lists:
for rank, doc_id in enumerate(result_list):
scores[doc_id] += 1 / (k + rank + 1)
return sorted(scores, key=scores.get, reverse=True)
vector_ids = [d.metadata["chunk_id"] for d in vector_store.similarity_search(query, k=20)]
bm25_ids = [d.metadata["chunk_id"] for d in bm25_index.search(query, k=20)]
final_ranking = reciprocal_rank_fusion([vector_ids, bm25_ids])
Częstym błędem na wczesnym etapie jest łączenie dwóch list wyników bez ich połączenia. Lista, która pojawia się pierwsza, w tajemnicy dominuje w końcowym kontekście, co unieważnia cel stosowania dwóch strategii.
Ponowna klasyfikacja
Najtrudniejszym etapem analizy tekstu jest wyodrębnianie tabel, natomiast w przypadku wyszukiwania jest to ponowna klasyfikacja. Modele embeddingowe kodują zapytanie oraz każdy dokument osobno, a następnie porównują uzyskane wyniki. Narzędzie do ponownej klasyfikacji, zwykle będące cross-encoderem, odczytuje zapytanie oraz kandydatów łącznie i bezpośrednio wydaje ocenę istotności. Proces ten wymaga więcej czasu, dlatego odbywa się tylko na 20 do 50 najlepszych kandydatach po połączeniu, a nie na całym indeksie.
from sentence_transformers import CrossEncoder
reranker = CrossEncoder("BAAI/bge-reranker-base")
def rerank(query, candidates, top_n=5):
pairs = [(query, c["text"]) for c in candidates]
scores = reranker.predict(pairs)
for c, s in zip(candidates, scores):
c["rerank_score"] = float(s)
return sorted(candidates, key=lambda c: c["rerank_score"], reverse=True)[:top_n]
W jednym z wewnętrznych systemów wyszukiwania wsparcia, po zastosowaniu ponownego rankingu po fuzji, wskaźnik Recall@5 wzrósł z około 61% do 84%, przy tym model embeddingowy i rozmiar fragmentów pozostały bez zmian. Ta jedna modyfikacja przeważyła nad całym pozostałym procesem, co sprawia, że jest to zwykle pierwsza sugestia, gdy odpowiedzi RAG wydają się bliskie, ale nie do końca poprawne.
Zamykanie luki w słownictwie
Czasami indeks jest w dobrym stanie, a prawdziwym problemem jest sformułowanie tekstu. Użytkownicy piszą swobodnie („Dlaczego nie pozwala mi się zalogować?”), podczas gdy dokumentacja jest formalna („Błędy autoryzacji mogą wystąpić, gdy tokeny sesji wygasną”).
Dwie techniki rozwiązują ten problem. Przepisywanie zapytań polega na tym, że model językowy reformuluje niejasne pytanie w sposób bliższy sformułowaniu z materiału źródłowego. HyDE (Hypothetical Document Embeddings) idzie o krok dalej: model językowy tworzy krótką, wyimaginowaną odpowiedź, a to właśnie ten tekst, a nie surowe pytanie, jest embedowany i wyszukiwany, ponieważ prawdopodobna odpowiedź znajduje się w przestrzeni wektorowej znacznie bliżej rzeczywistych odpowiedzi niż samo pytanie.
def hyde_retrieve(query, llm, vector_store, k=5):
hypothetical = llm.invoke(f"Write a short passage answering: {query}")
return vector_store.similarity_search(hypothetical, k=k)
System zgłoszeń technicznych, który to przyjął, odzyskał znaczną część zapytań, które nie przyniosły żadnych użytecznych wyników, wyłącznie dlatego, że użytkownicy i dokumentacja używają różnych wariantów języka.
Mierzenie efektywności wyszukiwania bezpośrednio
Kuszącym skrótem jest ocenianie skuteczności wyszukiwania na podstawie tego, czy ostateczna odpowiedź modelu brzmi prawidłowo. To prawie nic nie mówi o tym, na którym etapie doszło do błędu.
Potrzebny jest mały zbiór z etykietami, nawet 50 do 100 par zapytań i poprawnych fragmentów, aby można było zmierzyć Recall@K przed włączeniem modelu. Recall@K pyta: spośród fragmentów, które rzeczywiście zawierają odpowiedź, ile z nich znalazło się w pierwszych K wynikach?
def recall_at_k(retrieved_ids, relevant_ids, k):
top_k = set(retrieved_ids[:k])
return len(top_k & relevant_ids) / len(relevant_ids) if relevant_ids else 0.0
Bez niego każda zmiana rozmiaru kawałków danych, modelu embeddingowego lub narzędzia rerankingu jest jedynie domysłem udawanym jako ulepszenie.
Potknięcia i rozsądna kombinacja narzędzi
Zwiększanie wartości k rzadko naprawia słabe wyniki wyszukiwania, ponieważ przede wszystkim dostarcza modelowi LLM więcej rozpraszaczy uwagi. Spędzanie pierwszego tygodnia na dostosowywaniu rozmiaru kawałków danych również nie przynosi dużych korzyści w porównaniu z efektami, jakie daje narzędzie rerankingu. Na koniec należy przygotować zestaw do oceny jeszcze przed pojawieniem się skarg, ponieważ diagnozowanie problemów później marnuje cały czas pracy.
Rozsądna kombinacja narzędzi do budowy tej warstwy: Qdrant do wyszukiwania wektorowego, BM25 w OpenSearch połączony z RRF, samodzielnie zarządzane narzędzie BGE do rerankingu z Cohere Rerank jako alternatywą w wersji hostowanej, oraz HyDE przeznaczone do obsługi zapytań konwersacyjnych.
Skąd naprawdę pochodzi jakość odpowiedzi
Debaty zwykle koncentrują się na tym, który model LLM tworzy najspójniejszą ostateczną odpowiedź, ale prawdziwy czynnik decydujący leży przed modelem: czy w ogóle udało się pobrać odpowiednie fragmenty danych? Doskonały model, dostarczony z niewłaściwym kontekstem, zawsze generuje błyskotliwą, pewną siebie, ale błędną odpowiedź.
Analiza składniowa wprowadza dane do systemu, natomiast proces pobierania decyduje o tym, czy właściwy fragment danych trafia do modelu. Gdy któryś z tych procesów jest błędny, nawet najskuteczniejsza obróbka zapytań nie może uratować odpowiedzi. Gdy pobieranie danych jest niezawodne, kolejnym pytaniem staje się to, jak automatycznie, od początku do końca, sprawdzić, czy system prawidłowo analizuje pobrałe dane, zamiast sprawdzać wyniki pojedynczo.
Literatura pokrewna
- RAG w czasie zapytania przy dziesięciu milionach dokumentów: lejki, routery, agenci i metryki oceny — Lejek wyszukiwania poniżej 200 ms z filtrami SQL, hybrydowym wyszukiwaniem i ponownym rankowaniem, a także routowaniem zapytań, orkiestracją agentów, metrykami oceny oraz skryptem pipeline Qdrant.
- Przepis Spring AI: filtrowanie wyników RAG z metadanymi według tytułu gry — Przewodnik po Spring AI, który taguje dokumenty według tytułu, wykorzystuje LLM do wybrania odpowiedniej wartości z pytania i filtrowa na jej podstawie wyniki wyszukiwania wektorowego.