Hybrydowe wyszukiwanie w RAG: BM25, Rank Fusion i Reranking przewyższają metody oparte na wektorach.
Czyste wyszukiwanie wektorowe pomija dokładne terminy. BM25 w połączeniu z embeddingami, Reciprocal Rank Fusion oraz cross-encoder reranker doprowadziły tę konfigurację RAG do dokładności wyszukiwania na poziomie 91%.
Źródła: `I Stopped Using Vector Databases. My RAG Got Better.`
Wczesne porady dotyczące RAG są niemal jednomyślne: wybierz Pinecone, Weaviate lub Chroma, wbuduj dokumenty, przechowaj wektory, uruchom wyszukiwanie semantyczne i uznaj to za zakończone. Wiele zespołów dokładnie tak postępuje. Dzielą one dokumenty na fragmenty, tworzą embeddingi za pomocą modelu hostowanego online, ładują bazę danych wektorową i piszą funkcję wyszukiwania, która wybiera pięć najbardziej podobnych fragmentów dla każdego zapytania. To działa, ale tylko do pewnego stopnia, a właśnie w tym momencie zaczyna mieć znaczenie precyzja.
Gdzie zawodzi czyste wyszukiwanie wektorowe
Proste, otwarte pytania dają przyzwoite wyniki wyszukiwania. Wszystko, co wymaga dokładności, kończy się kiepsko: konkretne daty, dokładne liczby, odniesienia do określonego rozdziału, złożone techniczne zapytania oparte na kluczowych słowach. Wtedy model językowy z confidencją buduje odpowiedź na podstawie niewłaściwych fragmentów. To nie wina modelu, ponieważ funkcja wyszukiwania dostarczyła mu błędny kontekst.
Zwykłą reakcją jest obwinianie procesu generowania. Ludzie modyfikują instrukcje, dodają zalecenia typu „odpowiedz tylko na podstawie dostarczonego kontekstu” oraz tworzą pętle samorefleksji. Nic z tego nie pomaga, gdy uzyskany materiał jest błędny. Słabym ogniwem jest wyszukiwanie, a nie generowanie.
Embeddingi dobrze radzą sobie z znaczeniem, ale mają trudności z szczegółami, a konkretny przypadek pokazuje to wyraźnie. Załóżmy, że w raporcie znajduje się zdanie mówiące, iż przychody w czwartym kwartale 2024 roku wyniosły 12,8 miliona dolarów, co oznacza wzrost o 23% w porównaniu z trzecim kwartałem. Użytkownik pyta, jakie były przychody w Q4 2024 roku. Wydaje się to prostym zadaniem dla embeddingów.
Oto, co tak naprawdę się dzieje. Model embeddingowy przekształca zapytanie oraz każdy fragment tekstu w wektory o wysokiej rozdzielczości, a następnie szuka koncepcyjnego pokrewieństwa z pojęciami „przychody”, „wyniki finansowe” oraz „wyniki kwartalne”. Może zwrócić fragmenty dotyczące przychodów w ogóle, prognozy na przyszłość lub dane za trzeci kwartał, ponieważ wszystkie one znajdują się w pobliżu koncepcji przychodów kwartalnych. Fragment zawierający „12,8 miliona dolarów” może znaleźć się na czwartym lub piątym miejscu, albo całkowicie zniknąć, jeśli granice fragmentów przecinają zdanie w nieodpowiednim miejscu. Zwykłe wyszukiwanie według słów kluczowych „przychody Q4 2024” znalazłoby to natychmiast.
Skala pogarsza sytuację
Z 50 dokumentami wyszukiwanie semantyczne funkcjonuje dobrze, częściowo dlatego, że konkuruje niewiele fragmentów tekstu. Przy 5 000 dokumentach przestaje być skuteczne. Większy zbiór danych zawiera więcej fragmentów semantycznie podobnych, ale faktycznie nieistotnych, przez co stosunek sygnału do szumu spada, a system wybiera fragmenty z „odpowiedniej okolicy”, które przekazują błędne informacje.
Jeden test przeprowadzony na technicznym zbiorze około 3 000 stron (dokumentacja API, logi zmian i przewodniki integracyjne) pokazał, że dokładność czystego wyszukiwania wektorowego wynosiła około 62%. Oznacza to, że prawie cztery z dziesięciu zapytań trafiały do modelu LLM z niekompletnym lub błędnym kontekstem. Żadna modyfikacja promptu nie może tego naprawić, ponieważ sama podstawa jest błędna.
Rezygnacja z wyszukiwania wektorowego nie była rozwiązaniem. Problemem było poleganie wyłącznie na nim. Trójkomponentowa architektura podniosła dokładność w tym teście z 62% do 91%.
Część pierwsza: BM25 dla dokładnych terminów
BM25 pochodzi z lat 90. i nadal należy do najsilniejszych algorytmów wyszukiwania dostępnych obecnie. Podczas gdy embeddingi zamazują różnice, on dopasowuje dosłowne terminy: w przypadku zapytania „Przychody w Q4 2024” pobiera każdy fragment zawierający te słowa i sortuje je według częstotliwości występowania oraz relevancji w korpusie. Jest szybki, zawsze daje ten sam wynik i działa bez GPU. Do jego obsługi wystarcza mała biblioteka, nie jest potrzebna żadna baza wektorowa – wystarczy indeks tekstu utworzony na podstawie tych fragmentów.
Część druga: zachować embeddingi, ale jako jedno źródło
Embeddingi zachowują swoją wartość, ponieważ potrafią wykrywać intencję i prezentować powiązane treści. Użytkownik zadający pytanie „Jak zarządzać autoryzacją?” w odniesieniu do dokumentów zatytułowanych „Zarządzanie logowaniem użytkowników” otrzymuje wynik z wyszukiwania semantycznego, którego BM25 nigdy by nie dostarczyło. Dlatego embeddingi stają się jednym z źródeł kandydatów, ale nigdy nie są jedynym źródłem.
Najlepsze wyniki z obu systemów wyszukiwania są łączone za pomocą Reciprocal Rank Fusion (RRF) – prostej metody, która łączy listy uporządkowane poprzez nagradzanie fragmentów występujących w obu listach. Fragment, który zajmuje pierwsze miejsce według metody BM25 i trzecie według wyników wyszukiwania semantycznego, ma znacznie wyższą ocenę niż taki, który pojawia się tylko w jednej liście. To naturalnie podnosi pozycję fragmentów istotnych zarówno pod względem słów kluczowych, jak i znaczenia. Implementacja składa się z około 20 linijek kodu w Pythonie i nie wymaga żadnego frameworku.
Część trzecia: ponowne rankowanie
Etap ponownego rankowania to ten, który najczęściej pomija się w większości zespołów, a to właśnie on najbardziej wpłynął na zmianę wyników. Gdy hybrydowe połączenie da 15 do 20 kandydatów, cross-encoder reranker ocenia każdego z nich. Model embedding koduje zapytanie oraz dokument oddzielnie od siebie. Natomiast cross-encoder przekazuje zapytanie wraz z jednym kandydatem do modelu razem, dzięki czemu ocena odzwierciedla stopień dopasowania tej pary.
Niewielki model ponownego rankowania dodaje około 200 ms opóźnienia, ale znacznie poprawia to wybór tych fragmentów, które trafiają do końcowego kontekstu. Pięć najlepszych wyników po ponownym rankowaniu prawie zawsze są tymi właściwymi. Pasuje tu metafora rybołówstwa: BM25 w połączeniu z wyszukiwaniem semantycznym rzuca szeroką sieć, a ponowne rankowanie sortuje złowione elementy, zachowując tylko najlepsze.
Przed i po
Dane przedstawione dla hybrydowego procesu w porównaniu z czystym wyszukiwaniem wektorowym:
| Metryka | Tylko wyszukiwanie wektorowe | Hybrydowe z ponownym rankowaniem |
|---|---|---|
| Dokładność wykrywania top-5 wyników | 62% | 91% |
| Prawidłowość odpowiedzi | 58% | 87% |
| Wskaźnik halucynacji | 31% | 8% |
| Doniesienia użytkowników o błędnych odpowiedziach | około 3 dziennie | około 2 tygodniowo |
Niespodziewanym skutkiem ubocznym była cena. Po anulowaniu usługi hostowanej bazy danych wektorowych wydatki na infrastrukturę spadły o około 60%. BM25 działa na jednym procesorze, a narzędzie do ponownego rankowania wymaga jedynie małej karty graficznej lub procesora o akceptowalnej opóźnieniu.
Dlaczego zalecenia faworyzują bazy danych wektorowych
Firmy zajmujące się bazami danych wektorowych pozyskały ogromne kwoty kapitału, a ich reklamy pojawiają się we wszystkich tutorialach, kursach i filmach, które zaczynają się od frazy „Krok 1: utwórz swoją bazę danych wektorowych”. Nikt, kto je sprzedaje, nie ma zysku na przyznaniu, że algorytm istniejący od dziesięcioleci w połączeniu z prostym narzędziem do ponownego sortowania danych przewyższa te produkty w większości scenariuszy.
Mimo to bazy danych wektorowych nie są bezużyteczne. Są cenne do:
- Poszukiwań eksploracyjnych, w których użytkownicy przeglądają treści zamiast wyszukiwać konkretne fakty.
- Wyszukiwania multimodalnego w obrazach, dźwięku lub kodzie.
- Obsługi ogromnych zbiorów, liczących miliardy dokumentów, w których indeksy BM25 stają się zbyt skomplikowane do używania.
Dla większości systemów RAG, takich jak wewnętrzne bazy wiedzy, wyszukiwanie dokumentacji, boty obsługowe czy narzędzia do zapewnienia zgodności, hybrydowe metody wyszukiwania bez dedykowanej bazy danych wektorowych dają lepsze wyniki przy niższych kosztach.
Praktyczna ścieżka migracji
Nie jest konieczne pełne rozłożenie na części. Można zastosować stopniowy sposób:
- Dodaj BM25 obok istniejącego wyszukiwania wektorowego. Biblioteka w Pythonie taka jak rank-bm25 może indeksować te same fragmenty, co zajmuje około godziny.
- Złącz wyniki za pomocą Reciprocal Rank Fusion. Formuła oceny jest prosta i dobrze udokumentowana.
- Dodaj otwarty cross-encoder do ponownego sortowania, uruchomiony lokalnie lub przez API. Prześlij przez niego połączone kandydaty i zachowaj pięć najlepszych.
- Pomierz efekty. Stwórz mały zbiór oceny, na przykład 50 pytań z znanych odpowiedzi, i porównaj dokładność wyszukiwania przed i po zmianach. Korzyści są widoczne szybko.
- Następnie zastanów się, czy baza wektorowa jest nadal potrzebna. W przypadku wielu systemów nie jest.
Większy wzorzec
Hype rzadko wskazuje na najlepszą opcję. Lepszy wybór zazwyczaj jest prosty, oczywisty i dobrze zrozumiały. BM25 jest prosty, wyszukiwanie hybrydowe jest przejrzyste, a badacze odzyskiwania informacji od dziesięcioleci badają kwestię ponownego rankowania. Historia o ponownym użyciu 30-letniego algorytmu nie przyciągnie finansowania od inwestorów ani uwagi mediów społecznościowych. Niezawodna sztuczna inteligencja nadal powstaje poprzez wybór odpowiedniego narzędzia, nawet jeśli nie jest ono modne.
Gdy pipeline RAG nie działa tak dobrze, pojawia się pokusa obwiniania LLM, przepisywania zapytań lub dopracowywania modelu embeddingu. Lepiej sprawdzić mechanizm odzyskiwania informacji, ponieważ to tam zazwyczaj leży problem. Rozwiązaniem może być starsza, prostsza metoda wyszukiwania połączona z nowoczesnym narzędziem do ponownego rankowania, aby zamknąć tę luki. Czasami postęp oznacza najpierw spojrzenie wstecz.
Literatura pokrewna
- RAG bez wektorów z PageIndex: wyszukiwanie poprzez rozumowanie zamiast wektorów — jak PageIndex zastępuje embeddingi i dzielenie na fragmenty drzewem dokumentów sterowanym przez LLM, wraz z krok po kroku przykładem w Pythonie i wskazówkami, kiedy RAG oparty na wektorach jest nadal lepszy.
- Rozumowanie w drzewie dokumentów zamiast wyszukiwania wektorów — PageIndex tworzy hierarchiczną indeksację i umożliwia LLM jej nawigację, pomijając dzielenie na fragmenty i embeddingi. Jak to działa, wyniki na FinanceBench oraz kiedy należy go używać.