Dlaczego ponowna klasyfikacja to najtańszy wielki sukces w pipeline’u RAG
Pobierz 50 wyników, przeporządkuj je do 5: jak przeporządkowanie za pomocą cross-encodera poprawia kolejność w pipeline RAG, jakie są korzyści i opóźnienia, kiedy go pominąć oraz co należy wdrożyć.
Nawet gdy retriever znajdzie właściwy fragment tekstu, może go ocenić tak nisko, że model w ogóle go nie zauważy. Druga faza oceny naprawia ten problem: wybiera szeroki zbiór kandydatów, ponownie je ocenia za pomocą silniejszego modelu i przekazuje LLM tylko te najlepsze.
Dwie funkcje ukryte w jednym procesie
Proces wyodrębniania informacji w systemie RAG pełni dwie odrębne role. Musi znaleźć odpowiedni fragment tekstu, a także umieścić go na wystarczająco wysokim poziomie, aby model mógł go wykorzystać. Zespoły często skupiają się na pierwszej z tych funkcji, zaniedbując drugą, przez co wskaźniki wyodrębniania informacji mogą wyglądać doskonale, podczas gdy odpowiedzi pozostają niezadowalające.
Model widzi tylko to, co trafia do promptu. Poprawny fragment znajdujący się na 7. pozycji jest tracony, jeśli wysłane zostaną tylko 5 najwyższych, a w praktyce może to być tak, jakby znajdował się na 700. pozycji. Dlatego Recall@50 może wyglądać doskonale, mimo że odpowiedzi są błędne: informacja została znaleziona, ale nigdy nie trafiła do okna kontekstowego.
Reranking zamienia tę luki. Jako druga faza przetwarzania ponownie ocenia kandydatów już znalezionych przez narzędzie wyszukiwania i przestawia je według tego, jak dobrze odpowiadają na zapytanie. W przypadku wielu systemów zapewnia najlepsze ulepszenia jakości przy danej ilości wysiłku, ponieważ architektura pozostaje bez zmian, a reszta stacka też nie jest modyfikowana.
Dlaczego te dwie fazy się różnią
Model typu dense retriever wcześniej embeduje każdy dokument. Podczas wyszukiwania embeduje zapytanie i szuka pobliskich wektorów. Zapytanie i dokument nigdy tak naprawdę się nie spotykają, ponieważ każdy z nich jest spakowany do własnego wektora przed porównaniem, a ta kompresja eliminuje drobne szczegóły dotyczące stopnia ich zgodności. Zaletą jest szybkość – model jest na tyle tani, że można skanować miliony dokumentów.
Kodownik typu cross-encoder działa inaczej. Przekazuje zapytanie oraz pojedynczy dokument do modelu razem, jako jeden wejście, i przeprowadza pełną obliczanie w tym parach. Ponieważ oba teksty są widoczne jednocześnie, można wziąć pod uwagę negacje, określenia oraz specyficzne sformułowania, które sprawiają, że dany fragment rzeczywiście odpowiada na pytanie, zamiast tylko ogólną podobieństwo.
Taka precyzja ma swoją cenę. Nic nie może być obliczone z góry, więc przy każdym zapytaniu konieczna jest jedna przetwarzanie na każdego kandydata. W przypadku miliona dokumentów jest to niemożliwe, natomiast przy 50 dokumentach, gdy pierwszy etap już je wybrał, rozwiązanie jest szybkie i praktyczne. Stąd pomysł dwuetapowy: najpierw pobrać duży zbiór danych tanio i szeroko, a następnie dokonać precyzyjnej i wąskiej ponownej klasyfikacji.
Wskazówki Cohere, przewodniki RAG od OpenAI oraz większość rozwiązań produkcyjnych stosują mniej więcej tę samą metodologię, składającą się z trzech kroków:
- Pobierz duży zbiór. Wybierz najlepsze 50 wyników, często z wyszukiwania hybrydowego, gdzie wyniki z algorytmów dense i BM25 są łączone za pomocą metody reciprocal rank fusion. Szerokie zakresy zwiększają szanse na uwzględnienie właściwego fragmentu tekstu.
- Ponownie sklasyfikuj. Cross-encoder ocenia każdą parę zapytania i dokumentu, a następnie lista jest sortowana według tych ocen.
- Zachowaj pięć. Do modelu LLM wysyłaj tylko te najbardziej istotne wyniki.
Zasada ogólna, która sprawdza się w testach, jest prosta: pobrać 50 wyników i wyselekcjonować 5 najlepszych. Pierwszy etap zapewnia wysoką dokładność poprzez włączenie właściwych danych do zbioru, natomiast drugi etap poprawia precyzję, umieszczając te najlepsze wyniki na czele listy. Nie ma potrzeby ponownego włączania danych, indeks nie jest odbudowywany, a narzędzie do wyszukiwania pozostaje bez zmian, co tłumaczy, dlaczego ta poprawka ma tak małe konsekwencje, a jednocześnie przynosi duże korzyści.
Co daje i co kosztuje
Poprawy dokładności są spójne i na tyle znaczne, by mieć znaczenie:
- +5 do 15 NDCG@10 to typowy wynik w testach MTEB i BEIR.
- 40 do 60% wyższa precyzja@3 obserwuje się w przypadku narzędzi do wyszukiwania podatnych na zakłócenia, co jest właśnie celem drugiego etapu sortowania.
- 35% mniej halucynacji wystąpiło w testach Databricks w porównaniu z prostą podobieństwem embeddingów, ponieważ lepiej uzasadnione dane ograniczają możliwości wymyślania przez model.
Opóźnienie rzeczywiście rośnie, ale wzrost ten jest niewielki w porównaniu z całym procesem:
- Ocena 50 kandydatów zajmuje mniej niż 50 ms na GPU.
- Na CPU te same 50 kandydatów potrzebują 100 do 300 ms, gdy są przekazywane jako jedna grupa w jednej wywołaniu.
- Biblioteka o bardzo małych wymaganiach, tak jak FlashRank, wymaga jedynie 15 do 30 ms.
- Dopracowanie modelu LLM nadal dominuje pod względem czasu i kosztów, więc ponowna sortowanie ledwo wpływa na kwotę rachunku.
Płacenie około 120 do 200 ms za wzrost precyzji w rankingu top-3 o ponad 40% jest, w większości zastosowań, najlepszym możliwym kompromisem w całym procesie.
Kiedy to pomaga, a kiedy nie
Ponowna sortowanie przynosi duże korzyści, ale nie jest uniwersalne; jego podstawowym celem jest poprawa sortowania, a nie znajdowanie odpowiedzi. Jest opłacalne wtedy, gdy:
- Głośny wynik na szczycie pomimo dobrej zdolności przywoływania informacji. Odpowiedni fragment znajduje się w pierwszych 50 wynikach, ale zajmuje 6. lub 12. miejsce. Wysoka zdolność przywoływania@50 przy niskiej precyzji@3 stanowi najwyraźniejszy argument za ponownym rankowaniem.
- Ograniczony budżet zapytań. Jeśli do modelu trafia tylko 3–5 fragmentów, kolejność decyduje o wszystkim, a słabe pierwsze 3 wyniki skutkują słabą odpowiedzią.
- Trudne lub niejednoznaczne pytania. Gdy znaczenie zależy od określenia lub negacji, np. konwersja faktur na format CSV w odróżnieniu od raportów na PDF, wspólne ocenianie obu wariantów pozwala odróżnić bliskie odpowiedzi, które bi-encoder łączy w jedno.
- Korpus jest pełen prawie identycznych treści. Dokumenty wsparcia i polityczne zawierają wiele podobnych fragmentów odpowiadających na różne pytania, a narzędzie do ponownego rankowania pozwala je rozróżnić.
Jest to rozczarowujące, gdy:
- Słaba zdolność przywoływania na pierwszym etapie. Narzędzie do ponownego rankowania może jedynie przetasować dostarczone dane. Jeśli odpowiedni fragment nie znajduje się w pierwszych 50 wynikach, należy najpierw poprawić proces wyszukiwania poprzez lepsze dzielenie na fragmenty lub hybrydową metodę wyszukiwania.
- Zdolność przywoływania już doskonała. Jeśli poprawny fragment zazwyczaj i tak znajduje się na szczycie listy, ponowne rankowanie jedynie przetasowuje już poprawną listę bez większych korzyści. Szybka weryfikacja: jeśli ten sam fragment wygrywa w większości zapytań zarówno z użyciem, jak i bez narzędzia do rankowania, oznacza to, że nie spełnia swojej roli.
- Generator tolerancyjny. Model obsługujący długi kontekst i 20 luźno powiązanych fragmentów uzyskuje gorsze wyniki z ograniczoną listą pierwszych 3 wyników niż model pracujący z zaledwie 5 fragmentami.
- Ścisły budżet opóźnienia. Przy sztywnych standardach realizacji w czasie rzeczywistym 150 ms może już być zbyt dużą wartością. Wybierz szybkie narzędzie do rankowania, takie jak FlashRank, albo żadne.
Aby określić, który przypadek ma zastosowanie, należy osobno zmierzyć recall@50 oraz precyzję. Recall pokazuje, czy system odnajduje dany fragment, a precyzja wskazuje, czy umieszcza go we właściwej pozycji; ponowna sortacja naprawia jedynie ten drugi aspekt.
Cross-encoder czy LLM reranker
Istnieją dwie takie grupy rozwiązań, a wybór polega na prostym kompromisie pomiędzy dokładnością a opóźnieniem.
- Cross-encoders są standardem. Są szybkie, tanie, przewidywalne i generują liczbową ocenę, którą można ustawić jako próg. Dla zdecydowanej większości systemów produkcyjnych stanowią właściwą i ostateczną odpowiedź.
- LLM rerankery proszą duży model o samodzielne ocenienie trafności wyników. W przypadku naprawdę trudnych zapytań wymagających głębokiego rozumowania mogą przewyższać konkurencję o 5 do 8% w niektórych zadań, ale dodają 4 do 6 sekund do czasu odpowiedzi i są znacznie droższe. Użytkownicy zwykle rezygnują po około 3 sekundach, więc rozwiązania te nadają się do pracy offline lub do przetwarzania dużych ilości danych o wysokiej wartości, rzadko do funkcji interaktywnych.
Najpierw wybierz cross-encodera. Rozważ użycie LLM rerankera dopiero po zmierzeniu rzeczywistej różnicy w wynikach na trudnych zapytaniach i upewnieniu się, że dodatkowy czas jest akceptowalny.
Dwa sposoby wdrożenia
Zespoły zazwyczaj wybierają self-hostowany cross-encoder lub usługę API, przy czym każdy z tych rozwiązań wymaga zaledwie kilku linijek kodu.
Self-hostowanie za pomocą sentence-transformers dobrze funkcjonuje z BGE-reranker-v2-m3, standardowym rozwiązaniem open-source, które jest wielojęzyczne i licencjonowane na zasadach Apache 2.0:
from sentence_transformers import CrossEncoder
# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)
def rerank(query, candidates, top_n=5):
pairs = [(query, doc) for doc in candidates] # one batched pass
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
return ranked[:top_n]
# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)
Gdy nie chce się uruchamiać modelu, Cohere Rerank to dostępna opcja w chmurze:
import cohere
co = cohere.ClientV2()
resp = co.rerank(
model="rerank-v3.5",
query="How do I cancel my subscription?",
documents=candidates, # the top 50 from the retriever
top_n=5,
)
# resp.results carries the reranked indices and relevance scores
Oba podejścia wykorzystują ten sam wejście – pierwsze 50 wyników uzyskanych przez narzędzie do wyszukiwania – i zwracają lepiej wyselekcjonowane pierwsze 5 wyników. Frameworki takie jak LangChain umieszczają je za wspólną interfejsem, dzięki czemu zmiana między nimi polega jedynie na jednej modyfikacji.
Wybór modelu
Na rynku istnieją jasno określone opcje, które zależą od budżetu czasu reakcji, języka oraz możliwości samodzielnego hostowania:
- Domyślny model otwartego oprogramowania: BGE-reranker-v2-m3, wielojęzyczny i dostępny pod licencją Apache 2.0, wymagający około 80 ms na CPU do przetworzenia 50 kandydatów. W przypadku pracy skupionej na języku angielskim można użyć bge-reranker-large.
- Najprostsze rozwiązanie hostowane: Cohere Rerank wymaga jednego wywołania API i nie potrzebuje serwerów; kosztuje około 1 dolar za każde tysiąc zapytań.
- Najwyższe wymagania dotyczące szybkości: FlashRank lub kompaktowy cross-encoder MiniLM – oba przetwarzają dane na CPU w mniej niż 30 ms przy umiarkowanym spadku jakości.
- Dokumenty długie: wybierz narzędzie do ponownego rankowania z obsługą długiego kontekstu, takie jak Jina Reranker v2, ponieważ standardowe kodery krzyżowe cicho przerywają przetwarzanie po osiągnięciu 512 tokenów.
Jako przybliżony wyznacznik, hostowana API jest najtańszym rozwiązaniem na początek przy około dziesięciu tysiącach zapytań dziennie. Po tym progu samodzielnie hostowany model BGE zazwyczaj szybko się zwraca.
Wniosek
Ponowne rankowanie zapewnia precyzję, która przekształca solidną zdolność odnajdywania informacji w rzetelne odpowiedzi. Narzędzie do wyszukiwania rozsiewa tanie, szerokie sieci i zwraca dużą ilość niejasnych wyników, a koder krzyżowy następnie ponownie ocenia te wyniki za pomocą procesu uwzględniającego zapytanie, którego narzędzie do wyszukiwania nie mogło sobie pozwolić, przenosząc naprawdę istotne fragmenty w miejsca, gdzie model faktycznie je sprawdza.
To rozwiązanie typu RAG o najwyższej efektywności, ponieważ pozostaje w ramach kontroli: pobierz 50 wyników, przeporządkuj je do 5 najlepszych, nic więcej nie zmieniaj i sprawdź poprawę na własnych danych. Zysk dokładności jest zazwyczaj duży, koszt opóźnienia mały, a decyzja zależy od jednego pytania: czy narzędzie do wyszukiwania radzi sobie tak dobrze w rankowaniu, jak w znajdowaniu informacji? Zazwyczaj nie, i właśnie przeporządkowanie zamienia tę różnicę w korzyść.
Źródła informacji
- Dokumentacja Cohere dotycząca przeporządkowania
- Karta modelu dla BGE-reranker-v2-m3 od BAAI
- Dokumentacja CrossEncoder z projektu sentence-transformers
- ARAGOG – szczegółowe porównanie zaawansowanych metod RAG, w tym przeporządkowania (arXiv 2404.01037)
- Ocena Databricks dotycząca systemów RAG z długim kontekstem i przeporządkowania
- FlashRank – biblioteka do przeporządkowania o niskim opóźnieniu na GitHubie
Powiązane materiały
- Zaawansowana RAG w produkcji: architektura, narzędzia i kompromisy — Przewodnik po RAG w środowisku produkcyjnym: pobieranie danych, analiza, dzielenie na fragmenty, tworzenie wektorów, magazyny wektorowe, hybrydowe metody wyszukiwania, ponowna sortacja, ocena i bezpieczeństwo, wraz z kompromisami związanymi z każdym z tych elementów.
- Ponowna sortacja w RAG: wąski zakres, w którym cross-encoders faktycznie pomagają — Dlaczego cross-encoder poprawia tylko wyniki RAG w przedziale od minimalnego poziomu odzyskiwania danych do maksymalnego progu K, czym są Phantom Hits oraz jak zmierzyć oba te parametry dla własnych zapytań w ciągu popołudnia.