Przegrupowanie w RAG przy użyciu Spring AI i Pinecone: Przeniesienie odpowiedzi z 4. na 1. miejsce w rankingu
Przegrupowanie w RAG przy użyciu Spring AI i Pinecone: zwykłe wyszukiwanie wektorowe versus krok przegrupowania bge w podręczniku HR, w którym ukryta odpowiedź przechodzi z 4. na 1. miejsce.
Źródła: Reranking in RAG: The Spring AI and Pinecone Implementation
Wpisz pytanie do narzędzia wyszukiwania firm i otrzymasz pięć wyników. Wszystkie wydają się powiązane, jednak ten, który naprawdę odpowiada na pytanie, znajduje się na trzecim miejscu, poniżej dwóch akapitów, które mają tylko kilka wspólnych słów. System wyszukiwania zrozumiał to, co zostało powiedziane, ale nie do końca to, co było zamierzone. To niewielkie rozbieżność pomiędzy pozorną istotnością a rzeczywistą istotnością jest powodem istnienia ponownego rankingu: wyszukiwanie wektorowe znajduje teksty, które brzmią podobnie, ale niekoniecznie te, które odpowiadają na pytanie.
To, co następuje, przekształca tę ideę w działający kod. Dwa ścieżki wyszukiwania przetwarzają ten sam dokument równolegle, dzięki czemu różnice można zaobserwować, zamiast im po prostu wierzyć. Okazuje się, że te różnice są większe, niż się spodziewano.
Eksperyment
Test jest celowo zaprojektowany wokół ukrytej odpowiedzi. Prawdziwy podręcznik HR jest podzielony na małe części, a zadawane jest pytanie, którego odpowiedź znajduje się w rozdziale, którego nikt nie zgadnie jako pierwszy. Następnie poszukuje się tej odpowiedzi na dwa sposoby: pierwszy polega na szukaniu fragmentów, które brzmią podobnie do pytania, natomiast drugi bierze te same fragmenty, ocenia każdy z nich prawidłowo i ustala nowy porządek na podstawie tego, co faktycznie najlepiej odpowiada na pytanie. Cały sens polega na tym, że te dwa porządki różnią się w przypadku tego samego pytania.
Wymagania i warunki wstępne
Proces kompilacji odbywa się pod Java 21 z Spring Boot 3.5.14 i Spring AI 1.0.8. Embeddingi pochodzą z biblioteki OpenAI text-embedding-3-small. Pinecone pełni podwójną rolę – jest magazynem wektorowym oraz hostowaną usługą reranking API, a modelem do rerankingu jest bge-reranker-v2-m3.
Dlaczego również używać Pinecone do ponownego rankowania? VectorStore od Spring AI nie obsługuje funkcji ponownego rankowania, więc to jedyny przypadek, gdy system wykracza poza abstrakcję i korzysta z surowego SDK w języku Java od Pinecone do wykonania pojedynczego wywołania rankowania.
Najpierw muszą istnieć trzy elementy. Po pierwsze – konto w Pinecone z indeksem, którego wymiar wynosi 1536, zgodnie z wynikami modelu embeddingu. Po drugie – klucz API od OpenAI, aby móc generować embeddingi. Po trzecie – narzędzie Gradle do zarządzania zależnościami.
Przygotowanie przewodnika
Aby przeprowadzić wyszukiwanie, najpierw potrzebne są dane, dlatego podręcznik musi zostać podzielony na fragmenty i załadowany do Pinecone. Do tego służy jeden endpoint /ingest: plik jest odczytywany, dzielony na fragmenty po 300 tokenów i przechowywany jako wektory, a mechanizm zapobiegający duplikatom uniemożliwia ponowne dodawanie wszystkich danych przy kolejnych próbach. Plik znajduje się pod adresem src/main/resources/docs/abc_company_employee_handbook.txt. Szybkie przejrzenie treści z góry przynosi korzyści, szczególnie sekcja dotycząca pracy z domu, w której znajduje się jedna z trudniejszych odpowiedzi.
Dwa endpointy
To samo pytanie jest przekazywane za pośrednictwem dwóch endpointów, które z zewnątrz wyglądają niemal identycznie:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
Pierwsza metoda to prosta, szczera podstawa. Pyta bazę wektorową, bierze najbliższe dopasowania i zwraca je w takiej kolejności, w jakiej zostały otrzymane, bez dodatkowych ocen. Druga metoda robi to samo co pierwsza, ale dodaje jeszcze jeden krok przed zwróceniem wyników. Przekazuje te same fragmenty do modelu ponownego rankowania i pyta, które z nich faktycznie odpowiadają na pytanie. Fragmenty wracają w nowej kolejności, ustalonej na podstawie tej oceny.
Oba rozwiązania zwracają ten sam kształt odpowiedzi. Różni się tylko kolejność, a to właśnie ona jest kluczowa. Najciekawsze operacje odbywają się na poziomie poniżej kontrolera, w klasie RetrievalService.
Ścieżka 1: zwykłe wyszukiwanie podobieństwa
Celem jest tutaj prostota: zapytanie bazy wektorowej o najbliższe fragmenty, przyjęcie ich jako wyników i zakończenie procesu. Nie odbywa się żadna dalsza obróbka. Jedna metoda zajmuje się pobieraniem danych:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
W konfiguracji wartość topK wynosi 5, więc wybierane są pięć najbliższych fragmentów pod względem podobieństwa kosinowego. To jest cały proces wyszukiwania. Każdy fragment dostarczany jest wraz z własną oceną podobieństwa przypisaną przez magazyn wektorów, która pokazuje, jak blisko jest on znaczeniowo do zapytania.
Tutaj właśnie pojawiają się problemy. Fragment tekstowy może znajdować się bardzo blisko pytania, a mimo to nie odpowiadać na nie. Informacje dotyczące zwolnień chorobowych są zawarte w polityce pracy z domu, więc otaczający je tekst wydaje się doskonałym dopasowaniem, a wyszukiwanie oparte na podobieństwie rankinguje elementy wyłącznie na podstawie tego bliskości. Nigdy nie sprawdza się, czy tekst rzeczywiście odpowiada na pytanie. W rezultacie otrzymujemy przyzwoitą listę kandydatów bez żadnej oceny, który z nich jest prawdziwą odpowiedzią, a druga metoda dodaje właśnie taką ocenę.
Metoda 2: dodanie kroku ponownego rankingu
Celem teraz jest ustalenie, które fragmenty faktycznie odpowiadają na pytanie. Ścieżka rozpoczyna się w ten sam sposób, przeprowadzając to samo wyszukiwanie i pobierając te same fragmenty:
List<Document> hits = retrieveTopK(query);
To są te same pięć fragmentów, których użył pierwszy punkt końcowy, wykorzystane celowo ponownie. Inne wyszukiwanie w tym przypadku nie dałoby żadnych uczciwych podstaw do porównania obu wyników.
Następnie następuje sama ponowna klasyfikacja. Spring AI nie może w tym pomóc, ponieważ jego magazyn wektorowy nie ma pojęcia, czym jest ponowna klasyfikacja, więc kod bezpośrednio wywołuje model hostowany przez Pinecone:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
To jest prawdziwy wniosek skierowany do modelu hostowanego, a nie skrót realizowany lokalnie. Narzędzie do ponownego rankowania czyta pytanie wraz z każdym fragmentem i ocenia, na jak dobrą odpowiedź ten fragment daje. Z kolei wyszukiwanie podobieństwa porównuje wektory obliczone z góry i nigdy nie czyta obu tekstów obok siebie.
Wyobraźmy sobie, że narzędzie to otrzymuje pięć akapitów i prosi o trzy najlepsze. Zamiast zwrócić tekst, odpowiada pozycjami – na przykład najpierw numer 4, potem 1, a następnie 5 – wskazując na fragmenty według ich pozycji w wierszu. Ostatni mały krok przekształca te pozycje z powrotem w rzeczywiste fragmenty. Gdy model wskazuje numer 4, kod wraca do oryginalnej listy, bierze czwarty fragment i wyodrębnia jego tekst oraz ocenę.
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
Jedna subtelna zmiana: wynik pokazywany teraz to wynik ponownego rankingu, czyli miara tego, jak dobrze dany fragment odpowiada na pytanie, a nie wcześniejszy wynik podobieństwa. To ten sam fragment, ale liczba obok niego oznacza coś zupełnie innego. Właśnie ta zmiana znaczenia stanowi sedno całej koncepcji.
Dostrzeżenie różnicy
Prześlij jedno pytanie przez oba serwery i sprawdź konsolę. Wybrane pytanie dobrze ukrywa swoją odpowiedź: co należy zrobić po zachorowaniu podczas pracy z domu?
W zwykłym wyszukiwaniu wyświetla się pięć fragmentów w kolejności podobieństwa wraz z ich wynikami. Fragment, który rzeczywiście odpowiada na pytanie, o indeksie 6, znajduje się na pozycji 4 z wynikiem zaledwie 37,5%. Trzy fragmenty przed nim dotyczą pracy z domu lub urlopu chorobowego w ogóle i uzyskują wyższe wyniki, ponieważ mają więcej wspólnego słownictwa z zapytaniem. Prawdziwa odpowiedź plasuje się wśród najslabszych wyników, mimo że jest jedyną kompletną.
W przetworzonej wersji endpointu używane są te same pięć fragmentów, a model ocenia każdy z nich pod kątem odpowiedzi na pytanie. Wynik zawiera pas relewności oraz informację o zmianie rankingu. Fragment z odpowiedzią przeskakuje z czwartego na pierwsze miejsce przy relewności 95,6% i otrzymuje etykietę „Doskonałe dopasowanie”, natomiast podobne fragmenty spadają do kategorii „Słabe dopasowanie” przy wartościach 20,4% i 6,2%. Wyróżnia się jeszcze jeden detal – indeks 5, który wcześniej zajmował czoło rankingu podobieństwa, nie udało mu się dostać do trzech najlepszych po przetworzeniu. Podobieństwo faworyzowało go, natomiast relewność go odrzuciła.
Wniosek
Wyszukiwanie wektorowe dostarcza przybliżoną odpowiedź, a ponowna sortacja doprowadza do jej wybrania. Przekazanie krótkiej listy modelowi, który odczytuje pytanie oraz każdą część jako parę, często decyduje o tym, czy użytkownik zaufa temu, co widzi, czy będzie przewijał dalej. Przeprowadzenie demonstracji na prywatnych dokumentach pokazuje ten sam efekt w rzeczywistych danych – części przesuwają się w górę i w dół rankingu.