Neubewertung in RAG mit Spring AI und Pinecone: Verschieben einer Antwort von Rang 4 auf Rang 1
Reranking in RAG mit Spring AI und Pinecone: einfache Vektorabfrage im Vergleich zu einem bge-Reranker-Schritt bei einem Personalhandbuch, wobei eine zuvor nicht sichtbare Antwort von Rang 4 auf Rang 1 aufsteigt.
Quellen: Reranking in RAG: The Spring AI and Pinecone Implementation
Man gibt eine Frage in ein Unternehmenssuchtool ein, und es werden fünf Ergebnisse angezeigt. Sie alle scheinen zusammenhängend zu sein, doch dasjenige, das die Frage tatsächlich beantwortet, steht auf Platz drei, hinter zwei Abschnitten, die lediglich einige gemeinsame Wörter enthalten. Die Suche verstand, was gesagt wurde, aber nicht ganz, was gemeint war. Diese kleine Lücke zwischen dem Anschein von Relevanz und tatsächlicher Relevanz ist der Grund für die Neubewertung der Ergebnisse: Die Vektorsuche findet Texte, die ähnlich klingen, nicht unbedingt solche, die wirklich antworten.
Was folgt, verwandelt diese Idee in funktionierenden Code. Zwei Suchwege werden nebeneinander auf demselben Dokument durchgeführt, sodass der Unterschied beobachtet werden kann, anstatt blind darauf vertraut zu werden. Und er stellt sich als größer heraus, als erwartet.
Das Experiment
Der Test ist absichtlich so konzipiert, dass die Antwort versteckt ist. Ein echtes HR-Handbuch ist in kleine Abschnitte unterteilt, und es wird eine Frage gestellt, deren Antwort sich in einem Abschnitt befindet, den niemand zuerst erraten würde. Anschließend wird die Antwort auf zwei Arten gesucht. Bei der ersten Methode werden Teile gesucht, die der Frage ähneln. Bei der zweiten Methode werden dieselben Teile genauer geprüft, und es wird eine neue Reihenfolge basierend darauf erstellt, welche Antwort am besten passt. Der Clou besteht darin, dass die beiden Reihenfolgen bei derselben Frage unterschiedlich sind.
Stack und Voraussetzungen
Die Ausführung erfolgt unter Java 21 mit Spring Boot 3.5.14 und Spring AI 1.0.8. Die Embeddings stammen von OpenAI’s text-embedding-3-small. Pinecone dient gleichzeitig als Vektorlager und als gehostete Reranking-API, wobei das Reranking-Modell bge-reranker-v2-m3 ist.
Warum auch Pinecone für das Neuranking verwenden? Spring AIs VectorStore kennt kein Konzept des Neurankings, weshalb dies der einzige Punkt ist, an dem die Abstraktion durchbrochen wird und das reine Java SDK von Pinecone für einen einzigen Neuranking-Aufruf genutzt wird.
Zunächst müssen drei Dinge vorhanden sein. Erstens ein Pinecone-Konto mit einem Index, dessen Dimension 1536 beträgt und somit mit der Ausgabe des Embedding-Modells übereinstimmt. Zweitens eine OpenAI-API-Schlüssel, damit Embeddings erzeugt werden können. Drittens Gradle zur Verwaltung der Abhängigkeiten.
Vorbereitung des Handbuchs
Um suchen zu können, sind zunächst Daten erforderlich, weshalb das Handbuch in Blöcke aufgeteilt und in Pinecone geladen werden muss. Ein /ingest-Endpunkt erledigt dies: Die Datei wird gelesen, in Blöcke à 300 Token unterteilt und als Vektoren gespeichert. Zudem verhindert ein Duplikatsschutz, dass bei wiederholten Durchläufen alles erneut eingefügt wird. Die Datei befindet sich unter src/main/resources/docs/abc_company_employee_handbook.txt. Ein schneller Überblick im Voraus lohnt sich, insbesondere der Abschnitt zum Arbeiten von zu Hause aus, der eine der schwierigeren Antworten enthält.
Zwei Endpunkte
Dieselbe Anfrage wird über zwei Endpunkte eingegeben, die von außen fast identisch aussehen:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
Die erste Methode ist die ehrliche Grundlage. Sie fragt die Vektordatenbank ab, wählt die nächsten Übereinstimmungen aus und gibt sie in der erhaltenen Reihenfolge zurück, ohne weitere Bewertung. Die zweite Methode macht alles, was die erste tut, fügt jedoch vor dem Zurückgeben einen Schritt hinzu. Sie leitet die gleichen Datenblöcke an ein Neuranking-Modell weiter und fragt nach, welche davon tatsächlich die Frage beantworten. Die Datenblöcke werden anschließend entsprechend dieser Bewertung neu geordnet zurückgegeben.
Sowohl Methoden liefern dieselbe Antwortstruktur. Nur die Reihenfolge unterscheidet sich, und gerade die Reihenfolge ist entscheidend. Die interessanten Berechnungen finden eine Ebene unterhalb des Controllers im RetrievalService statt.
Path 1: einfache Ähnlichkeitssuche
Hier steht die Einfachheit im Vordergrund: Es wird die Vektordatenbank abgefragt, um die nächstgelegenen Datenblöcke zu erhalten, diese als Ergebnis akzeptiert und die Verarbeitung beendet. Es findet keine weitere Bearbeitung statt. Eine Methode kümmert sich um das Abrufen:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
In der Konfiguration liegt topK bei 5, wodurch die fünf am nächsten liegenden Blöcke nach Kosinusähnlichkeit ausgewählt werden. Das ist die gesamte Abfrageverarbeitung. Jeder Block wird zusammen mit der eigenen Ähnlichkeitsbewertung des Vektorstores bereitgestellt, die anzeigt, wie nah er inhaltlich zur Anfrage kommt.
Dabei geht es um die Bedeutung – doch genau hier kann es zu Fehlern kommen. Ein Abschnitt kann zwar sehr nahe an einer Frage liegen, diese aber dennoch nicht beantworten. Die Informationen zur Krankmeldung sind in der Richtlinie für die Arbeit von zu Hause enthalten, wodurch der umliegende Text zu einer hervorragenden Übereinstimmung erscheint. Die Ähnlichkeitssuche ordnet daher ausschließlich nach dieser Nähe. Ob der Text tatsächlich auf die Frage eingeht, wird dabei nie überprüft. Das Ergebnis ist eine anständige Kurzliste ohne Aussage darüber, welcher Eintrag die richtige Antwort ist; der zweite Ansatz fügt genau diese Aussage hinzu.
Ansatz 2: Hinzufügen des Neurankings
Das Ziel jetzt ist herauszufinden, welche Abschnitte tatsächlich die Frage beantworten. Der Weg beginnt identisch, führt die gleiche Suche durch und holt die gleichen Abschnitte ab:
List<Document> hits = retrieveTopK(query);
Das sind die identischen fünf Datensätze, die vom ersten Endpunkt verwendet wurden und absichtlich wiederverwendet wurden. Eine andere Suche würde keine ehrliche Grundlage für den Vergleich der beiden Ergebnisse bieten.
Dann kommt die Neubewertung selbst. Spring AI kann dabei nicht helfen, da sein Vektorlager keine Ahnung hat, was Neubewertung bedeutet, weshalb der Code direkt das von Pinecone bereitgestellte Modell aufruft:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
Das ist eine echte Anfrage an ein gehostetes Modell, keine lokale Abkürzung. Der Reranker liest die Frage zusammen mit jedem Abschnitt und bewertet, wie gut der Abschnitt darauf antwortet. Im Gegensatz dazu vergleicht die Ähnlichkeitssuche im Voraus berechnete Vektoren und liest die beiden Texte niemals nebeneinander.
Stellen Sie sich vor, der Reranker erhält fünf Abschnitte und soll die drei besten auswählen. Anstatt Text zurückzugeben, antwortet er mit Positionen – beispielsweise zuerst die Nummer 4, dann 1, anschließend 5 – wobei er auf die Abschnitte durch ihre Position in der Zeile verweist. Der letzte kleine Schritt wandelt diese Positionen wieder in echte Abschnitte um. Wenn das Modell die Nummer 4 angibt, greift der Code auf die ursprüngliche Liste zu, nimmt den vierten Abschnitt und extrahiert seinen Text sowie seine Bewertung.
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
Eine subtile Änderung: Die nun angezeigte Bewertung ist die Neubewertungsscore, also wie gut der Textabschnitt die Frage beantwortet, und nicht mehr die frühere Ähnlichkeitsbewertung. Es handelt sich um denselben Textabschnitt, doch die Zahl daneben bedeutet etwas völlig anderes. Genau dieser Bedeutungswandel ist die ganze Idee.
Der Unterschied erkennen
Übertragen Sie eine Frage auf beide Systeme und lesen Sie die Konsole. Die ausgewählte Frage verbirgt ihre Antwort gut: Was sollte man tun, wenn man bei der Arbeit von zu Hause aus krank wird?
Bei der einfachen Suche werden fünf Textabschnitte in Reihenfolge der Ähnlichkeit zusammen mit ihren Bewertungen angezeigt. Der Abschnitt, der tatsächlich antwortet – Index 6 – landet auf Position 4 mit nur 37,5 %. Drei Abschnitte davor behandeln die Arbeit von zu Hause aus oder Krankmeldungen im Allgemeinen und erzielen höhere Bewertungen, weil sie mehr Vokabular mit der Abfrage teilen. Die eigentliche Antwort rangiert als eine der schwächsten Ergebnisse, obwohl sie das einzige vollständige ist.
Auf dem neu rangierten Endpunkt werden die gleichen fünf Abschnitte verwendet, und das Modell bewertet jeden davon hinsichtlich der Antwort auf die Frage. Die Ausgabe enthält einen Relevanzbereich sowie eine Anmerkung zur Veränderung in der Rangfolge. Der Antwortabschnitt springt mit einer Relevanz von 95,6 % von Platz vier auf Platz eins und erhält die Bezeichnung „Exzellente Übereinstimmung“, während die ähnlichen Abschnitte bei 20,4 % und 6,2 % auf „Schwache Übereinstimmung“ herabgestuft werden. Ein weiterer Detail fällt auf: Index 5, der ursprünglich an der Spitze der Ähnlichkeitsrangliste stand, schaffte es nicht in die neu rangierten Top drei. Die Ähnlichkeit sprach für ihn, doch die Relevanz lehnte ihn ab.
Die Schlussfolgerung
Die Vektorsuche liefert einen nahen Ansatz zur Antwort, und die Neubewertung führt schließlich zur richtigen Antwort. Die Übermittlung der Kurzliste an ein Modell, das die Frage sowie jeden Teilabschnitt als Paar verarbeitet, entscheidet oft darüber, ob ein Benutzer dem Gezeigten vertraut oder weiter scrollt. Die Durchführung der Demo anhand privater Dokumente zeigt denselben Effekt bei echten Daten, wobei die Teilabschnitte in der Rangliste nach oben oder unten verschoben werden.