Startseite / Artikel

Konversationsbewusster RAG in Spring AI mit CompressionQueryTransformer

Beheben Sie vage Nachfragen in einem Spring AI RAG-Chat, indem Sie die Abfragen mithilfe der Chat-Geschichte vor ihrem Eintreffen im Vektorlagern neu formulieren, wobei zwei ChatClient-Builder verwendet werden.

Verlag: REACTAPP.TOP6 Min. Lesezeit1455 Wörter

Quellen: Spring AI Recipe: Making RAG Conversation-Aware

Ein RAG-Chatbot funktioniert am besten, wenn die Informationsabfrage den gesamten Dialog versteht und nicht nur die neueste Nachricht. Spring AI kann relevante Chat-Geschichte in die an den Vektor-Speicher gesendete Anfrage einbeziehen, sodass nachfolgende Fragen den richtigen Kontext liefern.

Das Nachfragen-Problem

Stellen Sie sich eine RAG-Chat-App vor, die auf dem NFL-Regelbuch von 2026 basiert. Die erste Frage bittet um eine Definition eines Hip-Drop-Tackles. QuestionAnswerAdvisor übermittelt genau diesen Text an den Vektor-Speicher, die am nächsten liegenden Passagen werden zurückgegeben und dem Prompt hinzugefügt, und das LLM schreibt anschließend die Definition. Bisher ist alles in Ordnung.

Die nächste Nachricht lautet einfach „Gibt es eine Strafe?“ Die Person weiß, dass das Thema weiterhin der Hip-Drop-Tackle ist. Der Vektor-Speicher weiß das nicht. Bevor das LLM etwas sehen kann, erhält der Speicher nur diese vier Wörter. Wenn es Glück hat, gibt es etwas zu Hip-Drop-Tackles zurück. Wahrscheinlicher ist jedoch, dass es Strafen für unverwandte Aktionen anzeigt. Konversationelles RAG weist im Allgemeinen diese Schwäche auf: Menschen stellen Nachfragen, ohne den Kontext erneut darzulegen, und der Abrufschritt hat kein Gedächtnis für frühere Anfragen.

Reproduzieren

Starten Sie mit dem vorhandenen Rezept für RAG ohne separate Vektordatenbank und weisen Sie die Eigenschaft rag.document.url in application.properties auf das Regelbuch-PDF hin, das die NFL auf ihrer Website veröffentlicht:

rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf

Dann führen Sie die Anwendung unverändert aus und fragen Sie nach Tacklings mit Knieeinsatz. Eine Sitzung sieht so aus:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.

> Is there a penalty?

 - I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.

Die zweite Frage wird im abgerufenen Kontext nicht beantwortet. Der Store hat niemals nach Informationen zu Hip-Drop-Tackles gesucht, sondern nur nach der vagen Frage zur Strafe. Die Antwort erwähnt zwar das Tackle, was zeigt, dass der Chatverlauf den Kontext beibehalten hat. Das Problem ist, dass die Abfrage nie diesen Verlauf gesehen hat. Es ist notwendig, eine Möglichkeit zu finden, relevante Historie in die Abfrage im Vektorstore einzubeziehen, und Spring AI bietet eine solche Lösung.

Ein anderer Berater

QuestionAnswerAdvisor ist nicht der einzige RAG-Berater in Spring AI. RetrievalAugmentationAdvisor ist flexibler und ermöglicht es, fast jede Phase der Informationsabfrage anzupassen. Ein Erweiterungspunkt ist ein Abfragen-Transformer, der die Abfrage des Benutzers umschreibt, bevor sie den Store erreicht.

Dieses Rezept verwendet CompressionQueryTransformer. Trotz des Namens kürzt es die Abfrage nicht einfach nur ab. Stattdessen wird sie in eine kompakte, eigenständige Form umgeschrieben, die alles Wichtige aus dem bisherigen Gespräch enthält. Der Vektor-Speicher erhält somit eine weitaus aussagekräftigere Abfrage.

Der Transformer wird als Bean deklariert:

@Bean
QueryTransformer queryTransformer(
    @Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
  return CompressionQueryTransformer.builder()
      .chatClientBuilder(chatClientBuilder)
      .build();
}

Es bittet einen LLM, aus der aktuellen Frage sowie dem Chat-Verlauf eine bessere Abfrage zu erstellen, weshalb ein ChatClient.Builder injiziert wird. Dieser injizierte Builder trägt ein @Qualifier. Die Wiederverwendung des Builders im Chat-Loop würde eine zyklische Abhängigkeit verursachen, während ihre Trennung es ermöglicht, für die Kompression ein anderes Modell zu verwenden als für das Beantworten.

OpenAI stellt hier beide Builder bereit, sodass kein zusätzlicher Anbieter wie Anthropic oder Ollama erforderlich ist, doch es werden zwei separate ChatClient.Builder-Beans definiert:

@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
    OpenAiChatModel openAiChatModel,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {

  return applyCustomizers(
      ChatClient.builder(openAiChatModel),
      customizers
  );
}

@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
    OpenAiChatModel openAiChatModel) {
  return ChatClient.builder(openAiChatModel)
      .defaultOptions(OpenAiChatOptions.builder()
          .model("gpt-5-nano"));
}

private ChatClient.Builder applyCustomizers(
    ChatClient.Builder builder,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {
  customizers.orderedStream()
      .forEach(customizer -> customizer.customize(builder));
  return builder;
}

Die Einrichtung ähnelt früheren Vorgehensweisen mit mehreren Modellen. Der erste Builder ersetzt den automatisch konfigurierten von Spring AI, sodass die registrierten ChatClientBuilderCustomizer-Objekte weiterhin angewendet werden – dies geschieht durch die Übermittlung des Builders sowie der Customizer an die Hilfsmethode applyCustomizers(). Er ist mit @Primary markiert, wodurch er standardmäßig verwendet wird, es sei denn, ein @Qualifier wählt ein anderes aus. Der zweite Builder dient der Komprimierung von Abfragen. Das Umschreiben von Abfragen ist eine kostengünstige Aufgabe, weshalb ein kleines, günstiges Modell wie gpt-5-nano gut geeignet ist, obwohl jedes Modell verwendet werden kann.

Sobald ein Transformer sowie sein eigener Builder vorhanden sind, kann QuestionAnswerAdvisor durch RetrievalAugmentationAdvisor ersetzt werden, das über einen ChatClientBuilderCustomizer konfiguriert wird:

@Bean
ChatClientBuilderCustomizer addRagAdvisor(
    QueryTransformer queryTransformer,
    VectorStore vectorStore) {

  return builder -> {
    var ragAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
            .vectorStore(vectorStore)
            .build())
        .queryTransformers(queryTransformer)
        .build();
    builder.defaultAdvisors(ragAdvisor);
  };
}

Dieser Advisor erfordert etwas mehr Einrichtung, bietet aber mehr Kontrolle. Zunächst wird ein Dokumentabrufmechanismus benötigt, hier ein VectorStoreDocumentRetriever, der Übereinstimmungen aus dem eingebundenen VectorStore abruft. Der wichtige Teil ist der Aufruf von queryTransformers(), der das CompressionQueryTransformer-Objekt erhält. Von da an wird jede für den Store bestimmte Abfrage zunächst umgeschrieben, um relevanten Gesprächskontext einzubeziehen, wodurch die Chance, die richtigen Dokumente zu finden, erheblich steigt.

Das gleiche Gespräch erneut

Die Wiederholung des Dialogs liefert ein anderes Ergebnis:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.

> Is there a penalty?

 - Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).

Die App erläutert den Tackle und beantwortet auch die anschließenden Fragen korrekt, obwohl der Benutzer die Hip-Drop-Tackles nicht ein zweites Mal erwähnt.

Der Unterschied liegt in der Anfrage, die beim Vector-Store ankam. Spring AI protokolliert derzeit den umgeschriebenen Text nicht, daher ist der schnellste Weg, ihn anzusehen, ein Breakpoint in der return-Zeile innerhalb von CompressionQueryTransformer.transform(). Dort sind zwei Umformulierungen zu sehen:

  • Die erste Frage wurde zu einer längeren, die fragt, was ein Hip-Drop-Tackle ist, in welchem Sport es verwendet wird, wie es ausgeführt wird und welche rechtlichen sowie sicherheitstechnischen Auswirkungen es hat.
  • Die vage Straffrage wurde zu einer vollständigen Frage, die fragt, ob American Football einen Hip-Drop-Tackle bestraft, und falls ja, um wie viele Yards und ob anschließend automatisch ein First Down folgt.

Die zweite Überarbeitung erläutert die Verbesserung. Anstelle einer unklaren Frage erhielt der Store eine vollständige, eigenständige Frage, die Kontext aus der Vorgeschichte enthielt, wodurch Passagen über Hip-Drop-Tackles zurückgegeben wurden und nicht Strafen für andere Aktionen.

Interessanterweise wurde auch die erste Anfrage überarbeitet. Sie hing nicht von früheren Anfragen ab, doch der Transformer erweiterte sie zu einer beschreibenderen Frage, was die Ergebnissuche verbessern kann, indem der Zweck klarer wird.

Das ist der Wert von CompressionQueryTransformer. Die Nutzer müssen bei jeder Nachfrage nicht alles erneut formulieren. Sie können natürlich sprechen, während der Store die detaillierten, präzisen Anfragen erhält, die er benötigt.

Es ist außerdem nur ein Beispiel dafür, was RetrievalAugmentationAdvisor ermöglicht. Die Transformation von Abfragen ist nur einer der Erweiterungspunkte in der Pipeline. Auch die Dokumentensuche, die Nachverarbeitung der gefundenen Dokumente, die Abfragerweiterung sowie weitere Schritte können angepasst werden.

Abwägungen, die berücksichtigt werden müssen

Die Komprimierung von Abfragen ist nicht kostenlos. Jeder Benutzerzugriff löst nun einen zusätzlichen Aufruf des LLM aus, noch bevor die Suche beginnt, was zu Verzögerungen und geringen Kosten führt. Deshalb verfügt der Transformer über ein eigenes kleines Modell: Die Umformungsaufgabe ist kurz und klar definiert, weshalb ein kompaktes Modell sie in der Regel bewältigen kann, während das Hauptmodell für die endgültige Antwort reserviert bleibt.

Da die umgeschriebene Abfrage standardmäßig nicht protokolliert wird, lohnt es sich, während der Anpassung eigene Protokollierungsmethoden hinzuzufügen oder vorübergehende Breakpoints zu setzen. Ein schneller Vergleich einiger ursprünglicher und umgeschriebener Paare zeigt schnell, ob der Transformer Details weglässt oder Abfragen mit Schätzungen ergänzt, wie beispielsweise der Sportname im ersten obigen Beispiel. Wenn die Qualität der Ergebnisse ungewöhnlich ist, sollte man zuerst den umgeschriebenen Text prüfen.