RAG sensible à la conversation dans Spring AI avec CompressionQueryTransformer
Corriger les questions de suivi vagues dans une conversation Spring AI RAG en réécrivant les requêtes à l’aide de l’historique de la conversation avant qu’elles n’atteignent le stockage vectoriel, en utilisant deux constructeurs ChatClient.
Un chatbot RAG fonctionne le mieux lorsque le système de récupération comprend la conversation dans son ensemble et non seulement le dernier message. Spring AI permet d’intégrer l’historique des conversations pertinentes dans la requête envoyée au stockage vectoriel, de sorte que les questions suivantes récupèrent le contexte adéquat.
Le problème des questions ultérieures
Imaginez une application de chat RAG conçue sur la base du règlement NFL de 2026. La première question demande une définition d’une prise par chute de hanche. QuestionAnswerAdvisor envoie ce texte exactement au stockage vectoriel, les fragments les plus proches sont récupérés et ajoutés à la prompt, puis le LLM rédige la définition. Jusqu’ici, rien de problématique.
Le prochain message est simplement « Y a-t-il une pénalité ? ». Une personne sait que le sujet reste la prise par chute de hanche. Le stockage vectoriel, lui, ne le sait pas. Avant que l’LLM ne voie quoi que ce soit, le stockage ne reçoit que ces quatre mots. S’il a de la chance, il renvoie des informations sur les prises par chute de hanche. Plus probablement, il renvoie des pénalités pour des actions sans rapport. Le RAG conversationnel présente cette faiblesse en général : les gens posent des questions supplémentaires sans reformuler le contexte, et l’étape de récupération n’a pas de mémoire des échanges précédents.
Le reproduire
Partez de la recette existante pour RAG sans base de données vectorielle distincte, et pointez la propriété rag.document.url dans application.properties vers le PDF du règlement, publié par la NFL sur son site opérationnel :
rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf
Ensuite, exécutez l’application telle quelle et demandez des informations sur les plaquages avec chute de hanche. Une session se déroule comme ceci :
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.
> Is there a penalty?
- I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.
La deuxième question n’est pas répondue à partir du contexte récupéré. Le système de stockage n’a jamais cherché d’informations concernant les plaquages de type « hip-drop », seulement la question vague relative aux pénalités. La réponse mentionne bien le plaquage, ce qui montre que l’historique de la conversation a conservé ce contexte. Le problème, c’est que le système de récupération n’a jamais pris connaissance de cet historique. Ce qui est nécessaire, c’est un moyen d’inclure l’historique pertinent dans la requête adressée au stockage vectoriel, et Spring AI en propose un.
Un conseiller différent
QuestionAnswerAdvisor n’est pas le seul conseiller RAG dans Spring AI. RetrievalAugmentationAdvisor est plus flexible et permet de personnaliser presque chaque étape de la récupération des données. Un point d’extension possible est le transformateur de requête, qui réécrit la requête de l’utilisateur avant qu’elle n’atteigne le stockage.
Cette recette utilise CompressionQueryTransformer. Malgré son nom, il ne se contente pas de raccourcir la requête. Il la réécrit sous une forme compacte et autonome qui intègre tout ce qui est important de la conversation jusqu’à présent. Le stockage vectoriel reçoit ainsi une requête bien plus significative.
Le transformateur est déclaré comme un bean :
@Bean
QueryTransformer queryTransformer(
@Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
return CompressionQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.build();
}
Cela demande à un LLM de créer une requête améliorée à partir de la question actuelle et de l’historique de conversation, c’est pourquoi un ChatClient.Builder est injecté. Ce constructeur injecté porte un @Qualifier. Réutiliser le constructeur dans la boucle de conversation créerait une dépendance circulaire, et les séparer permet également d’utiliser un modèle différent pour la compression et pour la réponse.
Ici, OpenAI fournit les deux constructeurs, il n’est donc pas nécessaire d’utiliser un fournisseur supplémentaire comme Anthropic ou Ollama, mais deux beans distincts de ChatClient.Builder sont définis :
@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
OpenAiChatModel openAiChatModel,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
return applyCustomizers(
ChatClient.builder(openAiChatModel),
customizers
);
}
@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
OpenAiChatModel openAiChatModel) {
return ChatClient.builder(openAiChatModel)
.defaultOptions(OpenAiChatOptions.builder()
.model("gpt-5-nano"));
}
private ChatClient.Builder applyCustomizers(
ChatClient.Builder builder,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
customizers.orderedStream()
.forEach(customizer -> customizer.customize(builder));
return builder;
}
La configuration ressemble à celle des méthodes précédentes utilisant plusieurs modèles. Le premier constructeur remplace celui configuré automatiquement par Spring AI, de sorte que les ChatClientBuilderCustomizer enregistrés continuent d’être appliqués, ce qui se fait en passant le constructeur et les personnaliseurs à l’aide-méthode applyCustomizers(). Il est marqué @Primary, ce qui en fait le choix par défaut sauf si un @Qualifier en sélectionne un autre. Le deuxième constructeur existe pour la compression des requêtes. La réécriture des requêtes étant une tâche peu coûteuse, un modèle petit et peu gourmand comme gpt-5-nano convient bien, bien que n’importe quel modèle puisse être utilisé.
Avec un transformateur et son propre constructeur en place, QuestionAnswerAdvisor peut être remplacé par RetrievalAugmentationAdvisor, configuré via un ChatClientBuilderCustomizer :
@Bean
ChatClientBuilderCustomizer addRagAdvisor(
QueryTransformer queryTransformer,
VectorStore vectorStore) {
return builder -> {
var ragAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.vectorStore(vectorStore)
.build())
.queryTransformers(queryTransformer)
.build();
builder.defaultAdvisors(ragAdvisor);
};
}
Cet conseiller nécessite un peu plus de configuration mais offre un contrôle accru. Il requiert d’abord un récupérateur de documents, ici un VectorStoreDocumentRetriever qui extrait les résultats correspondants depuis le VectorStore fourni. L’élément clé est l’appel à queryTransformers(), qui reçoit l’objet CompressionQueryTransformer. Par la suite, chaque requête destinée au stock est d’abord réécrite pour intégrer le contexte de conversation pertinent, ce qui améliore considérablement les chances de trouver les documents appropriés.
La même conversation à nouveau
En répétant le dialogue, on obtient un résultat différent :
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.
> Is there a penalty?
- Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).
L’application explique la technique de plaquage et répond également correctement aux questions suivantes, bien que l’utilisateur n’évoque plus jamais les plaquages par chute de hanche.
La différence réside dans la requête qui a atteint le stockage vectoriel. Spring AI ne enregistre pas pour l’instant le texte réécrit, donc le moyen le plus rapide de le voir est d’ajouter un point d’arrêt sur la ligne return à l’intérieur de CompressionQueryTransformer.transform(). Deux réécritures y apparaissent :
- La première question est devenue plus longue, demandant ce qu’est un plaquage par chute de hanche, quel sport l’utilise, comment il est exécuté, ainsi que quelles en sont les implications en termes de légalité et de sécurité.
- La question vague concernant les pénalités est devenue plus précise, demandant si le football américain pénalise ce type de plaquage, et dans l’affirmative, de combien de yards et s’un premier down automatique suit.
La deuxième réécriture explique l’amélioration. Au lieu d’une question ambiguë, le système a reçu une question complète et autonome qui incluait le contexte provenant de l’historique, ce qui lui a permis de retourner des extraits concernant les plaquages au niveau des hanches et non des pénalités pour d’autres actions.
Il est intéressant de noter que la première requête a également été réécrite. Elle ne dépendait pas de questions précédentes, pourtant le transformateur l’a transformée en une question plus descriptive, ce qui peut améliorer la récupération des informations en rendant l’intention plus claire.
C’est là la valeur du CompressionQueryTransformer : les utilisateurs n’ont pas besoin de reformuler tout ce qu’ils disent à chaque fois. Ils peuvent parler naturellement, tandis que le système reçoit des requêtes riches et explicites dont il a besoin.
Ce n’est là qu’un exemple de ce que RetrievalAugmentationAdvisor permet. La transformation des requêtes constitue un point d’extension au sein du pipeline. La récupération de documents, le post-traitement des documents obtenus, l’expansion des requêtes ainsi que d’autres étapes peuvent également être personnalisées.
Compromis à garder à l’esprit
La compression des requêtes n’est pas gratuite. Chaque interaction de l’utilisateur déclenche désormais une appel supplémentaire à un LLM avant même que la récupération ne commence, ce qui augmente la latence et entraîne des coûts supplémentaires. C’est la raison pour laquelle le transformateur dispose de son propre petit modèle : la tâche de réécriture est courte et bien définie, de sorte qu’un modèle compact suffit généralement, tandis que le modèle principal reste réservé à la réponse finale.
Puisque la requête réécrite n’est pas enregistrée par défaut, il est utile d’ajouter son propre système d’enregistrement ou un point d’arrêt temporaire pendant l’ajustement. En examinant rapidement quelques paires d’origine et de version réécrite, on peut déterminer si le transformateur omet des détails ou complète les requêtes avec des suppositions, comme le nom du sport dans le premier exemple ci-dessus. Si la qualité des résultats semble anormale, le texte réécrit est le premier endroit à vérifier.