Inicio / Artículos

RAG sensible a la conversación en Spring AI con CompressionQueryTransformer

Corrige las preguntas de seguimiento vagas en una conversación de Spring AI RAG reescribiendo las consultas con el historial de la conversación antes de que lleguen al almacén de vectores, utilizando dos constructores de ChatClient.

Editor: REACTAPP.TOP6 min de lectura1455 palabras

Fuentes: Spring AI Recipe: Making RAG Conversation-Aware

Un chatbot RAG funciona mejor cuando el sistema de recuperación de información comprende toda la conversación y no solo el último mensaje. Spring AI puede incluir el historial de chat relevante en la consulta enviada al almacén de vectores, de modo que las preguntas posteriores recuperen el contexto adecuado.

El problema de las preguntas posteriores

Imagínese una aplicación de chat RAG desarrollada sobre el reglamento de la NFL de 2026. La primera pregunta solicita una definición de un tacleo por caída de cadera. QuestionAnswerAdvisor envía ese mismo texto al almacén de vectores, los fragmentos más cercanos son recuperados y se añaden al prompt, y el LLM escribe la definición. Hasta aquí, no hay nada incorrecto.

El siguiente mensaje es simplemente “¿Hay una sanción?”. Una persona sabe que el tema sigue siendo el tackle de caída de cadera. El almacén de vectores no lo sabe. Antes de que el LLM vea algo, el almacén recibe solo esas cuatro palabras. Si tiene suerte, devuelve información sobre los tackles de caída de cadera. Lo más probable es que devuelva sanciones por jugadas no relacionadas. El RAG conversacional tiene esta debilidad en general: las personas hacen preguntas adicionales sin reexpresar el contexto, y la fase de recuperación no tiene memoria de las interacciones anteriores.

Reproducirlo

Comience con la receta existente para RAG sin una base de datos de vectores separada, y dirija la propiedad rag.document.url en application.properties hacia el PDF del reglamento, que la NFL publica en su sitio web operativo:

rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf

Luego ejecute la aplicación sin cambios y pregunte sobre las derribes por caída de cadera. Una sesión se ve así:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.

> Is there a penalty?

 - I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.

La segunda pregunta no recibe respuesta a partir del contexto recuperado. La tienda nunca buscó información sobre las tácticas de tipo hip-drop, solo sobre la vaga pregunta relacionada con las penalizaciones. La respuesta sí menciona dicha táctica, lo que demuestra que el historial de chat conservó el contexto. El problema es que el sistema de recuperación nunca tuvo acceso a ese historial. Lo que se necesita es una forma de incluir el historial relevante en la consulta del almacén de vectores, y Spring AI ofrece una solución para ello.

Un asesor diferente

QuestionAnswerAdvisor no es el único asesor RAG en Spring AI. RetrievalAugmentationAdvisor es más flexible y permite personalizar casi cada etapa de la recuperación de información. Uno de los puntos de extensión es el transformador de consultas, que reescribe la consulta del usuario antes de que llegue al almacén.

Esta receta utiliza CompressionQueryTransformer. A pesar del nombre, no se limita a acortar la consulta; la reescribe en una forma compacta y autónoma que incluye todo lo relevante de la conversación hasta el momento. De este modo, el almacén de vectores recibe una consulta mucho más significativa.

El transformador se declara como un bean:

@Bean
QueryTransformer queryTransformer(
    @Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
  return CompressionQueryTransformer.builder()
      .chatClientBuilder(chatClientBuilder)
      .build();
}

Pide a un LLM que cree una consulta mejor a partir de la pregunta actual y del historial de chat, y por eso se inyecta un ChatClient.Builder. Ese constructor inyectado lleva un @Qualifier. Reutilizar el constructor del bucle de chat crearía una dependencia circular, y mantenerlos separados también permite utilizar un modelo diferente para la compresión que para la respuesta.

Aquí OpenAI proporciona ambos constructores, por lo que no se necesita un proveedor adicional como Anthropic u Ollama, pero se definen dos beans separados de ChatClient.Builder:

@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
    OpenAiChatModel openAiChatModel,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {

  return applyCustomizers(
      ChatClient.builder(openAiChatModel),
      customizers
  );
}

@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
    OpenAiChatModel openAiChatModel) {
  return ChatClient.builder(openAiChatModel)
      .defaultOptions(OpenAiChatOptions.builder()
          .model("gpt-5-nano"));
}

private ChatClient.Builder applyCustomizers(
    ChatClient.Builder builder,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {
  customizers.orderedStream()
      .forEach(customizer -> customizer.customize(builder));
  return builder;
}

La configuración se asemeja a las recetas anteriores que utilizan múltiples modelos. El primer constructor reemplaza al configurado automáticamente por Spring AI, de modo que los ChatClientBuilderCustomizer registrados siguen aplicándose, lo cual se logra pasando el constructor y los personalizadores al helper applyCustomizers(). Está marcado con @Primary, lo que lo convierte en el predeterminado a menos que un @Qualifier seleccione otro. El segundo constructor existe para la compresión de consultas. Reescribir consultas es una tarea sencilla, por lo que un modelo pequeño y de bajo costo como gpt-5-nano es adecuado, aunque se puede utilizar cualquier modelo.

Con un transformador y su propio constructor en su lugar, QuestionAnswerAdvisor puede ser reemplazado por RetrievalAugmentationAdvisor, configurado a través de un ChatClientBuilderCustomizer:

@Bean
ChatClientBuilderCustomizer addRagAdvisor(
    QueryTransformer queryTransformer,
    VectorStore vectorStore) {

  return builder -> {
    var ragAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
            .vectorStore(vectorStore)
            .build())
        .queryTransformers(queryTransformer)
        .build();
    builder.defaultAdvisors(ragAdvisor);
  };
}

Este asesor requiere un poco más de configuración, pero ofrece un mayor control. Primero necesita un recuperador de documentos, en este caso un VectorStoreDocumentRetriever que obtiene resultados de la VectorStore proporcionada. La parte importante es la llamada a queryTransformers(), la cual recibe el bean CompressionQueryTransformer. A partir de ahí, cada consulta dirigida al almacén se reescribe primero para incluir el contexto de conversación relevante, lo que aumenta significativamente las posibilidades de encontrar los documentos adecuados.

La misma conversación de nuevo

Al repetir el diálogo se obtiene un resultado diferente:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.

> Is there a penalty?

 - Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).

La aplicación explica el tipo de tackle y también responde correctamente a las preguntas posteriores, aunque el usuario nunca vuelve a mencionar los tackles de caída de cadera.

La diferencia radica en la consulta que llegó al almacén de vectores. Spring AI no registra por el momento el texto reescrito, por lo que la forma más rápida de verlo es establecer un punto de interrupción en la línea return dentro de CompressionQueryTransformer.transform(). Allí aparecen dos reescrituras:

  • La primera pregunta se convirtió en una más larga que preguntaba qué es un tackle de caída de cadera, qué deporte lo utiliza, cómo se realiza y cuáles son sus implicaciones legales y de seguridad.
  • La pregunta vaga sobre las sanciones se convirtió en una completa que preguntaba si el fútbol americano sanciona los tackles de caída de cadera, y de ser así, cuántos yardas y si sigue un primer down automático.

La segunda versión revisada explica la mejora. En lugar de una pregunta ambigua, la tienda recibió una pregunta completa e independiente que incluía contexto del historial, por lo que devolvió pasajes sobre tackles de tipo hip-drop y no sanciones por otras jugadas.

Curiosamente, la primera consulta también fue reescrita. Aunque no dependía de consultas anteriores, el transformer la amplió en una pregunta más descriptiva, lo que puede mejorar la recuperación de información al dejar la intención más clara.

Ese es el valor de CompressionQueryTransformer. Los usuarios no tienen que repetir todo en cada consulta posterior. Pueden hablar de forma natural mientras la tienda recibe las consultas detalladas y explícitas que necesita.

También es solo un ejemplo de lo que permite RetrievalAugmentationAdvisor. La transformación de consultas es un punto de extensión dentro del proceso. La recuperación de documentos, el procesamiento posterior de los documentos obtenidos, la expansión de consultas y otras etapas también pueden personalizarse.

Compromisos a tener en cuenta

La compresión de consultas no es gratuita. Cada interacción del usuario ahora desencadena una llamada adicional al LLM antes incluso de que comience la recuperación, lo que aumenta la latencia y genera un pequeño costo. Esa es la razón por la cual se le da al transformador su propio modelo pequeño: la tarea de reescritura es breve y bien definida, por lo que un modelo compacto suele ser suficiente, mientras que el modelo principal se reserva para la respuesta final.

Dado que la consulta reescrita no se registra por defecto, vale la pena agregar su propio sistema de registro o un punto de interrupción temporal mientras se realiza el ajuste. Al revisar rápidamente un par de ejemplos, uno original y otro reescrito, se puede determinar si el transformador está perdiendo detalles o completando las consultas con suposiciones, como el nombre del deporte en el primer ejemplo anterior. Si la calidad de la recuperación parece incorrecta, el texto reescrito es el primer lugar donde buscar problemas.

Leer más