Reclasificación en RAG con Spring AI y Pinecone: Pasar una respuesta del puesto 4 al 1
Reclasificación en RAG con Spring AI y Pinecone: búsqueda vectorial simple frente a un paso de reclasificador BGE en un manual de recursos humanos, donde una respuesta oculta pasa del puesto 4 al 1.
Fuentes: Reranking in RAG: The Spring AI and Pinecone Implementation
Escribe una pregunta en una herramienta de búsqueda corporativa y aparecen cinco resultados. Todos parecen relacionados, pero el que realmente responde a la pregunta se encuentra en tercer lugar, debajo de dos párrafos que solo comparten algunas palabras. La búsqueda entendió lo que se dijo, pero no del todo lo que se quería decir. Esa pequeña diferencia entre parecer relevante y serlo realmente es la razón por la que existe el reclasificación: la búsqueda vectorial encuentra texto que suena similar, no necesariamente texto que responda.
Lo que sigue convierte esta idea en código funcional. Dos rutas de búsqueda procesan el mismo documento uno al lado del otro, de modo que se puede observar la diferencia en lugar de confiar ciegamente en ella. Y resulta ser mayor de lo esperado.
El experimento
La prueba está diseñada intencionadamente alrededor de una respuesta oculta. Un verdadero manual de recursos humanos está dividido en partes pequeñas, y se plantea una pregunta cuya respuesta se encuentra en una sección que nadie adivinaría primero. Luego se busca la respuesta de dos maneras: la primera busca fragmentos que suenen similares a la pregunta; la segunda toma esos mismos fragmentos, los evalúa adecuadamente y devuelve un orden nuevo basado en cuál responde mejor en realidad. El objetivo principal es observar que los dos órdenes difieren para la misma pregunta.
Stack y requisitos previos
La compilación se ejecuta con Java 21, Spring Boot 3.5.14 y Spring AI 1.0.8. Las representaciones vectoriales provienen de text-embedding-3-small de OpenAI. Pinecone cumple doble función: como almacén de vectores y como API de reclasificación alojada, y el modelo de reclasificación es bge-reranker-v2-m3.
¿Por qué usar también Pinecone para el reclasificado? VectorStore de Spring AI no tiene concepto de reclasificado, por lo que este es el único caso en el que se sale de la abstracción y se utiliza el SDK en Java bruto de Pinecone para realizar una sola llamada de reclasificado.
Primero deben existir tres elementos. Uno es una cuenta de Pinecone con un índice cuya dimensión es 1536, que coincida con la salida del modelo de embeddings. Otro es una clave API de OpenAI para poder generar embeddings. El tercero es Gradle, para gestionar las dependencias.
Preparación del manual
La búsqueda requiere datos primero, por lo que el manual debe dividirse en fragmentos y cargarse en Pinecone. Un único endpoint /ingest se encarga de ello: el archivo se lee, se divide en fragmentos de 300 tokens y se almacena como vectores, y un mecanismo de detección de duplicados evita que las ejecuciones repetidas vuelvan a insertar todo. El archivo se encuentra en src/main/resources/docs/abc_company_employee_handbook.txt. Es útil echarle un vistazo rápido de antemano, especialmente la sección sobre trabajo desde casa, que contiene una de las respuestas más difíciles.
Dos endpoints
La misma consulta se envía a través de dos endpoints que, desde el exterior, parecen casi idénticos:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
El primero es la línea de base honesta. Consulta la base de datos vectorial, toma las coincidencias más cercanas y las devuelve en el orden en que fueron recibidas, sin ninguna opinión adicional. El segundo hace todo lo que hace el primero y agrega un paso antes de devolver los resultados. Envía los mismos fragmentos a un modelo de reclasificación y pregunta cuáles de ellos responden realmente a la pregunta. Los fragmentos vuelven reordenados según esa evaluación.
Ambos devuelven la misma estructura de respuesta. Solo difiere el orden, y ese orden es lo importante. El trabajo interesante tiene lugar en una capa por debajo del controlador, en RetrievalService.
Ruta 1: búsqueda de similitud simple
La simplicidad es el objetivo aquí: consultar la base de datos vectorial en busca de sus fragmentos más cercanos, aceptarlos tal como se devuelven y terminar. No se realiza ningún procesamiento adicional. Un método se encarga de la recuperación:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
En la configuración, topK es 5, por lo que se seleccionan los cinco fragmentos más cercanos según la similitud coseno. Esa es toda la recuperación de información. Cada fragmento llega con la puntuación de similitud propia del almacén de vectores, que indica cuán cercano está en significado a la consulta.
Aquí es donde surge el problema: un pasaje puede estar muy cerca de una pregunta y aun así no responderla. La información sobre licencias médicas está incluida dentro de la política de trabajo desde casa, por lo que el texto circundante parece ser una coincidencia excelente, y la búsqueda por similitud clasifica únicamente en función de esa cercanía. Nunca se verifica si el texto responde a la pregunta. El resultado es una lista corta aceptable sin ninguna determinación sobre cuál entrada es la respuesta real, y el segundo método agrega esa determinación.
Camino 2: agregar el paso de reclasificación
El objetivo ahora es averiguar qué fragmentos responden realmente a la pregunta. El proceso comienza de manera idéntica, realizando la misma búsqueda y recuperando los mismos fragmentos:
List<Document> hits = retrieveTopK(query);
Estos son los mismos cinco fragmentos que utilizó el primer endpoint, reutilizados intencionadamente. Una búsqueda diferente aquí no proporcionaría ninguna base sólida para comparar los dos resultados.
Luego viene el propio proceso de reclasificación. Spring AI no puede ayudar, ya que su almacén de vectores no tiene idea de qué es la reclasificación, por lo que el código llama directamente al modelo alojado en Pinecone:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
Eso es una solicitud real a un modelo alojado, no un atajo realizado localmente. El reordenador lee la pregunta junto con cada fragmento y evalúa qué tan bien responde ese fragmento. En contraste, la búsqueda por similitud compara vectores calculados con antelación y nunca lee los dos textos uno al lado del otro.
Imagínese que se le dan al reordenador cinco párrafos y se pide los tres mejores. En lugar de devolver texto, responde con posiciones, por ejemplo, primero el número 4, luego el 1 y después el 5, señalando los fragmentos según su posición en la línea. El último paso sencillo convierte esas posiciones en fragmentos reales. Cuando el modelo indica el número 4, el código vuelve a la lista original, toma el cuarto fragmento y extrae su texto y su puntuación.
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
Un cambio sutil: la puntuación que se muestra ahora es la puntuación de reclasificación, es decir, qué tan bien responde el fragmento a la pregunta, y no la puntuación de similitud anterior. Es el mismo fragmento, pero el número junto a él significa algo completamente distinto. Ese cambio de significado es toda la idea.
Viendo la diferencia
Ejecuta una pregunta en ambos servidores y revisa la consola. La pregunta elegida oculta bien su respuesta: ¿qué se debe hacer después de enfermarse mientras se trabaja desde casa?
En la búsqueda simple, cinco fragmentos se muestran en orden de similitud junto con sus puntuaciones. El fragmento que realmente responde, el índice 6, ocupa la posición 4 con solo un 37,5%. Tres fragmentos antes de él tratan sobre el trabajo desde casa o las licencias por enfermedad en general y obtienen puntuaciones más altas porque comparten más vocabulario con la consulta. La verdadera respuesta se clasifica como uno de los resultados más débiles, aunque es el único completo.
En el endpoint con reclasificación, entran los mismos cinco fragmentos y el modelo evalúa cada uno para determinar si responde a la pregunta. La salida incluye una banda de relevancia y una nota sobre el cambio en el ranking. El fragmento con la respuesta pasa del cuarto al primer lugar con una relevancia del 95,6% y la etiqueta de “Coincidencia excelente”, mientras que los fragmentos similares caen a “Coincidencia débil” con valores del 20,4% y 6,2%. Hay otro detalle destacable: el índice 5, que había liderado el ranking de similitud, no logró entrar entre los tres primeros tras la reclasificación. La similitud lo favoreció, pero la relevancia lo descartó.
Conclusión
La búsqueda vectorial acerca la respuesta, y el reclasificado la determina finalmente. Pasar la lista corta a un modelo que lee la pregunta y cada fragmento como una pareja suele decidir si el usuario confía en lo que ve o continúa desplazándose. Ejecutar la demostración con documentos privados muestra el mismo efecto en datos reales, con los fragmentos ascendiendo o descendiendo en el ranking.
Leer más
- RAG consciente de la conversación en Spring AI con CompressionQueryTransformer — Soluciona las preguntas de seguimiento vagas en una conversación RAG de Spring AI reescribiendo las consultas con el historial de la conversación antes de que lleguen al almacén vectorial, utilizando dos constructores de ChatClient.
- Por qué la reclasificación es la solución más económica y efectiva en un pipeline RAG — Obtener 50 resultados y reclasificarlos a 5: cómo los codificadores cruzados mejoran el ranking en RAG, cuáles son las ventajas y el tiempo de respuesta, cuándo omitir este paso y qué herramienta de reclasificación utilizar.