Por qué el reclasificación es la solución más económica y efectiva en una pipeline RAG
Recuperar 50 resultados y reordenarlos a 5: cómo el reordenamiento con codificador cruzado corrige el orden en una pipeline RAG, las ventajas y la latencia esperadas, cuándo omitirlo y qué incluir en la implementación.
Incluso cuando un recuperador encuentra el fragmento correcto, puede clasificarlo en un nivel tan bajo que el modelo nunca lo vea. Una segunda pasada de puntuación soluciona eso: se selecciona un conjunto amplio de candidatos, se vuelve a puntuar con un modelo más potente y solo se le entregan al LLM los resultados ganadores.
Dos tareas ocultas en un mismo proceso
La recuperación en un sistema RAG realiza dos cosas separadas. Debe encontrar el pasaje adecuado y colocarlo en una posición lo suficientemente alta como para que el modelo pueda utilizarlo. Los equipos tienden a invertir esfuerzos en la primera tarea y a descuidar la segunda, por lo que las métricas de recuperación pueden parecer excelentes mientras que las respuestas siguen siendo decepcionantes.
El modelo solo ve lo que se incluye en el prompt. Un fragmento correcto que ocupa el puesto 7 se pierde si solo se envían los 5 primeros, y para fines prácticos es como si estuviera en el puesto 700. Por eso Recall@50 puede parecer excelente mientras las respuestas son incorrectas: la información se encontró pero nunca llegó a la ventana de contexto.
El reclasificación cierra esa brecha. Como paso de segunda etapa, vuelve a calificar a los candidatos que ya encontró el recuperador y los reordena según cuán bien responden a la consulta. Para muchos sistemas, representa uno de los mejores aumentos de calidad por unidad de esfuerzo, ya que la arquitectura permanece sin cambios y el resto del sistema no se ve afectado.
Por qué difieren las dos etapas
Un retriever denso incrusta cada documento de antemano. En el momento de la consulta, incrusta la consulta y busca vectores cercanos. La consulta y el documento nunca se encuentran realmente, ya que cada uno se comprime en su propio vector antes de la comparación, y esa compresión descarta los detalles precisos sobre cuán bien se corresponden. La ventaja es la velocidad, lo suficientemente económica como para escanear millones de documentos.
Un cross-encoder funciona de manera diferente. Introduce la consulta y un único documento al modelo conjuntamente, como una sola entrada, y ejecuta un proceso completo hacia adelante con esa pareja. Dado que ambos textos se ven juntos, las negaciones, los calificadores y la redacción específica que hace que un pasaje responda realmente a una pregunta pueden ser tomados en consideración, en lugar de solo una semejanza aproximada.
Esa precisión tiene un costo. No se puede precalcular nada, por lo que hay un proceso por cada candidato en el momento de la consulta. Con un millón de documentos eso es imposible, mientras que con 50, ya que la primera etapa los ha seleccionado, es rápido y práctico. De ahí surge la idea de dos etapas: recuperar de forma económica y amplia, y luego reordenar con precisión y de manera más restrictiva.
La guía de Cohere, las recetas de RAG de OpenAI y la mayoría de los stacks de producción siguen más o menos la misma metodología, en tres pasos:
- Recuperar de forma amplia. Se toman los 50 mejores resultados, a menudo mediante búsquedas híbridas donde se combinan resultados de métodos densos y BM25 con fusión de rangos recíprocos. Una red amplia aumenta las posibilidades de incluir el fragmento adecuado.
- Reordenar. Un codificador cruzado califica cada uno de los 50 pares consulta-documento, y luego la lista se ordena según esa calificación.
- Mantener cinco. Se envían solo los pocos resultados más relevantes al LLM.
La regla práctica que sobrevive en las pruebas de rendimiento es sencilla: recuperar 50 resultados y luego clasificarlos para quedarse con 5. La primera etapa se encarga de la recuperación al incluir los fragmentos correctos en el conjunto, mientras que la etapa de reclasificación se ocupa de la precisión al llevarlos a la parte superior. No es necesario volver a incrustar datos, no se reconstruye ningún índice y el recuperador permanece igual, lo que explica por qué esta solución es tan eficaz y tan beneficiosa.
Qué aporta y qué cuesta
Las mejoras en la precisión son consistentes y lo suficientemente significativas como para ser relevantes:
- +5 a 15 NDCG@10 es el valor típico en las pruebas MTEB y BEIR.
- Se observa una precisión@3 un 40 a 60% mayor en los recuperadores con ruido, que es precisamente la situación a la que se dirige la reclasificación.
- En las pruebas de Databricks frente a la similitud de incrustación bruta, hubo un 35% menos de alucinaciones, ya que los fragmentos mejor fundamentados dejan al modelo menos espacio para inventar información.
La latencia sí aumenta, pero el incremento es menor en comparación con todo el proceso:
- Evaluar a 50 candidatos tarda menos de 50 ms en una GPU.
- En una CPU, los mismos 50 candidatos requieren de 100 a 300 ms cuando se envían en un único llamado por lotes.
- Una biblioteca ultraligera como FlashRank solo necesita de 15 a 30 ms.
- La completación con LLM sigue siendo la más eficiente en términos de tiempo y costo, por lo que el reclasificado apenas afecta la factura.
Pagar aproximadamente de 120 a 200 ms para obtener un aumento de más del 40% en la precisión del top-3 es, en la mayoría de las aplicaciones, la mejor opción disponible en toda la cadena de procesamiento.
Cuándo ayuda y cuándo no
El reclasificado ofrece grandes beneficios, pero no es universal; su función principal es mejorar el ranking, no la búsqueda. Da buenos resultados cuando:
- Un resultado superior ruidoso a pesar de una buena capacidad de recuperación. El fragmento adecuado aparece entre los 50 mejores, pero ocupa el puesto 6 o 12. Una alta capacidad de recuperación@50 combinada con una baja precisión@3 es el argumento más claro a favor de un nuevo ordenamiento.
- Un presupuesto limitado de instrucciones. Si solo de 3 a 5 fragmentos llegan al modelo, el orden determina todo, y un mal resultado entre los 3 primeros conduce a una respuesta deficiente.
- Preguntas difíciles o ambiguas. En los casos en que el significado depende de un matiz o negación, como convertir facturas a CSV en lugar de informes a PDF, evaluar ambos elementos juntos permite distinguir respuestas cercanas que un codificador binario mezclaría.
- El corpus está repleto de casi duplicados. Los documentos de soporte y políticas contienen numerosos pasajes similares que responden a preguntas diferentes, y un sistema de reordenamiento permite diferenciarlos.
Es decepcionante cuando:
- Recuperación deficiente en la primera etapa. Un reordenador solo puede reorganizar los datos de entrada. Cuando el fragmento correcto falta entre los 50 primeros, es necesario mejorar primero la recuperación mediante una mejor división en fragmentos o una búsqueda híbrida.
- Recuperación ya excelente. Si el fragmento correcto suele aparecer entre los primeros puestos de todos modos, el reordenamiento solo altera una lista ya correcta sin aportar grandes beneficios. Una forma rápida de comprobarlo: cuando el mismo fragmento gana en la mayoría de las búsquedas, con o sin reordenador, entonces no está cumpliendo su función adecuadamente.
- Generador tolerante. Un modelo de contexto amplio que maneja 20 fragmentos poco relacionados obtiene menos resultados útiles de los 3 primeros que un modelo al que se le proporcionan solo 5 fragmentos.
- Límite estricto de latencia. Con un SLA estricto en tiempo real, 150 ms ya podría ser demasiado. Elija un reordenador rápido como FlashRank, o ninguno.
Para determinar qué caso se aplica, mida por separado el recall@50 y la precisión en la parte superior. El recall indica si la recuperación encuentra el fragmento, la precisión indica si lo clasifica, y el reclasificado solo corrige lo segundo.
Cross-encoder o reclasificador LLM
Existen dos familias, y la elección consiste en un equilibrio directo entre precisión y latencia.
- Los cross-encoders son la opción predeterminada. Son rápidos, económicos, predecibles y generan una puntuación numérica que se puede establecer como umbral. Para la gran mayoría de los sistemas de producción, son la respuesta correcta y definitiva.
- Reclasificadores de LLM piden a un modelo grande que juzgue su propia relevancia. En consultas realmente difíciles que requieren mucho razonamiento, pueden obtener una ventaja del 5 al 8% en algunas tareas, pero añaden de 4 a 6 segundos y cuestan mucho más. Los usuarios suelen rendirse después de unos 3 segundos, por lo que estos son adecuados para trabajos offline o en lotes de alto valor, pero rara vez para funciones interactivas.
Comience con un codificador cruzado. Considere un reclasificador de LLM solo después de medir una brecha real en consultas difíciles y confirmar que los segundos adicionales son aceptables.
Dos formas de implementarlo
Los equipos suelen elegir un codificador cruzado autohospedado o una API alojada, y ambos requieren solo unas pocas líneas de código.
El autohospedaje mediante sentence-transformers funciona bien con BGE-reranker-v2-m3, la opción predeterminada de código abierto habitual, que es multilingüe y está licenciada bajo Apache 2.0:
from sentence_transformers import CrossEncoder
# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)
def rerank(query, candidates, top_n=5):
pairs = [(query, doc) for doc in candidates] # one batched pass
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
return ranked[:top_n]
# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)
Cuando no se desea ejecutar un modelo, Cohere Rerank es la opción alojada:
import cohere
co = cohere.ClientV2()
resp = co.rerank(
model="rerank-v3.5",
query="How do I cancel my subscription?",
documents=candidates, # the top 50 from the retriever
top_n=5,
)
# resp.results carries the reranked indices and relevance scores
Ambas rutas utilizan la misma entrada, los 50 mejores resultados del recuperador, y devuelven una lista de los 5 mejores más precisa. Frameworks como LangChain colocan ambas opciones detrás de una misma interfaz, por lo que cambiar entre ellas solo requiere una edición sencilla.
Elegir un modelo
El campo se ha estabilizado en opciones claras que dependen del presupuesto de latencia, del idioma y de si es posible autohospedarlo:
- Valor predeterminado de código abierto: BGE-reranker-v2-m3, multilingüe y bajo licencia Apache 2.0, con un tiempo de aproximadamente 80 ms en CPU para 50 candidatos. Para trabajos con predominio del inglés se puede utilizar bge-reranker-large.
- Ruta más sencilla de hospedaje: Cohere Rerank requiere una sola llamada a la API y no necesita servidores, con un costo de aproximadamente 1 dólar por cada mil búsquedas.
- Objetivo de velocidad más estricto: FlashRank, o un codificador cruzado MiniLM compacto, que realiza el reordenamiento en CPU en menos de 30 ms, con un costo moderado en calidad.
- Documentos extensos: elija un reordenador de contexto largo como Jina Reranker v2, ya que los codificadores cruzados estándar cortan silenciosamente la entrada después de 512 tokens.
Como guía aproximada, una API alojada es la opción más económica para comenzar con menos de diez mil consultas diarias. Más allá de ese punto, un modelo BGE autoalojado suele amortizarse rápidamente.
Conclusión
El reordenamiento aporta la precisión necesaria para convertir una buena recuperación de información en respuestas sólidas. Un recuperador lanza una red amplia y económica que devuelve resultados ruidosos, y luego un codificador cruzado vuelve a calificar esos resultados con un proceso sensible a la consulta que el recuperador no podría realizar, llevando los fragmentos realmente relevantes a los lugares donde el modelo realmente los examina.
Es la solución RAG con mayor rendimiento, ya que se mantiene controlada: se recuperan 50 resultados, se vuelven a clasificar hasta quedarse con 5, no se modifica nada más y se mide el mejoramiento en los propios datos. La mejora en la precisión suele ser significativa, el costo en latencia es bajo, y la decisión depende de una sola pregunta: ¿el sistema de recuperación clasifica tan bien como los resultados que encuentra? Por lo general no lo hace, y el reclasificado es lo que cierra esa brecha.
Fuentes de los datos
- Documentación de reclasificación de Cohere
- Carta del modelo para BAAI's BGE-reranker-v2-m3
- Documentación de CrossEncoder de sentence-transformers
- ARAGOG, una comparación detallada de métodos avanzados RAG que incluyen reclasificación (arXiv 2404.01037)
- Evaluación de Databricks sobre RAG de contexto largo y reclasificación
- FlashRank, una biblioteca de reclasificación de baja latencia en GitHub
Leer más
- RAG avanzado en producción: arquitectura, herramientas y compromisos — Un recorrido por el RAG en entornos de producción: ingestión, análisis, fragmentación, embeddings, almacenes vectoriales, recuperación híbrida, reclasificación, evaluación y seguridad, junto con los compromisos asociados a cada uno de ellos.
- Reclasificación en RAG: el estrecho rango en el que los codificadores cruzados realmente son útiles — Por qué un codificador cruzado solo mejora el RAG entre un umbral mínimo de recuperación y un techo K, qué son los “Phantom Hits” y cómo medir ambos extremos en las consultas propias en una tarde.