Inicio / Artículos

Un sistema RAG puede funcionar y, aun así, clasificar primero pruebas incorrectas.

Tanto la búsqueda densa como la híbrida obtuvieron un Recall@5 perfecto, pero el MRR superó al RRF al descartar un resultado correcto. Por qué la evaluación de RAG necesita verificaciones por consulta, y no un promedio.

Editor: REACTAPP.TOP6 min de lectura1273 palabras

Fuentes: https://medium.com/data-science-collective/a-rag-system-can-work-and-still-retrieve-the-wrong-evidence-first-e21201356c55

Un pipeline de recuperación puede devolver números positivos y, aun así, presentar primero la evidencia incorrecta. En una prueba con 22 consultas, tanto la búsqueda densa como la búsqueda híbrida fusionada con Reciprocal Rank Fusion (RRF) obtuvieron un Recall@5 de 1.0. El promedio del rango recíproco mostró una historia diferente: 0.9545 para la búsqueda densa frente a 0.8977 para la híbrida. Casi toda esa diferencia se debió a una sola consulta de paráfrasis, q006. La fusión hizo que un resultado correcto obtenido únicamente mediante búsqueda densa pasara del primer lugar al cuarto, y ningún valor de la constante RRF k entre 0 y 100 logró devolverlo al primer lugar. La lección práctica fue que no existe una configuración mágica; se trata de desarrollar el hábito de detectar ese tipo de regresión en lugar de confiar únicamente en una sola puntuación de resumen.

Resumen de la prueba

Tres algoritmos de recuperación se probaron con el mismo conjunto etiquetado: BM25 para la coincidencia léxica, embeddings densos provenientes de all-MiniLM-L6-v2, y una fusión híbrida con RRF a k=60. Tanto el método denso como el híbrido lograron que cada fragmento de referencia apareciera entre los cinco primeros resultados. Sin embargo, sus puntuaciones MRR no coincidieron; q006 fue la causa principal de la disminución. Probar diferentes valores para k nunca restableció el ranking denso.

Recall@5 indicó que los dos métodos estaban empatados, mientras que MRR mostró lo contrario.

Interpretación de las puntuaciones

BM25 obtuvo un valor de Recall@5 de 0.9545 y MRR@5 de 0.8818. El método denso alcanzó 1.0 / 0.9545, mientras que el híbrido logró 1.0 / 0.8977. Comparados lado a lado, tanto el método denso como el híbrido parecen igualmente exitosos si lo que se evalúa es simplemente si el fragmento etiquetado apareció entre los cinco resultados.

Ese “en algún lugar del puesto cinco” es la trampa. Recall pregunta si el objeto de oro está presente. MRR pregunta qué tan temprano aparece el primer objeto útil. Ocultar la respuesta en el puesto cinco y colocarla en el primero se ven idénticos en Recall, pero resultan muy diferentes para un usuario o un agente que solo lee la parte superior de la lista.

Las definiciones breves hacen que el contraste sea evidente:

def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
    """1 if the gold chunk appears anywhere in the top k, else 0."""
    return int(gold_id in ranked_ids[:k])

def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
    """1/rank of the gold chunk's first appearance, 0 if absent."""
    for rank, doc_id in enumerate(ranked_ids, start=1):
        if doc_id == gold_id:
            return 1.0 / rank
    return 0.0

Primera conclusión: una métrica verde puede responder a la pregunta para la que fue creada y, al mismo tiempo, ocultar la pregunta que realmente importa.

Comparar consulta por consulta

En lugar de ajustar el método híbrido de una sola vez, coloque el método denso y el híbrido uno al lado del otro. De las 22 preguntas respondibles, dieciocho mantuvieron el mismo ranking de calidad. El método híbrido ayudó a una; perjudicó a tres. El caso más grave fue el q006: el método denso mostró primero el pasaje etiquetado, mientras que el híbrido lo colocó en cuarto lugar. Ese único caso se convirtió en objeto de investigación.

Por qué la fusión de métodos redujo el ranking de un resultado correcto

Hybrid combina las posiciones de rango en lugar de promediar las puntuaciones BM25 con las similitudes coseno, ya que estos dos sistemas numéricos no comparten una misma escala. Por lo tanto, RRF agrega contribuciones basadas únicamente en el rango. Un diseño sensato, con un verdadero compromiso. En q006, dense prefirió claramente el fragmento etiquetado, aunque otros candidatos ocuparon posiciones altas en ambas listas. Esos candidatos de las listas dobles recibieron puntos tanto de BM25 como de dense, y el ganador de dense descendió al cuarto lugar.

Una función de fusión compacta:

def reciprocal_rank_fusion(
    rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
    """Fuse multiple ranked lists using rank position only."""
    scores: dict[str, float] = {}
    for ranking in rankings.values():
        for rank, doc_id in enumerate(ranking, start=1):
            scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
    return sorted(scores, key=scores.get, reverse=True)

La coincidencia entre los buscadores es una pista, pero no constituye prueba de corrección. Esa forma de presentar los datos es más útil que decir “el MRR híbrido disminuyó”. Ahora existe un mecanismo para realizar inspecciones, y no solo para observar fluctuaciones en el panel de control.

¿Solucionaron los ajustes el problema?

El método de trabajo es conocido: cambiar una variable y medir nuevamente. Al mantener fijos la profundidad y top-k e ir variando k entre 0, 10, 20, 40, 60, 80 y 100, el Recall se mantuvo perfecto. El MRR solo varió ligeramente, pasando de aproximadamente 0.91 en k=0 a alrededor de 0.90. q006 pasó del segundo al tercer y luego al cuarto lugar, sin volver a ocupar el primero. Al ampliar el conjunto de candidatos de 5 a 30 manteniendo k fijo en 60, el Recall siguió siendo perfecto y el MRR híbrido se mantuvo cerca de 0.90, aún por debajo del valor de dense. En estas pruebas, los ajustes obvios no lograron eliminar la brecha en el ranking.

De números de ejemplo a prácticas en producción

A las empresas rara vez les importa el nombre de una arquitectura de recuperación. Lo que les interesa es si las respuestas son fiables, si un cambio mejora la calidad y si alguien puede explicar una regresión. Eso hace que el proceso se aleje de un enfoque de “crear, probar algunos prompts y lanzar” hacia uno basado en medir, analizar por partes, inspeccionar, explicar, modificar y volver a medir.

El resultado útil no es una sola puntuación. Son el orden de cada consulta, los fragmentos que se devolvieron, los puntos en los que las herramientas de recuperación no estuvieron de acuerdo, los análisis por tipo de pregunta, los casos concretos de fallo y la configuración que los generó. Cuando un número en el panel de control cambia, ese conjunto de datos le brinda al ingeniero un punto de partida.

A mayor escala, Uber ha descrito una separación similar en Genie, su copiloto de respuestas instantáneas: la calidad de la recuperación y la calidad de la respuesta se miden por separado, en comparación con un conjunto de referencia creado con expertos en la materia. Un detalle importante es que una mala extracción de PDF puede destruir el contexto de las tablas y su división en fragmentos incluso antes de que se ejecute la recuperación. Lo que parece un error en el ranking puede originarse en un problema de calidad del documento.

También pueden estar equivocadas las etiquetas

El evaluador solo conoce las etiquetas de relevancia que le han sido asignadas. Un fragmento puede ser realmente útil y, aun así, considerarse como un fallo, ya que no corresponde al elemento de referencia etiquetado. Los fragmentos superpuestos complican aún más la situación. Cuando una consulta da resultados deficientes, se debe examinar tanto el sistema de recuperación como los datos de referencia. ¿Está completo el conjunto de relevancia? ¿Podrían dos fragmentos responder a la pregunta? ¿Acaso un límite entre fragmentos ha separado una afirmación de su explicación? Las herramientas de evaluación no reemplazan el juicio humano; simplemente brindan un entorno más adecuado para tomar decisiones.

Cinco guardiánes

  1. Perfect Recall@5 no es una clasificación perfecta. Hay que añadir el MRR, ya que de lo contrario solo se sabe que la respuesta existe en algún lugar.
  2. Hay que analizar la consulta en profundidad, no solo el promedio. Un caso negativo puede afectar a toda la puntuación.
  3. El acuerdo entre los recuperadores es una pista, no un veredicto. RRF premia la popularidad en listas dobles; eso es una heurística.
  4. Manipular ajustes no significa comprender el mecanismo. La prueba k sweep demostró que la regresión era real; solo las matemáticas de fusión pudieron explicarla.
  5. Se deben examinar las etiquetas con la misma atención que el modelo. Un hallazgo “incorrecto” podría ser un trozo de oro mal etiquetado.

Cierre

La victoria obtenida con un conjunto reducido de recursos rara vez consagra a alguien como campeón. Es un fracaso similar al q006 el que obliga a seguir un camino desde una métrica, pasando por una consulta, los fragmentos de texto, los cálculos de fusión, hasta un experimento controlado. La evaluación cobra sentido cuando abre una investigación en lugar de cerrarla. Una demostración prueba que el proceso funciona correctamente. Un bucle bien diseñado demuestra que se puede confiar en los cambios futuros.

Enlaces

  • Banco de pruebas para la evaluación de sistemas RAG en GitHub
  • Demostración en vivo en Hugging Face Spaces
  • Cormack, Clarke y Buettcher sobre la fusión de rangos recíprocos
  • Uber también publicó un artículo técnico sobre RAG agente mejorado.
  • La descripción de Genie de Uber se encuentra en el blog técnico de la empresa bajo el título Genie.

Lecturas relacionadas

  • ¿Por qué los asistentes inteligentes de IA todavía dan respuestas incorrectas? Una visión del pipeline — Sigue el proceso de un asistente de IA, desde los datos de entrenamiento y las ventanas de contexto hasta la recuperación y generación mediante RAG, para entender de dónde provienen las respuestas erróneas y cómo reducirlas.