Depura RAG encontrando la primera etapa que falló

Cuando un asistente de conocimiento da una respuesta deficiente, cambiar la instrucción es una reacción sencilla. Solo resulta útil si el modelo recibió evidencias adecuadas y luego las manejó incorrectamente.

Un documento faltante, una extracción incompleta y una conclusión sin sustento son fallos diferentes. Tratarlos como un único índice de calidad ralentiza la depuración, ya que el índice no indica qué parte modificar.

Un ciclo de evaluación práctico debe conservar el camino desde el material de origen hasta la respuesta que vio el usuario.

Cree ejemplos con evidencias, no solo respuestas

Para cada pregunta de prueba, registre los pasajes que respaldan una respuesta aceptable. Incluya las condiciones que la respuesta debe respetar y las afirmaciones que debe evitar.

Un caso ilustrativo podría verse así:

{
  "question": "When should this deployment be rolled back?",
  "required_evidence": ["handbook-v3:section-8"],
  "must_include": ["the failed health-check condition"],
  "must_not_claim": ["every warning requires rollback"],
  "answerable": true
}

Este registro es más útil que una sola oración esperada. Permite varias respuestas bien redactadas al mismo tiempo que mantiene las condiciones que las hacen correctas.

Agregue preguntas a las que el corpus no pueda responder. De lo contrario, un sistema que siempre genera algo podría parecer más sólido que uno que reconoce correctamente la falta de evidencia.

Verifique primero el fallo más temprano

Comience con la fuente. ¿Existe la información requerida en el texto indexado y pertenece al documento indicado? Si no, corrija la ingestión de fuentes.

A continuación, examine el proceso de recuperación. ¿Entró la evidencia relevante en el grupo de candidatos? Si es así, ¿sobrevivió al filtrado, la reclasificación y el montaje de contexto? Estos son puntos de control distintos. Un pasaje encontrado mediante búsqueda pero eliminado antes de la generación no puede sustentar la respuesta final.

Finalmente, revise la respuesta. ¿Representó con precisión las pruebas, conservó las excepciones y evitó afirmaciones sin sustento? Si el contexto era suficiente pero la respuesta falló, el comportamiento de estimulación o generación se convierte en un objetivo razonable.

Este orden evita que un modelo potente oculte una recuperación deficiente en preguntas fáciles y luego fracase de manera impredecible en aquellas que no puede responder con su conocimiento previo.

Utilice métricas que detecten diferentes errores

El recuerdo en un umbral elegido mide la fracción de elementos relevantes etiquetados que se recuperan. La precisión mide la fracción de elementos devueltos que son relevantes. Una métrica de tasa de aciertos verifica si apareció al menos un elemento relevante; esto es menos estricto que recuperar todas las pruebas necesarias para una respuesta multifacética.

Las métricas de clasificación ayudan a distinguir las pruebas en la primera posición de aquellas que quedan cerca del umbral. Pero los etiquetados de relevancia requieren precaución: un texto puede mencionar el tema, mientras que otro responde directamente a la pregunta. Tratarlos como igualmente útiles puede recompensar un comportamiento incorrecto.

Para la generación, evalúe por separado el soporte, la corrección, la completitud y la alineación de las citaciones. Una respuesta puede repetir con precisión una fuente desactualizada. También puede contener una afirmación correcta que no esté respaldada por las pruebas proporcionadas. Estos casos exigen correcciones diferentes.

Mantener la calidad operativa en el mismo experimento

Registre el tiempo de respuesta, los fallos y el uso de recursos junto con las evaluaciones de calidad. Preserve la versión del corpus, los ajustes de recuperación, la versión de la instrucción y el identificador del modelo para que las comparaciones sean interpretables.

Al diagnosticar una regresión, cambie una variable importante a la vez. Por ejemplo, compare el reranking activo y desactivado manteniendo constante el conjunto de candidatos. Cambiar al mismo tiempo la forma de dividir los datos, la recuperación y el prompt puede mejorar la puntuación sin aclarar la causa real.

Los jueces automatizados pueden ayudar a revisar muchos resultados, pero los desacuerdos y casos límite sensibles deben inspeccionarse manualmente. La puntuación de un juez es otra medida con limitaciones, y no sustituye a una rúbrica explícita.

Evalúe lo que llega al usuario

Incluso una respuesta correcta del backend puede aparecer con la consulta incorrecta si la interfaz acepta solicitudes obsoletas. Incluya la interacción de búsqueda en React en las verificaciones de extremo a extremo.

El resultado útil de la evaluación es una acción concreta a seguir: reparar la extracción, ampliar la recuperación de información, preservar el contexto, revisar la generación o corregir la forma de entrega. Eso es un resultado mucho más sólido que saber simplemente que una respuesta “parecía incorrecta”.