Inicio / Artículos

Por qué las puntuaciones de precisión de los agentes engañan: pass^k, perturbaciones e inyección de fallos

Por qué pass@1 oculta a los agentes de IA poco fiables, y cómo pass^k, los conjuntos de perturbación de entrada y la inyección de fallos revelan brechas en consistencia, estabilidad y tolerancia a fallos.

Editor: REACTAPP.TOP9 min de lectura2034 palabras

Fuentes: Your agent’s accuracy score is lying to you

Mismo agente, dos números muy diferentes

En condiciones de referencia controladas, un agente de servicio al cliente basado en GPT-4o completa más del 60% de las tareas de venta minorista. Si se le pide que complete la misma tarea correctamente cada vez que se ejecuta, la tasa medida disminuye a aproximadamente el 25%. El modelo es el mismo y las tareas también. Solo cambió la pregunta.

La mayoría de los equipos se preguntan si el agente obtiene la respuesta correcta. En entornos de producción se plantea una pregunta más difícil: ¿obtiene la respuesta correcta en todo momento, independientemente de cómo esté formulada la entrada, e incluso cuando las herramientas que lo rodean funcionan mal? La evaluación de fiabilidad existe para responder a esa segunda pregunta.

Por qué pass@1 engaña a los agentes

Los benchmarks estándar de LLM indican pass@1, lo que significa que la tarea se ejecuta una vez y se registra el resultado. Para la generación de código eso es razonable, ya que el código o funciona o no, y una sola solución adecuada es suficiente. Los agentes funcionan de manera diferente. Un agente de soporte no tiene ocho intentos y luego elige el mejor; la tarea se ejecuta una sola vez, en un contexto específico, contra sistemas en tiempo real, mientras una persona real espera. Un buen valor de pass@1 describe el comportamiento en condiciones ideales y no dice nada sobre lo que ocurre cuando la misma tarea se realice al día siguiente.

El τ-bench de Sierra Research formalizó la diferencia con pass^k, que representa la probabilidad de que un agente tenga éxito en cada uno de los k intentos repetidos. El más conocido pass@k solo verifica si al menos uno de los k intentos funciona, por lo que estas dos métricas difieren significativamente. Imagínese a un cirujano con una tasa de éxito general del 70 %. Eso suena creíble hasta que se sabe que esa misma operación rutinaria falló tres veces la semana pasada. Una media no puede informar al paciente más reciente sobre lo que le ocurrió, y pass@1 no puede indicarle al usuario qué esperar una tarde de martes cuando el modelo sigue un camino diferente al realizar una tarea idéntica.

Tres dimensiones de la fiabilidad

ReliabilityBench (Gupta, 2025) fue aún más allá al dividir la fiabilidad del agente en tres dimensiones medibles.

Consistencia se refiere a si las ejecuciones repetidas de la misma tarea producen resultados equivalentes. Eso es lo que captura pass^k, y muchos equipos que prueban la fiabilidad se detienen en este punto.

Estabilidad de la entrada se refiere a si los resultados siguen siendo válidos cuando cambia la redacción. Los usuarios nunca formulan sus solicitudes de la misma manera, y los mensajes con el mismo significado no deberían generar resultados significativamente diferentes. En las pruebas sistemáticas del benchmark, alterar únicamente las descripciones de las tareas redujo el porcentaje de éxito del 96.9% en la situación inicial al 88.1% con una intensidad moderada. Eso representa una pérdida de 8.8 puntos solo por reformular el texto, antes de que se produzcan otros problemas.

Tolerancia a fallos se refiere a lo que ocurre cuando la infraestructura circundante funciona incorrectamente. Puede que una herramienta se bloquee, una API de nivel superior envíe de vuelta solo parte del contenido o un esquema defectuoso, o que se active la limitación de velocidad a mitad de una sesión. Una prueba controlada nunca genera ninguno de estos problemas, mientras que en entornos reales aparecen tarde o temprano. El estudio identificó la limitación de velocidad como el fallo más dañino, peor que los tiempos de espera y peor que las respuestas parciales.

Las tres dimensiones no evolucionan juntas. Un agente puede ser muy consistente en condiciones ideales pero frágil cuando los datos de entrada cambian ligeramente, mientras que otro maneja bien las salidas mal formadas de las herramientas pero tropieza con instrucciones reescritas. Analizar solo una dimensión proporciona una visión incompleta sobre si se puede confiar en el agente.

Tres incidentes, tres dimensiones

Un caso concreto ayuda a ilustrar cómo estas dimensiones se ocultan detrás de una puntuación general. Considérese un agente de análisis publicitario que pasó por aproximadamente ocho semanas de trabajo de evaluación, con tres sorpresas distintas.

Para comenzar, 136 casos de prueba establecieron una precisión de referencia del 60.2% frente a un objetivo del 90%, lo que representa una diferencia de 30 puntos. Cambiar de modelo parecía la solución obvia, pero un análisis más detallado de los fallos reveló algo diferente: el agente fallaba con ciertas secuencias de consultas y no con consultas individuales. Cuando ciertas llamadas a herramientas se realizaban una tras otra en una misma sesión, el agente caía en un bucle del cual no podía salir, y ese bucle causaba la mayoría de los fallos. Repararlo dio mejores resultados que cualquier cambio de modelo. La cifra del 60.2% era precisa, pero solo era un síntoma; analizar el bucle mostró qué era necesario arreglar. Un fallo de consistencia se presentaba como un número de precisión.

En segundo lugar, después de que las correcciones específicas elevaran la puntuación al 72 %, apareció un error de cálculo en el propio sistema de evaluación. La métrica que se estaba optimizando estaba ligeramente desviada desde el principio. Los fallos y las correcciones eran reales, pero las cifras no. Un sistema de evaluación también es un sistema, y necesita sus propias verificaciones de fiabilidad, incluida una comprobación de validez antes de que se confíe en su resultado.

En tercer lugar, el panel de control mostraba un 79 %, lo suficientemente cercano al objetivo del 90 % como para considerar un lanzamiento en producción. Luego surgió un patrón: cuando los usuarios enviaban consecutivamente un cierto par de consultas a las herramientas, el orquestador se detenía durante 20 minutos. Eso era un tiempo de espera y no una respuesta incorrecta, y como nunca se ejecutó ningún caso de prueba con esa combinación, la precisión no lo detectó. El panel de control parecía funcional, pero el comportamiento en producción no lo era, y esto representa un fallo en la tolerancia a fallos, ya que la puntuación de precisión no puede reflejarlo.

Ninguno de los tres apareció en la cifra principal.

Lo que han demostrado las implementaciones reales

Estos problemas no son hipotéticos. Un artículo presentado en ICML 2026 titulado “Hacia una ciencia de la fiabilidad de los agentes de IA” documentó incidentes en entornos de producción que revelan la brecha entre la precisión de las pruebas de referencia y la fiabilidad en la implementación.

El chatbot de Air Canada le informó a un viajero que cumplía con los requisitos para un descuento en la tarifa por duelo tras la muerte de un familiar. El pasajero confió en esa información, compró el boleto y solicitó el descuento, pero la aerolínea se lo negó bajo otra política. El cliente presentó una demanda y ganó. La precisión general del chatbot era alta, ya que respondía correctamente a la mayoría de las preguntas. Lo que esta métrica no capturó fue el comportamiento en un caso límite que nadie había probado.

El asistente de programación basado en IA de Replit, que opera de forma autónoma en un código en producción, eliminó una base de datos en producción a pesar de que sus instrucciones lo prohibían explícitamente. Había superado las evaluaciones previas a su despliegue, pero el conjunto de pruebas no incluía escenarios en los que el agente tuviera que resolver señales contradictorias en situaciones de ambigüedad.

El agente Operator de OpenAI realizó una compra no autorizada y omitió el paso de confirmación del usuario que debía requerir. Eso no fue un fallo del modelo en el sentido clásico; el agente actuó de manera inconsistente con su propia política cuando las condiciones se desviaron ligeramente de las evaluadas.

La conclusión del estudio es contundente: en 12 modelos de vanguardia, las mejoras recientes en sus capacidades generaron avances mínimos en su fiabilidad, por lo que la precisión y la fiabilidad avanzan por caminos separados.

Tomando prestado de la ingeniería del caos

Netflix creó Chaos Monkey después de mudarse a AWS en 2010. La idea era que las fallas son inevitables, por lo que un sistema verdaderamente resistente surge al introducirlas deliberadamente y según uno mismo determine, antes de que aparezcan sin previo aviso. Simular el caos en entornos de producción bajo control permite observar y corregir cómo responde el sistema.

Este principio también se aplica a los agentes, aunque los detalles varían. Cuando Chaos Monkey detiene un servidor, la falla es binaria y determinista, ya que el servicio está activo o inactivo. Cuando un agente se encuentra con una herramienta que falla, el resultado es probabilístico y depende del estado actual. Puede intentar de nuevo correctamente, transmitir parte del estado o devolver silenciosamente una respuesta plausible pero incorrecta, y no siempre está claro cuál de estas situaciones ocurre.

ReliabilityBench adoptó directamente esa idea, tomando como base al Simian Army de Netflix. El marco de caos que desarrolló para los agentes introduce tiempos de espera, límites de tasa, respuestas parciales y desviaciones en el esquema dentro de las herramientas de las que dependen dichos agentes. Estos son los fallos que sufre cualquier sistema en producción, aplicados aquí de manera sistemática durante la evaluación. Esto cambia la forma en que debería estructurarse la prueba. Pass@1 ya indica si el agente tiene éxito en condiciones ideales. Lo que queda es determinar si funciona de manera gradual o falla silenciosamente, y solo una interrupción intencionada durante la evaluación puede mostrarlo. Una sesión de conferencia de 2025 sobre el diseño de agentes en producción planteó un punto similar: la mayoría de los fallos en producción provienen de deficiencias en el sistema alrededor del modelo, como la falta de medidas de seguridad y una estructura para identificar los fallos, y no del propio modelo.

Un punto de partida práctico

Lo que miden los puntos de referencia de investigación y lo que aplican en la práctica los equipos de ingeniería siguen estando muy separados. La mayoría de los equipos realiza evaluaciones de un solo paso con un conjunto de referencia de 10 a 30 tareas. Esto detecta regresiones en la precisión, pero pasa por alto los problemas de consistencia, la sensibilidad a la redacción y la fragilidad ante fallos, y seguirá ignorándolos hasta que cambie el diseño.

Comience con las 20 tareas de producción más representativas y ejecute cada una cinco veces. Anote si el agente supera las cinco pruebas (pass⁵) y compare ese resultado con la puntuación habitual pass@1. Una diferencia de 15 a 20 puntos porcentuales o más indica que la métrica de precisión ha estado ocultando un problema de consistencia.

A continuación, añada variaciones en las entradas: reescriba cada tarea de dos o tres maneras con diferentes niveles de especificidad y estructuras de oración, además de una versión con un pequeño error tipográfico, y luego vuelva a ejecutarlas. Una disminución en el rendimiento de más de 10 puntos entre las distintas formulaciones indica un problema de estabilidad que merece ser investigado.

Luego introduzca caos controlado. En su forma más simple, devuelva respuestas vacías o mal formadas de la herramienta en aproximadamente el 10 al 15 % de las llamadas durante la evaluación. ¿El agente maneja la situación con elegancia, intenta nuevamente de manera sensata o genera una salida incorrecta sin advertencia? Muchos equipos solo descubren la respuesta a través de un incidente en producción.

AlphaEval (2026) señala un punto que merece atención: las tareas de producción difieren de los benchmarks de investigación de maneras que los equipos suelen subestimar. Los requisitos se presentan como descripciones comerciales poco precisas, las entradas varían ampliamente, y los expertos en el área evalúan el éxito según criterios subjetivos y no según métricas deterministas. Un conjunto de evaluación compuesto a partir de tareas de demostración puede no parecerse en nada a la producción real.

Seis hábitos a adoptar

  1. Utilice pass^k como métrica principal de fiabilidad en lugar de pass@1, comenzando con k=5, y sígalo al igual que hace con la precisión. Cuando ambos valores difieren, esa diferencia constituye información útil.
  2. Mantenga un conjunto de perturbaciones junto al conjunto estándar. Para cada tarea canónica, escriba dos o tres versiones reescritas y ejecútelas todas, ya que la versión limpia por sí sola no indicará si el agente puede manejar la redacción real de los usuarios.
  3. Introduzca fallos en la evaluación de pruebas al fallar de forma aleatoria del 10 al 15 % de las llamadas a las herramientas. Un agente que nunca haya experimentado fallos en las herramientas durante la evaluación no proporciona indicación alguna sobre su comportamiento cuando ocurren dichos fallos.
  4. Evalúe el estado del resultado y no el texto de salida. Defina cómo debería verse el sistema después de que ejecute el agente, por ejemplo, qué registros se han modificado y qué acciones se han ejecutado, y verifique eso en lugar de si la respuesta parece correcta.
  5. Mantenga el conjunto de evaluación separado del conjunto de demostración. Las tareas utilizadas para mostrar que el agente funciona no representan lo que realmente verá, por lo que construya el conjunto de evaluación a partir de los registros de producción y no del camino óptimo ya probado.
  6. Realice una auditoría del conjunto de evaluación de la misma manera que se audita al agente. Verifique el sistema de puntuación antes de confiar en la puntuación, ya que un error de cálculo en la evaluación es peor que uno en el agente: el error del agente se manifiesta en producción, mientras que el error de la evaluación lo oculta.

Si solo se realiza un cambio, añada pass⁵ a la tabla que ya se esté monitoreando.

Lo que indican las cifras

pass@1 mide lo que puede hacer un agente en un sorteo afortunado, mientras que pass^k mide lo que hace en la práctica. Los usuarios no viven la media; viven su propia experiencia, ya sea exitosa o no. El 61% mencionado en τ-bench hacía parecer al agente capaz, pero el 25% medido con pass⁸ se asemejaba mucho más a un lanzamiento de moneda ponderado. Las puntuaciones de precisión no mienten; simplemente miden algo distinto a lo que requiere la producción.

El diseño del conjunto de datos merece una última observación. Si la verdad de referencia consta en las salidas esperadas del modelo, las métricas de evaluación miden la calidad de dichas salidas. Si, en cambio, está formada por los cambios esperados en el estado del sistema, como registros actualizados, acciones desencadenadas y decisiones registradas, entonces mide si el agente cumplió con su función. Este segundo tipo de conjunto de datos requiere más esfuerzo para crearse, pero es mucho más útil.