Inicio / Artículos

¿Por qué los agentes pasan todas las pruebas offline y aún fallan en producción?

Seis modos de deriva envejecen silenciosamente un conjunto de evaluación. Una puntuación de seguimiento de cuatro ejes y un bucle semanal de agrupamiento y promoción mantienen la fiabilidad de los resultados frente a lo que realmente hace el tráfico en tiempo real.

Editor: REACTAPP.TOP9 min de lectura1994 palabras

Fuentes: Why Your Agent Passes Every Eval and Still Fails in Production

Imagínese a un agente de soporte al cliente que completa su conjunto de indicadores de calidad: 47 escenarios, cuatro rúbricas, todo en verde, por lo que se aprueba su envío. Unas semanas después de entrar en producción, indica montos de reembolso que difieren diez veces. Se contradice de una interacción a otra. En un seguimiento muestra al usuario el pedido de otro cliente. Sin embargo, cuando se revisan las conversaciones fallidas, cada una sigue obteniendo una buena calificación en la rúbrica de fidelidad por interacción. De todos modos, cada conversación falló para el usuario. La evaluación indicó aprobar el envío, pero para entonces la confianza ya se había perdido.

La rúbrica no es la culpable

El primer instinto es culpar a la rúbrica de evaluación. Una interpretación más acertada es que estaba bien en marzo y se volvió obsoleta para abril, ya que la producción nunca dejó de funcionar. Un conjunto de evaluación es una instantánea, mientras que la producción es como un río. Las evaluaciones no se envían al producto final, pero los registros de desempeño sí. Cada lanzamiento comienza a hacer que el conjunto de evaluaciones se vuelva obsoleto desde el día en que se implementa, y a menos que surjan nuevos modos de fallo que regresen al conjunto de evaluación offline, la diferencia entre aprobar en entorno offline y fallar en producción en tiempo real no es casualidad; se deriva de las propias condiciones operativas.

Un número suficiente de incidentes como este lleva a una conclusión clara: hay que evaluar los registros de desempeño de la producción, no los casos de prueba seleccionados cuidadosamente. Las evaluaciones offline siguen siendo una herramienta útil para detectar regresiones, pero nunca pueden ser lo único que impide que un cambio se lance al mercado, ya que lo que miden desaparece en el momento en que se congela el proceso de desarrollo. Seis tipos de desviaciones afectan negativamente a cualquier conjunto de evaluación, cada una a su propio ritmo:

  • Deriva del conjunto de datos: los casos seleccionados cumplen todos con los requisitos, mientras que en producción aparecen intenciones de usuarios que el conjunto nunca incluyó.
  • Deriva de la herramienta-API: los mocks devuelven la misma estructura de datos, pero el proveedor ha modificado los esquemas o códigos de error.
  • Deriva de las instrucciones: la normativa para las instrucciones v3 quedó fija, mientras que en producción se utiliza v17 y la normativa sigue evaluando v3.
  • Deriva del corpus de recuperación: el índice se congeló en el momento de la creación, pero el índice en producción se ha duplicado y ahora la misma consulta se dirige a nuevos fragmentos.
  • Deriva en la distribución de usuarios: las entradas de prueba se redactaron a mano, mientras que el tráfico real no se parece en nada a ellas.
  • Compensación de pasos del agente: cada paso tiene un éxito del 95 por ciento, pero ocho pasos seguidos reducen esa tasa a aproximadamente el 66 por ciento.

Al congelar un conjunto de evaluación, también se congela la hipótesis sobre qué harán los usuarios, cómo responderán las herramientas, qué prompt estará activo y qué mostrará el recuperador de información. Meses después, cada suposición ha evolucionado de manera distinta, y una rúbrica que antes permitía aprobar sin problemas ahora evalúa un mundo en el que el agente ya no existe.

En realidad no hay nada malo con la rúbrica. Simplemente se ha vuelto obsoleta, al igual que una prueba unitaria cuya función objetivo fue reescrita por debajo de ella: muestra un resultado positivo pero no protege nada. Para el software, la solución es realizar una nueva prueba de la función actualizada. Para los agentes, la solución es calificar los registros en tiempo real. Una sola definición de rúbrica cumple entonces dos funciones: sirve como filtro para los procesos de integración continua basados en un conjunto de datos versionado y como herramienta para calificar los registros reales como atributos a nivel de transacción. Los procesos de integración continua establecen el estándar mínimo, la puntuación en tiempo real sigue la realidad en curso, y cada semana el conjunto de datos incorpora los registros que la rúbrica acaba de marcar.

Cómo se manifiesta cada tipo de desviación y qué soluciones existen

Desviación del conjunto de datos. Al lanzar el sistema, alguien creó ese conjunto, y desde entonces los usuarios han planteado intenciones que nadie había imaginado. Las puntuaciones nunca cambian porque los datos tampoco varían. Hay que estar atentos a los resultados sin conexión que permanecen estables durante meses, mientras que las quejas en producción se vuelven cada vez más variadas y los ingenieros no logran reproducir la mayoría de los informes con el conjunto de prueba. Cada semana, se toman muestras de rastros fallidos, se agrupan por segmento, intención y puntuación, y se marca al 5 al 10 por ciento más problemático con una versión específica antes de añadirlos al conjunto. De este modo, cada rastro promovido sirve para proteger contra una regresión concreta.

Derive de la Tool-API. CI utiliza una herramienta simulada, y un martes el endpoint en producción cambia su esquema, la estructura de los errores o las restricciones de tasa. El agente vuelve a intentarlo, el bucle se agota y el agente elabora una respuesta convincente, pero CI sigue mostrando estado verde porque la simulación sigue devolviendo el payload de ayer. La latencia creciente y el aumento en el número de intentos, una rúbrica de respuesta que sigue considerándola válida y un costo por éxito en aumento son las pistas. Asigne una rúbrica propia al éxito de las llamadas a herramientas en los períodos en producción, de modo que una llamada fallida aparezca en el seguimiento junto a la respuesta defectuosa. Las simulaciones detectan las regresiones causadas por usted, mientras que la evaluación en tiempo real detecta las causadas por el proveedor.

Deriva en las instrucciones. La versión v17 de las instrucciones se puso en uso un viernes, mientras que la rúbrica sigue reflejando lo que era importante en la versión v3 de febrero. Se está evaluando al agente según un contrato obsoleto. Una pista importante es un ingeniero senior que analiza diez registros, está en desacuerdo con el juez en seis casos y no puede explicar por qué. Envíe la revisión de la rúbrica junto con la revisión de las instrucciones, trátela como una prueba de contrato y observe el grado de acuerdo entre el juez y el humano en un pequeño conjunto de calibración, de modo que se detecte cuando la rúbrica queda desactualizada.

Deriva del corpus de recuperación. La evaluación de marzo con el recuperador abarcó 12,000 documentos y un único tamaño de bloque. Para mayo, el índice ya contaba con 38,000 documentos; un cambio en el proceso de reincrustación afectó la forma en que se clasificaban los bloques, lo que hizo que una misma consulta diera resultados diferentes. El generador sigue trabajando sobre lo que recibe, por lo que el índice de fundamentación sigue siendo de 0.94 aunque el material de origen sea incorrecto. El síntoma es que los usuarios consideran que el bot es menos útil que en el trimestre anterior, a pesar de que las pautas de generación no hayan cambiado. Es necesario realizar una evaluación separada por capas: las pautas de recuperación, como la relevancia contextual y la atribución de bloques, detectan los cambios en el índice antes de que las puntuaciones de generación los oculten. Una disminución en la relevancia junto con una fundamentación estable apunta al recuperador, mientras que lo contrario indica un problema en el generador. Un análisis bisectario sustituye a tres días de conjeturas.

Desviación en la distribución de usuarios. Quienquiera que haya creado el conjunto de datos escribió los ejemplos a mano o los tomó del primer mes de tráfico. Los usuarios reales introducen posteriormente jerga, mezclas de idiomas, solicitudes largas, capturas de pantalla y secuencias de preguntas adicionales que el conjunto de datos nunca había visto, por lo que un evaluador basado en datos seleccionados califica las conversaciones en tiempo real de manera mucho más favorable que lo haría un humano. Si las pruebas aleatorias de los registros de producción difieren del evaluador en 15 puntos o más, los ingenieros dejan de confiar en la escala de calificación y recurren a analizar los registros en bruto. Calibre el evaluador con muestras de producción en lugar del conjunto de datos, y mida la divergencia entre el evaluador y el humano como una métrica por sí misma.

Compuesto de pasos. Supongamos que cada paso obtiene un 95 por ciento de calificación y que una sesión implica ocho llamadas a herramientas. Al elevar 0.95 a la octava potencia, el resultado es 0.66, lo que significa que aproximadamente dos de cada tres sesiones terminan mal desde el punto de vista estructural, aunque cada paso pareciera correcto. La evaluación nunca realizó la multiplicación. Los altos índices por turno junto con cifras bajas en completitud, resultados y satisfacción son una señal de problema, al igual que los reportes de que el bot pregunta lo mismo repetidamente o responde primero que sí y luego que no. Se deben calificar todos los aspectos: completitud, adhesión al rol y retención de conocimientos a nivel de conversación, además de una evaluación de cómo se llevó a cabo el plan a lo largo del árbol de expansión. Las métricas que abarcan varios turnos generan más ruido por dólar invertido, pero reflejan con mucho más precisión la experiencia real del usuario.

Por qué un conjunto de datos más grande no ayuda

Lo que comparten los seis casos es el momento en que ocurren. Cada uno aparece después de que el conjunto de evaluación se congeló, y un conjunto de datos fijo no puede albergar una hipótesis que aún nadie haya planteado. Un conjunto de 10,000 ejemplos de marzo no sabe nada sobre el cambio en el esquema de herramientas de mayo, la revisión de los prompts de junio, la reincorporación de datos en julio ni sobre los usuarios de agosto que formulan sus solicitudes de manera diferente. Un conjunto más grande no corrige una instantánea, y solo la toma de muestras en entorno de producción lo hace; por eso la evaluación debe realizarse donde funciona el agente. Los datos seleccionados cuidadosamente son la semilla de las regresiones. Las trazas en tiempo real son el material de trabajo, donde los fallos se agrupan y se califican a medida que ocurren. Cada grupo así formado se convierte luego en las entradas del conjunto de datos del día siguiente, y el ciclo comienza de nuevo.

Una puntuación de trazas con cuatro ejes

La fidelidad en cada turno con respecto a la respuesta final es demasiado rudimentaria como para diagnosticar un agente que está perdiendo precisión. Una puntuación de trazas más útil cuenta con cuatro ejes, cada uno calificado del uno al cinco:

  • Base factual: ¿se mantuvo el agente vinculado al contexto recuperado o inventó información? Esto revela desviaciones en la recuperación de datos y en el conjunto de datos a nivel de respuesta.
  • Privacidad y seguridad: si se filtraron datos personales, se cruzaron los límites de un usuario o se accedió a funciones que debería haber rechazado, lo cual pone de manifiesto regresiones en las autorizaciones y los rechazos.
  • Adherencia a las instrucciones: si obedeció la instrucción del sistema actual, el criterio que se eliminó cuando la instrucción pasó a la versión 17 y el comportamiento quedó obsoleto.
  • Ejecución del plan: si eligió la herramienta adecuada, en el orden correcto, sin llamadas redundantes ni callejones sin salida, lo cual revela problemas de acumulación de pasos y desviaciones en las herramientas a lo largo del grafo de llamadas.

Cuatro ejes abarcan cuatro tipos de regresión y se combinan en uno compuesto. Cuando el valor compuesto disminuye en un seguimiento, los ejes indican qué modo de deriva ocurrió, y dado que los mismos ejes se utilizan en CI y en los períodos en tiempo real, el vocabulario de diagnóstico es el mismo en ambos lugares.

Cerrar el ciclo

Reducir la brecha es un flujo de trabajo y no una función, y consta de cinco pasos:

  1. Agrupar los seguimientos fallidos en problemas con nombre, ya que nadie puede clasificar una lista simple de 800 fallos.
  2. Evaluar cada grupo según la puntuación de seguimiento de cuatro ejes y adjuntar una breve nota sobre la solución a implementar hoy.
  3. Mover de tres a diez seguimientos típicos de cada grupo al conjunto fuera de línea, etiquetados con etiquetas de ruta y etiquetas de rúbrica.
  4. Volver a validar: la siguiente ejecución de CI evalúa las entradas añadidas utilizando la rúbrica del evaluador de producción, de modo que las ediciones posteriores en esa ruta no puedan revertirse.
  5. Optimice el prompt con el conjunto ampliado, donde la corrección debe cumplir con los criterios de CI antes del envío.

Para un producto en uso activo, repita este proceso semanalmente, o con mayor frecuencia durante un lanzamiento turbulento. Un conjunto estático con más de un cuarto de año rara vez se asemeja a la producción, y en el caso de un agente de rápido cambio, las desviaciones se vuelven visibles en dos o tres semanas. Cada incidente manejado de esta manera deja atrás una prueba de regresión que nadie tiene que volver a crear.

Costos a considerar

  • El bucle aumenta la complejidad operativa. Las puntuaciones de rango, el clustering y el paso de promoción son más mecanismos complejos que un simple conjunto de evaluaciones con pytest. A cambio, el conjunto de pruebas de regresión se vuelve cada vez más exigente, y un despliegue nuevo puede iniciarse únicamente con seguimiento y evaluaciones offline, añadiendo el bucle posteriormente.
  • Un juez que se calibra por sí mismo necesita su propia medida de protección. Una rúbrica ajustada según el tráfico en tiempo real puede desviarse hacia lugares que nadie pretendió, por lo que se debe conservar un pequeño conjunto de ejemplos etiquetados por humanos y activar una alarma si el juez se desvía de ellos en una medida mayor que la que existe entre los propios humanos.
  • La puntuación basada en las huellas genera más costos por cada unidad de ruido que la puntuación fuera de línea. Una rúbrica de cuatro ejes para una huella de 30 segundos es más costosa que la puntuación por turno en casos cortos, y sus resultados varían más. Se deben tomar muestras según las señales de fallo, no al azar, y colocar un clasificador económico antes del costoso juez.

La versión breve

Un conjunto de evaluación comienza a envejecer en el momento en que se envía, y el tamaño no soluciona el problema de los estados congelados. Evalúe el rastro actual en lugar del caso congelado. Utilice una misma rúbrica en el entorno de integración continua y en los rastros en tiempo real; califique cada trayectoria en cuanto a fundamentación, seguridad, cumplimiento de instrucciones y ejecución del plan, agrupe los fallos y envíelos semanalmente de vuelta al conjunto fuera de línea. Es necesario superar las pruebas fuera de línea. Superar las pruebas con los rastros es lo que realmente protege a los usuarios. El conjunto seleccionado es solo la semilla, mientras que el entorno de producción es el conjunto de datos que siempre se intenta monitorear.

Leer más