Inicio / Artículos

De las evaluaciones a los agentes auto-mejorables: cinco eras de la evaluación de agentes

La evaluación de agentes ahora implica la auditoría de huellas. Vea cómo las verificaciones deterministas, los jueces de LLM y agentes, el diagnóstico y un mecanismo meta construyen un ciclo de mejora seguro.

Editor: REACTAPP.TOP7 min de lectura1716 palabras

Fuentes: From Evals to Self-Improving Agents

La versión breve

  1. Antes, juzgar a un agente significaba leer su última respuesta. Ahora significa leer todo el proceso completo.
  2. Las pruebas deterministas manuscritas siguen siendo valiosas, aunque solo pueden detectar problemas que alguien ya anticipó.
  3. Un juez basado en modelos de lenguaje se adapta a la evaluación de resultados según criterios establecidos. Un juez que es a su vez un agente identifica fallos en el camino seguido, en el uso de herramientas y en el flujo de trabajo.
  4. Lo que viene a continuación es el diagnóstico a través de los registros: detectar patrones de fallo que se repiten en miles de ejecuciones en tiempo real.
  5. Un agente que se mejora a sí mismo requiere un sistema de gestión meta, es decir, telemetría, diagnóstico, soluciones propuestas, pruebas en entorno aislado, validación, implementación gradual y una forma de mantener honestos a los propios evaluadores.

Por qué los resultados por sí solos ya no son suficientes

Las primeras aplicaciones de LLM eran cortas y en su mayoría lineales: se ingresaba una solicitud, salía una respuesta y alguien la verificaba. Los agentes rompieron con ese formato. Ellos planifican en varios pasos, invocan herramientas, leen y escriben en el estado, editan archivos, se recuperan de acciones fallidas, delegan tareas a subagentes y permanecen ocupados durante largos períodos.

Lo que deja atrás un sistema de este tipo es una trayectoria. Esta contiene la solicitud, el contexto del sistema, todo lo que se recuperó, el razonamiento intermedio, cada llamada a una herramienta y su observación, los intentos de repetición, los errores, las escrituras en la memoria, el tiempo empleado, el cronometraje y la salida final. Con fines de evaluación, ese registro se ha convertido en el verdadero artefacto de la ejecución.

Por lo tanto, la calificación debe orientarse hacia la auditoría. Una respuesta que parece correcta puede basarse en un uso incorrecto de una herramienta, una restricción pasada por alto, un resultado de búsqueda no relacionado, un bucle de intentos que nadie vio, un contexto mal elegido, una recuperación arriesgada o una suposición sin fundamento. Esos defectos son los más costosos, ya que se acumulan con cada ejecución y erosionan silenciosamente la fiabilidad.

En este escenario, la evaluación funciona como la capa de control. Combina registros en tiempo real, evaluadores basados en rúbricas, evaluadores de agentes, análisis de causas raíz, reproducciones en entornos aislados, conjuntos de pruebas de regresión y puntos de control en el despliegue. El objetivo no es que una persona revise cada interacción, sino un sistema metainstalado que detecta patrones de fallo, elabora soluciones, las prueba en casos anteriores y adversos, y solo envía a las personas las situaciones en las que su juicio es importante.

Capa uno: verificaciones deterministas

Las verificaciones basadas en reglas siguen siendo la base, ya que detectan todo aquello que se puede definir de antemano. El código cuenta con pruebas unitarias, verificación de tipos, herramientas de análisis, escáneres de seguridad, pruebas de contrato y capturas de estado. La salida estructurada recibe validación de esquemas, campos obligatorios, valores permitidos, formato de fechas, JSON válido y límites de política.

Úsalas siempre que el resultado esperado sea explícito. Se ejecutan rápidamente, cuestan poco, dan siempre la misma respuesta y son fáciles de depurar. El problema es la cobertura: solo se prueban aquellas partes que alguien se acordó de incluir.

Lo que se puede medir con ellas incluye las tasas de aprobación, el grado de cobertura de las afirmaciones de comportamiento, la conformidad con los esquemas, el tiempo de ejecución, la reproductibilidad y la precisión con la que se puede localizar un fallo. Son adecuadas para APIs, cambios en el código, extracción de datos, formularios, flujos regulados y tareas sujetas a reglas estrictas.

Capa dos: un modelo de lenguaje como juez

Los jueces basados en LLMs se han difundido porque muchos fallos de la IA se deben a problemas de calidad. Una respuesta puede leerse fluidamente y aun así omitir información. Un resumen puede ser fácil de leer y, sin embargo, pasar por alto el punto clave. Un mensaje de soporte puede sonar seguro de sí mismo mientras viola las políticas establecidas.

El patrón consiste en que un modelo evalúa la salida según una rúbrica escrita, quizás en términos de precisión factual, cumplimiento de instrucciones, completitud, tono, seguridad, calidad de las citaciones y utilidad general, y responde con una etiqueta, una puntuación, una justificación y pruebas de apoyo. Este enfoque es adecuado cuando la salida tiene una estructura familiar pero aún requiere un juicio subjetivo, y permite escalar las revisiones sin que una persona lea todo.

Los criterios vagos son la causa de los errores. Pídale a un juez que busque una “buena respuesta” y se recompensará la calidad del texto. Si se le pide que revise las pruebas, las restricciones y los posibles fallos, se vuelve mucho más útil.

Los jueces merecen una métrica propia: qué tan consistentes son las calificaciones, con qué frecuencia coinciden diferentes jueces, cuán sólido es el razonamiento presentado, qué tan bien están fundamentadas las pruebas, con qué frecuencia dan una calificación incorrecta y hasta qué punto siguen las etiquetas establecidas por humanos. Se utilizan para resúmenes, respuestas de apoyo, calidad de la escritura, revisión de políticas, calidad de la extracción y respuestas basadas en razonamiento que cuenten con criterios claros.

Capa tres: un agente como juez

Los agentes dejan tras de sí trayectorias, por lo que un juez que solo ve el resultado final se pierde las señales más importantes. Un juez-agente examina todo el proceso, incluidos los estímulos, la forma en que se eligió el contexto, las llamadas a herramientas, las observaciones realizadas a lo largo del camino, los intentos de repetición, los archivos editados, las pruebas ejecutadas y el producto final. Plantea preguntas específicas: ¿Se eligió bien la herramienta? ¿Se descartó una prueba fallida? ¿Estaba desactualizado el contexto? ¿Cambiaron archivos no relacionados? ¿El agente se detuvo antes de terminar?

Esto es importante porque los fallos de los agentes suelen ser sutiles. Una salida puede superar una verificación superficial, mientras que el camino que la generó revela el defecto real.

Las medidas útiles incluyen si la trayectoria fue válida, qué tan buena fue la planificación de herramientas, cómo se recuperó el agente, cómo utilizó las pruebas, si la tarea se completó, qué tan bien se detectaron los fallos ocultos y si las escaladas fueron correctas. Los agentes de codificación, investigación, datos, navegadores y flujos de trabajo se benefician, al igual que cualquier situación en la que el camino sea tan importante como el destino.

Capa cuatro: diagnóstico de trazas

La cuarta capa se aleja de las ejecuciones individuales. Un agente de diagnóstico analiza miles de trazas y determina qué cambió. Quizás los fallos aumentaron después de una modificación rápida. Quizás se eligió la herramienta incorrecta para el análisis de hojas de cálculo. Quizás la latencia aumenta cuando la recuperación devuelve demasiados archivos. Quizás un agente de control de calidad marca las alucinaciones pero permite que se pasen por alto ciertos requisitos.

Su función es atribuir un cambio en el rendimiento a una causa concreta: selección de contexto, redacción de la instrucción, enrutamiento de herramientas, configuración del flujo de trabajo, comportamiento del modelo, calidad de la recuperación de información o simplemente el código. No basta con informar que una puntuación ha disminuido; el resultado debe ser una solución específica, como una edición de la instrucción, un caso de evaluación adicional, un umbral de enrutamiento ajustado, una habilidad actualizada, un cambio en el código o una solicitud de integración.

La calidad en este caso depende de cuántos registros se analicen, de cuán con precisión se identifiquen las causas raíz, de cuán bien se detecte la desviación, de cómo se agrupen los fallos, del grado de certeza en la atribución, de la eficacia de la solución propuesta y del riesgo que supone para posibles regresiones. Es adecuado para plataformas de agentes en producción, agentes de soporte ocupados, asistentes de programación, agentes de flujos de trabajo empresariales y cualquier sistema que se actualice con frecuencia.

Capa cinco: cerrar el ciclo

En la parte superior, el bucle se cierra. Se captura la telemetría, se diagnostican las fallas recurrentes, se genera una solución provisional que se prueba en un entorno aislado, luego se compara con conjuntos de datos de referencia y registros anteriores, y finalmente se implementa mediante un despliegue controlado. En ese punto, la auto-mejora se convierte en ingeniería, no en intuiciones.

Un agente no debe lanzar un cambio solo porque una métrica haya aumentado una vez. Se requieren controles: pruebas de regresión, escenarios adversos, preguntas contrafácticas, tráfico de prueba, planes de reversión y umbrales para intervenir con un humano.

El hacking de recompensas representa el mayor peligro. Un agente puede aprender a satisfacer a su evaluador sin realizar el trabajo real. Un agente de programación podría ocultar un error, un agente de imágenes podría inventar detalles para mejorar la puntuación visual y un agente de escritura podría centrarse en frases específicas de la rúbrica y perder la voz del autor. Por lo tanto, los evaluadores necesitan métodos de evaluación que incluyan verificaciones independientes, puntos de referencia derivados de fuentes humanas, auditorías de desacuerdos, controles de calidad en múltiples niveles y recalibración regular de las rúbricas.

Tratar la evaluación como el sistema de control

El cambio más profundo es operativo. Los equipos deben utilizar la evaluación como sistema de control de la plataforma de agentes, y un programa sólido responde a cinco preguntas:

  1. ¿Se completó la tarea? La respuesta es importante, al igual que el cumplimiento de las instrucciones, la precisión factual, el cumplimiento de las políticas y los criterios de éxito específicos de la tarea.
  2. ¿Fue correcto el enrutamiento? Con las herramientas involucradas, se analiza cuáles funcionaron, qué evidencia las respaldó, qué intentos de reintentar se realizaron, qué falló sin previo aviso y si la escalada se produjo en el momento adecuado.
  3. ¿Por qué cambió el rendimiento? Una disminución en producción puede deberse a instrucciones dadas, al comportamiento del modelo, a la recuperación de datos, a los umbrales de enrutamiento, a la configuración del flujo de trabajo, a errores en las herramientas o en el código, y el diagnóstico debe separar los síntomas de las causas.
  4. ¿Se puede proponer una solución de forma segura? Las opciones se someten a pruebas en entornos aislados, reproducción de registros antiguos, casos adversos y conjuntos de pruebas de regresión antes del lanzamiento.
  5. ¿Quién audita al auditor? Los evaluadores también pueden variar, volviéndose indulgentes, severos o fáciles de engañar, por lo que se necesitan conjuntos de calibración, puntos de referencia verificados por humanos, verificaciones de desacuerdos y controles de calidad en capas.

Las verificaciones deterministas manejan los fallos conocidos, los jueces de LLM evalúan la calidad, los jueces de agentes inspeccionan las rutas, los agentes de diagnóstico identifican patrones repetitivos y las reglas de meta-harness deciden si es seguro lanzar una mejora. Las personas siguen involucradas, pero a un nivel superior: menos revisiones repetitivas, más medidas de control, manejo de excepciones, calibración y diseño de políticas.

Integrar nuevamente en producción

Con un sistema de evaluación en funcionamiento, el siguiente paso es aprender de su uso en tiempo real. La telemetría proporciona información para el diagnóstico, el diagnóstico perfecciona las evaluaciones, estas guían la optimización y los cambios validados vuelven a integrarse en el despliegue gradual. Dos procesos operan de forma paralela.

Un hilo es cualitativo. Los comentarios de producción, los registros de los usuarios, los análisis, las tareas fallidas, las escalaciones al soporte técnico y los errores de las herramientas no deberían quedar simplemente en los paneles de control. Deben integrarse en las evaluaciones. Cuando los usuarios siguen corrigiendo la misma respuesta, eso constituye un nuevo caso de prueba. Cuando los registros muestran una elección incorrecta de herramienta, se trata de una verificación de trayectoria. Cuando los análisis revelan una disminución en una etapa específica, ese es un escenario que merece ser reproducido.

El otro hilo corresponde a la optimización sistemática. Una vez que las especificaciones, el código y las evaluaciones están claros, el ajuste se vuelve mucho más disciplinado. Las especificaciones describen el comportamiento deseado, el código contiene la lógica, las restricciones, las herramientas y la ruta a seguir, mientras que las evaluaciones proporcionan las métricas necesarias para determinar si las cosas han mejorado. Con estos tres elementos, las herramientas pueden sugerir ediciones inmediatas, cambios en umbrales, ajustes en la ruta, evaluaciones adicionales o modificaciones en el código.

El ciclo, paso a paso:

Las señales de uso en tiempo real alimentan el perfeccionamiento de las evaluaciones, lo que a su vez impulsa la optimización del programa del agente. Este programa se vuelve a ejecutar en un entorno aislado, pasa las pruebas de regresión, se despliega bajo control y luego genera nuevas señales en tiempo real.

Desde esta perspectiva, las evaluaciones no son una calificación que se otorga una sola vez. Son el ciclo operativo que impulsa la mejora del agente: aprender del uso real, convertirlo en evaluaciones más precisas, ajustar el agente en función de ellas y lanzar solo aquello que supera la validación.