Inicio / Artículos

El problema del verificador gratuito: por qué los bucles de agentes se detienen cuando el trabajo ya no es código.

Los bucles de agentes de codificación funcionan porque los compiladores y las pruebas realizan verificaciones de forma gratuita. Fuera del código no existe un verificador gratuito: se requieren cuatro subsidios, datos de fallos y una prueba de oráculo.

Editor: REACTAPP.TOP6 min de lectura1331 palabras

Fuentes: Loop Engineering for Enterprise Agents: The Free Verifier Problem

Actualmente, muchos proveedores presentan la ingeniería de bucles como lo que viene después de la ingeniería de prompts, y las demostraciones son reales. En lugar de dar instrucciones manualmente a un agente de programación, se crea un bucle alrededor de él. Este se ejecuta según un horario establecido, trabaja en una rama aislada, es evaluado por otro agente y registra su estado en un archivo para que cada ejecución continúe desde la anterior. Boris Cherny, quien dirige Claude Code en Anthropic, ha dicho que su trabajo consiste en escribir bucles. Addy Osmani, de Google, nombró este patrón, y tanto Claude Code como OpenAI Codex ahora ofrecen las mismas seis primitivas como funciones integradas.

Funciona, y lo hace por una razón que quienes lo venden rara vez mencionan abiertamente. Esa razón no es aplicable a otros tipos de trabajo.

Los bucles de programación funcionan porque la base de código incluye un verificador propio. El compilador, el verificador de tipos y el conjunto de pruebas evalúan inmediatamente cada intento casi sin costo alguno. La separación entre el creador y el verificador, considerada ampliamente como el mecanismo de confianza detrás de la ingeniería de bucles, cuesta muy poco en software, ya que la mitad de sus componentes ya existía en el repositorio antes de que apareciera cualquier agente.

Si se traslada el mismo bucle a un flujo de trabajo de reclamaciones, a una aprobación de adquisiciones o a una solución para clientes, no hay verificador alguno. Hay que crearlo, y casi nadie lo incluye en el presupuesto. Es el mejor indicador disponible para saber si un programa de agente se detendrá en la fase piloto.

Por qué el código es fácil y todo lo demás no

De las seis primitivas de bucles, no todas funcionan igual de bien. Las ejecuciones programadas, los conectores, las habilidades y la memoria se adaptan con poca dificultad a otros dominios. Dos de ellas no lo hacen.

Aislamiento es lo primero. Los worktrees de git por sesión permiten a Spotify ejecutar docenas de sesiones de agentes en paralelo sobre una misma base de código sin que los agentes se dañen mutuamente. Su entorno interno de desarrollo basado en agentes, Xirp, ha registrado más de 36,000 sesiones realizadas por miles de ingenieros, y son los worktrees los que garantizan la seguridad de esa concurrencia. Un libro mayor no cuenta con git worktree. Los agentes empresariales escriben en sistemas compartidos de registro, y que dos agentes trabajen en la misma entidad al mismo tiempo constituye un incidente de integridad de datos, no un conflicto de fusión.

Verificación es el segundo paso, y es el más costoso. En el código, la respuesta a “¿funcionó esto?” la da una máquina en cuestión de segundos. En un flujo de trabajo empresarial, se trata de un juicio que a menudo no se puede determinar hasta que lo revisa una persona, a veces no hasta el cierre del mes, y ocasionalmente no hasta que lo solicita un regulador. Claude Code califica los resultados con un modelo separado porque la autoevaluación es demasiado generosa. Ese es el diseño adecuado, y fuera del código es la parte que se construye desde cero.

Qué indican las cifras de producción sobre los fallos

Aquí las pruebas dejan de ser anecdóticas.

La telemetría de Foundra, que abarca 6,259 agentes desplegados y aproximadamente 4.5 millones de ejecuciones, indica que la tasa de éxito en entornos reales es del 56.6%, unos 37 puntos por debajo del rendimiento de referencia. La repetición empeora la situación, y precisamente eso es lo que hace un bucle. En tau-bench, los agentes que obtienen un 60% de éxito en un intento caen a aproximadamente un 25% cuando deben tener éxito ocho veces seguidas.

Las cifras también lo confirman: el 46% de las pruebas de concepto llegan a la fase de producción, el 14% se expanden por toda la organización y alrededor del 5% genera un impacto medible en las ganancias y pérdidas. Gartner espera que más del 40% de los proyectos de IA basada en agentes sean cancelados para finales de 2027.

El desgaste en sí no es lo interesante. Lo importante es dónde se concentran los fallos. Se acumulan en las uniones entre pasos, en las entradas desordenadas y en los puntos ciegos en la supervisión, y no en la capacidad bruta del modelo. Esos tres son precisamente los lugares donde un compilador habría señalado el problema en un bucle de programación, y también los lugares donde un bucle empresarial no cuenta con un evaluador automático.

Otra cifra proviene de una encuesta de LangChain realizada a más de 1,300 profesionales: el 89 % de los equipos que utilizan agentes cuenta con capacidades de observabilidad, pero solo el 52 % realiza evaluaciones offline y el 37 %, evaluaciones online. Casi todos monitorean, pero muy pocos evalúan. Un bucle que se monitorea pero no se evalúa no se corrige por sí mismo. Produce más de lo que ya producía, más rápido, con un panel de control que demuestra que sigue en funcionamiento.

Qué ofrece un código base a un bucle sin motivo

Cualquiera que mueva un bucle fuera del IDE y lo incorpore a un proceso empresarial debe tener en cuenta cuatro aspectos que git y el compilador proporcionan de forma gratuita, y cuánto cuesta cada uno cuando el trabajo no es código.

1. El oráculo. Las pruebas y el compilador devuelven un resultado de éxito o fracaso en cada ejecución, en cuestión de segundos y sin costo alguno. Fuera del código no existe un oráculo por defecto. Hay que pagar por uno creando un conjunto de evaluación etiquetado, lo que implica que alguien debe decidir qué significa “correcto” en varios cientos de casos reales antes de que el bucle pueda ejecutarse sin supervisión. Este elemento suele ser eliminado, y es él quien determina si el bucle funciona.

2. Deshacer cambios. Con git revert, deshacer una acción incorrecta no cuesta nada, y esa es la característica que hace aceptable a un agente de programación autónomo. Un correo enviado permanece enviado. Lo mismo ocurre con una entrada de diario publicada o una reclamación presentada. Cuando los errores conllevan un costo, el ciclo necesita un punto de control antes de la acción en lugar de una corrección después de ella, y decidir dónde se ubicará ese punto de control es una decisión de arquitectura.

3. Aislamiento. Un árbol de trabajo permite que muchos agentes trabajen en un mismo repositorio sin entrar en conflicto. Los sistemas de registro no cuentan con algo así, por lo que el aislamiento debe implementarse mediante arrendamientos por ámbito específico, bloqueo por entidad o una capa de preparación donde el agente escribe antes de que nada llegue al sistema real.

4. Origen. Cada cambio en el código es una diferencia con un autor y un historial, que puede ser revisado meses después por alguien que no estuvo presente. Los bucles empresariales suelen ejecutarse a través de una cuenta de servicio compartida, lo que reduce todo el rastro a “la integración lo hizo”. Con la aplicación del Acta de IA de la UE en vigor desde el 2 de agosto de 2026, esto es más que un simple problema operativo.

Podemos llamarlo el problema del verificador gratuito: la economía de la ingeniería de bucles depende de cuatro subsidios que solo una base de código puede pagar.

La prueba del oráculo

Hay un paso que precede a cualquier trabajo de arquitectura.

Identifique qué será lo que declare que el trabajo está completado y quién asumirá los costos. Si no se puede responder a ambas preguntas en una sola oración, lo que está construyendo no es un bucle. Es un proceso que funciona eternamente bajo la etiqueta de autonomía.

Una persona puede ser la respuesta. Que un ajustador senior de reclamaciones revise una muestra de 30 casos cada semana cuenta como un oráculo válido, y eso conlleva un costo visible. Afirmar que el agente se verifica a sí mismo no cumple los requisitos. Los laboratorios ya se toparon con esto, lo que explica por qué Claude Code utiliza un modelo separado como evaluador.

Una secuencia que resiste

Para los equipos que desarrollan marcos de trabajo basados en agentes en grandes empresas, este orden suele mantenerse al entrar en contacto con la realidad.

Elige el flujo de trabajo más cercano al estado de lanzamiento. Antes de agregar cualquier primitiva de bucle, escribe la respuesta del oráculo en una sola línea. Si eso requiere más de una oración, el flujo de trabajo no está listo, y ninguna orquestación podrá cambiar eso.

A continuación, establezca su cobertura de evaluación según la división 89/37. Si cuenta con paneles de control pero no con evaluaciones en línea, lo que tiene es un trabajo programado con cron y una factura de monitoreo, no un bucle. Agregue un evaluador al camino de liberación de un flujo de trabajo y otórguele la capacidad de bloquear. Un evaluador sin esa capacidad es simplemente un informe.

Finalmente, trate los cuatro subsidios como una línea presupuestaria y no como una nota al pie del diseño. Cada uno de los elementos que la base de código proporciona de forma gratuita se convierte en verdadera ingeniería una vez que el trabajo deja de ser código, y ignorar esto explica la mayor parte de la brecha entre el 46% que llega a producción y el 5% que muestra impacto en las ganancias y pérdidas.

La dificultad no radica en el bucle. La dificultad está en lo que determina que el trabajo esté terminado, algo que el código nunca le obligó a construir.

Leer más