Inicio / Artículos

Principios de diseño de flujos de trabajo de agentes para equipos de ingeniería de producción

Principios de diseño para flujos de trabajo de agentes de producción: contratos de finalización, estado honesto, resúmenes de aprobaciones, acciones externas idempotentes, rastreo y evaluaciones.

Editor: REACTAPP.TOP10 min de lectura2247 palabras

Fuentes: What building agents taught me about production engineering

Integrar agentes en procesos empresariales reales cambia las preguntas que se plantean antes de confiar en una solución de automatización. ¿De dónde provienen las pruebas? ¿Qué podía modificar el sistema? ¿Qué ocurre si la ejecución se interrumpe a mitad de camino? Estas preguntas tienen más importancia que la elección del marco tecnológico, especialmente cuando tareas clave como la investigación de cuentas, los correos electrónicos, el contenido y los seguimientos están conectadas a los sistemas empresariales. Los principios que se presentan a continuación surgen de ese tipo de trabajos y están destinados a la próxima versión del sistema.

Imagínese una solicitud ordinaria: investigar una cuenta, redactar un mensaje útil y dejarlo en un lugar donde alguien pueda revisarlo. El modelo puede ayudar con la investigación y la redacción. Todo lo relacionado con ello, es decir, el software, debe conservar las pruebas, gestionar las revisiones y asumir la responsabilidad por cualquier cambio fuera del flujo de trabajo. La preparación de un borrador puede finalizar mucho antes de que se autorice algo externo, por lo que las pruebas, la autorización y el resultado requieren una verificación separada cada uno.

Decida qué significa “terminado” antes de elegir un marco de trabajo

Diferentes flujos de trabajo definen de manera distinta el proceso de finalización. Un informe de cuenta se considera finalizado cuando se guarda un documento junto con sus fuentes, una evaluación de relevancia y una nota sobre lo que aún es dudoso. Un flujo de contacto se considera finalizado cuando el proveedor de correo ha recibido el mensaje exacto con el que la persona dio su aprobación. Se trata de compromisos separados, y ninguno indica que el destinatario haya abierto el correo.

Una vez que esto queda registrado, el código cambia. La investigación puede legítimamente devolver poca evidencia. Se puede elaborar un borrador mientras su revisión está pendiente. Una acción externa puede ser aceptada por el proveedor, pero su entrega final aún puede estar abierta.

Deje que el modelo se encargue de lo que requiere interpretación, como elegir una buena fuente, identificar el contexto relevante o explicar una recomendación. Deje que el código aplique las reglas explícitas: campos obligatorios, herramientas permitidas y límites de ejecución. Un esquema puede confirmar que existe una referencia de fuente, pero para saber si dicha fuente respalda la afirmación aún se necesita una verificación de evidencias.

Aquí el contraste entre flujos de trabajo y agentes resulta muy útil. Anthropic define un flujo de trabajo como un camino fijado de antemano, y a un agente como una configuración en la que el modelo toma las decisiones. Un mismo producto puede combinar ambos enfoques, por lo que la verdadera pregunta es dónde la libertad tiene su precio.

Haga que el estado refleje lo que realmente sucedió

El modelo de datos requiere una cuidadosa planificación antes de que el flujo de trabajo crezca. Un campo llamado status se vuelve ambiguo rápidamente cuando debe describir al mismo tiempo la investigación, la revisión, la ejecución y la entrega. Mantenerlos separados tiene un valor práctico: si se guarda un borrador pero falla la notificación de revisión, el siguiente paso puede intentar nuevamente la notificación sin generar otro borrador, y cualquiera que examine el proceso podrá ver ambos hechos.

La aprobación también exige la misma precisión. En esta configuración, está vinculada a la operación, la cuenta, el destinatario y todo el cuerpo del mensaje. Un enfoque viable consiste en mantener la carga útil inmutable y derivar un resumen a partir de una versión canónica. Antes de enviarla, el ejecutor compara lo que está a punto de hacer con lo que fue aprobado, verifica la fecha de vencimiento y los derechos actuales, y envía esa misma carga útil almacenada. El resumen solo detecta alteraciones. Quién puede aprobarlo es un asunto de control de acceso.

Un modelo no debe poder aprobarse a sí mismo devolviendo approved: true. La aplicación registra la autorización a través de un proceso de revisión confiable. Algunas tareas de bajo impacto pueden utilizar en su lugar una política establecida de forma explícita, y en ambos casos el permiso debe mantenerse delimitado y verificable.

Un propietario lógico por ejecución

Frameworks como LangGraph ayudan a pensar en el estado y las transiciones, mientras que una herramienta de flujo de trabajo como n8n se encarga de los desencadenantes, el enrutamiento y el movimiento predecible de datos. Surge una pregunta diferente cuando el trabajo trasciende los límites del tiempo de ejecución: ¿qué componente es responsable de la ejecución?

En este diseño, un propietario lógico se encarga de programar, de la identidad de una ejecución y del estado autoritativo. Se le asigna a un entorno de ejecución delegado una tarea con límites definidos, y este responde con una salida estructurada que el propietario verifica antes de avanzar con el flujo de trabajo. Se trata de un patrón de aplicación que no dice nada sobre cómo se integran las herramientas específicas.

Para un resumen de la cuenta, la delegación podría indicar el nombre de la cuenta, las fuentes permitidas, los permisos de la herramienta, el esquema de salida y un presupuesto de tiempo o costos. Lo que se devuelva debe permitir distinguir un resumen completo de pruebas insuficientes, fallos en la herramienta o límites alcanzados, de modo que el flujo de trabajo principal pueda reaccionar ante cada caso sin considerar el párrafo final de la respuesta del modelo como una señal de control.

El software circundante es el arnés del agente: código que proporciona contexto, expone herramientas, gestiona la ejecución y sigue el progreso. El trabajo de Anthropic en agentes de ejecución prolongada ofrece un ejemplo de cómo los artefactos de progreso explícitos ayudan a las sesiones posteriores a retomar el trabajo inconcluso. Los artefactos que se deben conservar dependen de la tarea.

El estado de un flujo de trabajo empresarial necesita un registro duradero que se mantenga fuera del chat del modelo. La documentación de LangGraph establece una distinción entre el estado del hilo guardado en puntos de control y los datos conservados entre hilos, advirtiendo que los puntos de control basados únicamente en memoria se pierden al reiniciar. Elegir qué backend de almacenamiento utilizar es una decisión operativa. El contexto es el lugar adecuado para guardar preferencias de estilo recordadas, mientras que el sistema de permisos es el lugar adecuado para la autorización actual. Una página recuperada o una habilidad reutilizable pueden servir de información para una tarea, pero nunca deben permitir que esta amplíe sus capacidades. Varios trabajadores pueden atender a un mismo propietario lógico, siempre y cuando los mecanismos de coordinación impidan transiciones de estado conflictivas.

Asigna a cada paso su propio contexto

La investigación necesita acceso a fuentes y un lugar donde registrar dudas. La redacción requiere el resumen aprobado, ejemplos de mensajes efectivos y las reglas internas. Cuando cada paso cuenta con un contexto adecuado, resulta más sencillo evaluar su comportamiento. Diferentes roles pueden configurarse en un mismo entorno de ejecución sin necesidad de agentes adicionales o infraestructura extra.

Una habilidad incluye un procedimiento que se repite: fuentes a verificar, qué resultado generar y cómo confirmarlo. La aplicación de las normas sigue correspondiendo al entorno de ejecución, a través del acceso a herramientas y de los límites de recursos. Indicarle a un trabajador en un archivo de habilidades que no envíe algo es solo un consejo, mientras que quitarle las credenciales para enviarlo constituye una restricción efectiva.

Las acumulaciones de habilidades y configuraciones también requieren una revisión periódica. Dos instrucciones razonables pueden entrar en conflicto cuando se cargan juntas. Después de una ejecución, un agente puede proponer una actualización de memoria, pero su autoevaluación no demuestra una mejora. Cualquier corrección debe indicar su origen, tener un alcance adecuado y contar con una evaluación antes de modificar un comportamiento que otros también comparten.

Trata las acciones externas como su propio problema de ejecución

Describe con precisión los efectos de las herramientas. Escribir un artefacto local, crear un borrador en el proveedor y enviar un mensaje son tres operaciones, cada una con sus propios permisos. Los adaptadores deben convertir las respuestas del proveedor en estados explícitos, y las pruebas de integración deben verificar el estado resultante del proveedor.

Para las escrituras que tienen consecuencias, enrute las operaciones a través de un servicio de ejecución que verifique la autorización en el último momento antes de enviarla. Las credenciales y las rutas de red deben respaldar esto, ya que una verificación en una herramienta auxiliar sirve de poco si otro script puede acceder al proveedor con las mismas credenciales.

La recuperación es más difícil cuando no hay respuesta. Imagine que el proveedor recibe un mensaje y la conexión falla antes de que el procesador guarde el resultado. El procesador sabe que lo intentó, pero no puede determinar si intentarlo de nuevo generaría duplicados. Mantenga una única identidad para la acción en todas las reintentos y asigne una identidad distinta a cada intento. Cuando un proveedor admite la idempotencia, se basa en una clave estable para cada operación prevista, y la garantía proviene del contrato de dicho proveedor. Por ejemplo, los documentos de Stripe explican cómo se comparan los parámetros y cuánto tiempo permanecen las claves; reutilizar una clave una vez agotada puede generar una solicitud nueva.

Si existe una forma fiable de consultar el estado, úsela. Si el proveedor promete reproducciones seguras para la misma clave y carga útil, un intento de nuevo podría resolver el problema. Si ambos métodos fallan, registre el resultado como desconocido y resuélvalo o pida ayuda a un humano. Un resultado negativo en la consulta no demuestra que la acción nunca se ejecutó, ya que los datos del proveedor pueden presentar retrasos. La explicación de AWS sobre los intentos de nuevo seguros aboga por incluir la identidad de la solicitud en el contrato de la API, de modo que el seguimiento por parte del cliente y el comportamiento del proveedor estén alineados.

Una bandeja de salida transaccional evita que una acción confirmada desaparezca entre la escritura en la base de datos y su envío, pero por sí sola no puede impedir que un proveedor ejecute una solicitud repetida. Un punto de control también permite reanudar el trabajo local, pero no puede resolver un resultado externo desconocido. Tras un tiempo de espera ambiguo, la evidencia podría ser una búsqueda soportada, un evento o una reproducción idempotente documentada. Un ID de acción generado localmente no convierte a una API en idempotente.

Medir en los límites

Las llamadas a herramientas son un buen lugar para observar el comportamiento del agente. El rastro debe vincular la ejecución, la revisión del artefacto, la decisión de autorización y cada intento externo. Capture los argumentos y resultados de las herramientas de forma selectiva, con censura y controles de acceso, ya que almacenar cada carga útil sin procesar genera sus propios problemas.

El registro debe responder a preguntas prácticas. ¿Eran utilizables las pruebas de la investigación? ¿La validación rechazó el borrador? ¿Está en espera de un revisor o falló la notificación? ¿La acción fue aceptada, rechazada o dejada sin resolver?

Estas distinciones también mejoran la evaluación. Para un flujo de trabajo de cuentas, comience con ejemplos comunes además de un pequeño conjunto de casos difíciles:

  • Las fuentes difieren y el resumen debe mantener esa discrepancia.
  • El mensaje se edita después de la aprobación, lo que significa que la ejecución necesita una autorización nueva.
  • El mismo trabajo llega dos veces y no se deben crear dos acciones lógicas.
  • El proveedor realiza la acción y luego falla la conexión, por lo que la recuperación debe respetar lo que realmente garantiza el proveedor en las intentonas posteriores.

Reserve las verificaciones deterministas para aspectos como esquemas válidos y aprobaciones correspondientes. Para evaluar la relevancia y el grado en que las pruebas respaldan una afirmación, utilice una rúbrica definida y ejemplos revisados. La calificación mediante un modelo puede ser útil, siempre y cuando verifique hasta qué punto sigue el juicio humano. El consejo de evaluación de Anthropic separa la ejecución registrada del agente del estado final del entorno y sugiere repetir las pruebas, ya que los agentes pueden actuar de manera diferente en cada ocasión. Estas ideas son adecuadas para probar todo un flujo de trabajo.

En el caso de un flujo de trabajo de redacción, observe con qué frecuencia se aceptan los borradores sin editar, cuánto tiempo dedican los revisores y el costo total por cada artefacto aceptado, incluyendo los intentos fallidos en ese costo. También es importante contar la cobertura: cuántas solicitudes aptas generaron algo útil. Si se omite este aspecto, un sistema puede parecer más estable simplemente al rechazar las tareas más difíciles.

Lanzar el comportamiento como una unidad

Editar una instrucción puede cambiar el comportamiento de producción mientras la imagen del contenedor permanece idéntica, por lo que cada versión necesita un manifiesto que vincule la versión del código con el flujo de trabajo, las instrucciones, los esquemas, los adaptadores de herramientas, la configuración del modelo y la política de permisos. Cada ejecución registra la versión bajo la cual se realizó. De este modo se vuelve posible realizar investigaciones, aunque no se garantiza una reproducción exacta, ya que los modelos evolucionan, los proveedores cambian y los datos de origen pueden desaparecer. Mantener las versiones relevantes de las entradas o las instantáneas permitidas ayuda a explicar los resultados posteriormente.

Los trabajos que se ejecutan durante mucho tiempo presentan otro problema: un punto de control antiguo podría no coincidir con un esquema de estado más reciente. La implementación debe decidir explícitamente si finalizar esas ejecuciones con la versión antigua, migrarlas o detenerlas para su revisión. Revertir únicamente la imagen del trabajador podría no restablecer un comportamiento compatible.

El ejercicio se reinicia en los momentos clave: justo después de guardar un artefacto, mientras una revisión está pendiente, y en ambos lados del envío. Cuando hay varios trabajadores, la base de datos puede rechazar escrituras obsoletas mediante actualizaciones condicionales o tokens de protección. Detener las duplicaciones fuera del sistema sigue dependiendo de cómo esté diseñada la ejecución y del contrato del proveedor.

Un primer despliegue puede ser sencillo: un servicio, una base de datos duradera y un trabajador en segundo plano pueden ser suficientes. Credenciales separadas, límites en los intentos de reintentar y un interruptor de emergencia para nuevas escrituras externas son necesarios antes de implementar un clúster grande. Kubernetes resulta útil cuando sus funciones de programación o operaciones satisfacen una necesidad que hayas medido previamente.

Mantente con un flujo de trabajo hasta que lo entiendas

Los productos de Agent siguen cambiando lo que resulta económico de desarrollar, y explorarlos vale la pena. No obstante, es útil mantener la constancia suficiente para comprender el trabajo que se está realizando. Para resúmenes de cuentas o clasificación de correos, mantenga fijos los datos de entrada, los resultados útiles y los límites de revisión a medida que la implementación mejora. De este modo, se podrá evaluar un nuevo modelo o entorno de ejecución comparándolo con ejemplos, permisos y necesidades de recuperación idénticos.

Adoptar otra herramienta se convierte en una pregunta concreta: ¿puede expresar de manera más clara el traspaso de tareas, reducir el esfuerzo de los revisores o recuperar el trabajo interrumpido con menos pasos manuales? ¿Y eso justifica la migración y el mantenimiento? Esa es la evaluación que merece seguirse: decidir dónde el razonamiento compensa su costo, dejar clara la autoridad y conservar suficientes pruebas para saber qué ocurrió después de que el modelo dejó de funcionar.

Leer más

  • Dejar de facilitar los deseos de los agentes de IA: un proceso basado en especificaciones para equipos pequeños — Cómo un equipo pequeño lanza productos con agentes de IA: especificaciones escritas, revisión por parte de dos familias de modelos, pruebas en tiempo de ejecución, fusión de resultados por humanos y un orquestador que recuerda.
  • Ingeniería de contexto para sistemas multiagente: por qué fallan las transiciones entre pasos — Los agentes rara vez fallan dentro de un mismo paso. Fallan entre pasos, cuando llega el contexto incorrecto. Cómo diseñar el estado, el enrutamiento y la calidad del contexto en LangGraph.
  • Qué cambios trae la API de OpenAI Agents para la creación de agentes que operan durante mucho tiempo — Entienda cómo el gestor de agentes maneja los entornos de pruebas, la compresión de contexto, la búsqueda de herramientas, los subagentes y MCP, y qué implica esto para la seguridad, el depuración y el diseño.