Inicio / Artículos

Por qué es el Agent Harness, y no el modelo, quien decide qué se vuelve real.

Una actualización del CRM con tiempo límite muestra por qué los agentes necesitan contratos de herramientas, estados de resultado desconocido, reintentos idempotentes y verificación de finalización, además de controles que vale la pena mantener.

Editor: REACTAPP.TOP6 min de lectura1450 palabras

Fuentes: The Model Is Not the Agent. The Harness Is the Product.

Imaginemos que un agente debe cambiar el contacto de entrega en una cuenta de cliente. Localiza el registro, elabora la edición y llama al CRM. Luego, la llamada se agota. Quizás la edición falló. Quizás se completó pero solo se perdió la respuesta. Quizás el CRM sigue trabajando en ello.

Responder “Hecho” con seguridad no resuelve ninguno de estos problemas, al igual que volver a realizar la llamada sin saber qué sucedió la primera vez. La historia es ficticia, pero revela un problema de diseño real. Solicitar una acción y confirmar su resultado son eventos separados. Un modelo puede seguir la solicitud sin errores mientras el producto sigue perdiendo el contacto con la realidad, y esa es la función del mecanismo de control.

Qué es el mecanismo de control

En este enfoque, el “arness” es todo aquello que durante la ejecución une las llamadas al modelo, el contexto, las herramientas, las reglas de ejecución y el seguimiento del progreso. Puede estar compuesto por varias partes, y no es necesario que nadie escriba un framework para contar con uno. El control de acceso queda en manos de los servicios de identidad, los registros duraderos se almacenan en bases de datos y las reglas de negocio permanecen en los sistemas externos. El “arness” actúa como puente entre estos elementos y los coordina.

Una fórmula breve lo resume: el modelo propone, y el “arness” determina qué se hace realidad.

Los modelos pueden planificar, interpretar evidencias y decidir si el trabajo está completado; por lo tanto, no se trata de que el software realice el razonamiento en torno a un modelo pasivo. Lo importante es que el sistema debe imponer sus límites incluso cuando el juicio del modelo es incorrecto.

La descripción que da OpenAI del ciclo del agente Codex muestra los pasos: preparar la entrada, consultar el modelo, ejecutar las herramientas solicitadas, devolver sus resultados y continuar hasta que el modelo emita un mensaje. Ese mensaje final pone fin a una ronda. Por sí solo, no demuestra nada sobre si un registro del cliente ha cambiado.

Eso no significa que el conjunto de herramientas constituya el producto completo. La calidad del modelo, la experiencia del usuario, la especialización en el área y las integraciones siguen siendo factores importantes. Una sola llamada al modelo es suficiente para una tarea de redacción sencilla. Para editar un registro de CRM también se necesita permiso para actuar y una confirmación del sistema de que se ha realizado la modificación.

Herramientas como contratos

Una herramienta llamada “actualizar cliente” está insuficientemente especificada. Deja sin definir qué cliente y qué cuenta, qué puede cambiar, y qué ocurre si un colega edita el registro después de que el agente lo haya leído. El consejo de Anthropic sobre la creación de herramientas apunta a propósitos claros, valores de retorno útiles y pruebas con tareas realistas. Las descripciones guían la elección del modelo, mientras que el código que las sustenta debe hacer cumplir las reglas.

En el ejemplo de contacto de entrega, el contrato podría incluir:

  • Quién: el ID del cliente resuelto, dentro de la cuenta a la que el agente tiene acceso.
  • Qué: únicamente los campos de contacto de entrega mencionados en la solicitud.
  • Guardado: la versión del registro que el agente vio por última vez, si el sistema la muestra.
  • Identidad: un ID de solicitud estable, siempre que el servicio pueda identificarlo de forma única.
  • Respuesta: un estado estructurado, pruebas que lo respalden y errores en los que una persona o programa pueda actuar.
  • Estas son opciones propuestas, y no todos los CRM las ofrecen.

    Los límites son más importantes que las palabras tranquilizadoras. Una línea de indicación que diga “solo actualice a clientes autorizados” es un consejo. El servicio en sí debe verificar la verdadera identidad, la cuenta, el destino y los campos permitidos. Las lecturas también necesitan un alcance definido: obtener toda la base de datos de clientes no es inocuo solo porque no se modificó nada. La explicación de Anthropic sobre cómo contener a Claude aboga por controles en capas alrededor del modelo, del entorno de ejecución y del contenido externo.

    En este diseño, una solicitud fuera del alcance es rechazada antes de realizar cualquier escritura. Un conflicto de versiones se convierte en una decisión sobre las pruebas modificadas, y no en un permiso para sobrescribir.

    Cuando el resultado es desconocido

    Después del tiempo de espera, el sistema debe registrar un resultado desconocido. Eso no es ni un éxito ni necesariamente un fracaso. El estado desconocido es un estado de ejecución legítimo, y no constituye una autorización para intentarlo de nuevo.

    La recuperación es más sencilla cuando tres tipos de estados permanecen separados:

    1. Contexto de trabajo: la información que el modelo necesita para tomar su próxima decisión.
    2. Registro duradero de ejecución: lo que se pretendía hacer, lo que se ejecutó, quién lo aprobó y todo lo que aún está pendiente.
    3. Estado empresarial externo: lo que el CRM contiene actualmente.

    Un resumen de la conversación puede ayudar a que el modelo vuelva a funcionar, pero no debería ser el único registro de una operación importante. Los puntos de control también tienen sus limitaciones, ya que el mundo real sigue evolucionando después de que se guarda uno y alguien podría haber modificado al contacto en ese tiempo. El diseño de los Agentes Gestionados de Anthropic muestra por qué los ciclos de vida deben ser separados: el registro de la sesión, el harness y el entorno de ejecución existen de forma independiente, de modo que un harness nuevo pueda continuar desde los eventos guardados. Las aplicaciones más pequeñas pueden mantener esta separación lógica dentro de un mismo servicio. Lo importante es poder recuperarse, no reproducir una configuración distribuida.

    En el ejemplo de contacto, anote la operación deseada antes de enviarla. Después de un tiempo de espera, solicite al servicio el estado de la operación o busque otras pruebas fiables. Si una lectura posterior muestra el nuevo contacto, eso le indicará el estado actual. No necesariamente le revelará qué solicitud lo causó. Todo lo que se informe debe ajustarse a lo que respalden las pruebas.

    Las reintentos requieren idempotencia

    “Intente tres veces” indica cuánto tiempo persistir, pero no dice nada sobre si otro intento es seguro. La AWS Builders’ Library describe un enfoque más estricto en sus directrices para APIs idempotentes: el solicitante proporciona un identificador de solicitud, el servicio reconoce la intención repetida y registra la duplicación junto con la mutación.

    Un ID local no puede realizar una escritura externa una sola vez. El servicio debe cumplir con el contrato, incluyendo sus reglas de parámetros y el período de retención. En el caso del CRM, la regla de recuperación tiene tres ramas:

    • Si hay pruebas fiables que confirman la finalización, se verifican las condiciones posteriores requeridas y se finaliza el proceso.
    • Si el contrato del servicio permite una retransmisión segura, se envía nuevamente utilizando la misma identidad de operación e intención idéntica, dentro de sus límites.
    • Si el resultado sigue siendo ambiguo y la retransmisión no es segura, se pausa el proceso y se solicita ayuda.

    Generar un nuevo ID de solicitud solo para repetir una escritura incierta anula el propósito. Y cuando el CRM no puede informar sobre el estado de la operación ni eliminar duplicados de manera fiable, las opciones disminuyen. Esa limitación debería reflejarse en el diseño del producto en lugar de ocultarse con un mensaje más convincente.

    Salidas explícitas del bucle

    Un bucle útil observa, decide, actúa y verifica, y también necesita salidas claras.

    El producto debe distinguir estos estados finales:

    • Completado: el resultado necesario ha sido verificado y confirmado.
    • En espera de aprobación: el siguiente paso requiere a alguien con más autoridad.
    • Bloqueado por entrada o dependencia: el progreso necesita algo que el agente no puede proporcionar.
    • Cancelado o fuera de presupuesto: la ejecución finalizó sin que se registrara ningún éxito.

    Los intentos de nuevo dentro de una ejecución continua siguen las reglas de recuperación. El fracaso repetido no constituye progreso solo porque el agente sigue ocupado. El sistema debe conservar suficientes pruebas para explicar sus decisiones: las llamadas a las herramientas relevantes, los estados devueltos, las verificaciones de autorización y las verificaciones de resultados, manteniendo los datos sensibles fuera de los registros a menos que sean necesarios y estén protegidos.

    La evaluación sigue la misma regla: se debe inspeccionar el entorno que fue modificado en lugar de limitarse a leer el mensaje final. Una respuesta pulida que mencione al contacto incorrecto constituye un fracaso. Una pausa bien explicada después de una escritura no resuelta podría ser el resultado adecuado.

    No construya más de lo necesario

    Esto no es un argumento a favor del arnés más grande posible. Los experimentos de Anthropic con aplicaciones de larga duración eliminaron componentes uno por uno y reevaluaron cada uno a medida que mejoraban los modelos. La evaluación adicional ayudó en tareas más difíciles, pero se convirtió en una carga adicional cuando un modelo más potente ya rendía bien.

    Surgen dos tipos de componentes. Los controles del producto incluyen requisitos como la autorización, la recuperación y la responsabilidad por la finalización. El andamiaje específico del modelo compensa las debilidades actuales mediante planificación repetida, indicaciones correctivas o pasadas adicionales del evaluador. Después de cualquier actualización del modelo, pruebe nuevamente el andamiaje. Mantenga los controles del producto mientras el producto los necesite. El objetivo es contar con el sistema de control más pequeño que aún permita que el trabajo sea seguro, observable y recuperable.

    En la tarea ficticia de CRM, el mensaje final debe ser concreto: el registro que se verificó, los campos que ahora coinciden con la solicitud y todo lo que aún está pendiente. Un resultado desconocido se reporta como tal. Una aprobación pendiente indica la acción que espera la firma final. Una ejecución interrumpida por un límite presupuestario nunca se presenta como un éxito.

    Lo que hace que un agente sea digno de confianza no es la persistencia, sino la capacidad de saber qué hizo, de recuperarse cuando algo falla y de respetar los límites dentro de los cuales opera.

    Leer más