Accueil / Articles

C’est l’outil d’assistance pour les agents, et non le modèle, qui décide de ce qui devient réel.

Une mise à jour CRM avec délai d’expiration montre pourquoi les agents ont besoin de contrats de logiciels, d’états à résultat inconnu, de tentatives idempotentes et de confirmation de finition, ainsi que des mécanismes de contrôle à conserver.

Éditeur : REACTAPP.TOP6 min de lecture1450 mots

Sources: The Model Is Not the Agent. The Harness Is the Product.

Supposons qu’un agent doive modifier le contact de livraison d’un compte client. Il localise le dossier, rédige les modifications à apporter et appelle le CRM. Puis l’appel expire. Peut-être que la modification a échoué. Peut-être qu’elle a réussi mais que seule la réponse a été perdue. Peut-être que le CRM travaille encore dessus.

Répondre « Terminé » avec assurance ne résout rien de tout cela, tout comme relancer l’appel sans savoir ce qui s’est passé la première fois non plus. L’histoire est fictive, mais elle met en évidence un véritable problème de conception. Demander une action et confirmer son résultat sont deux événements distincts. Un modèle peut traiter la demande sans erreur, tandis que le produit perd encore le fil de la réalité, et c’est là la fonction du mécanisme de coordination.

Qu’est-ce que le mécanisme de coordination ?

Dans ce cadre, le « harness » représente tout ce qui, pendant l’exécution, relie les appels aux modèles, le contexte, les outils, les règles d’exécution et le suivi des progrès. Il peut se composer de plusieurs éléments, et il n’est pas nécessaire d’écrire un framework pour en disposer. Le contrôle d’accès reste géré par les services d’identité, les données durables sont stockées dans les bases de données et les règles métier se trouvent dans les systèmes externes. Le « harness » agit comme un lien entre ces éléments et les coordonne.

Une formule concise le résume : le modèle propose, tandis que le « harness » détermine ce qui devient réel.

Les modèles peuvent planifier, interpréter des preuves et juger si le travail est terminé ; il ne s’agit donc pas que le logiciel effectue la réflexion autour d’un modèle passif. L’essentiel est que le système doit respecter ses limites, même lorsque le jugement du modèle est erroné.

La description fournie par OpenAI du cycle d’agent Codex montre les étapes : préparer les données d’entrée, interroger le modèle, exécuter les outils demandés, renvoyer leurs résultats, et continuer jusqu’à ce que le modèle émette un message. Ce message final marque la fin d’une étape. En soi, il ne prouve rien quant au fait qu’un enregistrement client ait été modifié.

Cela ne fait pas pour autant de cet outil l’ensemble du produit. La qualité du modèle, l’expérience utilisateur, les compétences sectorielles ainsi que les intégrations restent essentielles. Une seule appel au modèle suffit pour une tâche d’écriture limitée. Modifier un enregistrement CRM nécessite également une autorisation pour agir, ainsi qu’une preuve fournie par le système indiquant que des modifications ont été apportées.

Les outils en tant que contrats

Un outil nommé « mettre à jour le client » est insuffisamment spécifié. Il ne précise pas quel client et quel compte concernés, ce qui peut changer, ni ce qui se passe si un collègue modifie l’enregistrement après que l’agent l’a lu. Les conseils d’Anthropic concernant l’écriture d’outils insistent sur des objectifs clairs, des valeurs de retour utiles et des essais sur des tâches réalistes. Les descriptions aident à choisir le modèle, tandis que le code qui les sous-tend doit garantir le respect des règles.

Pour l’exemple du contact de livraison, le contrat pourrait couvrir :

  • Qui : l’ID du client résolu, au sein d’un compte que l’agent est autorisé à modifier.
  • Quoi : uniquement les champs relatifs au contact de livraison mentionnés dans la demande.
  • Protection : la version de l’enregistrement que l’agent a vue en dernier, si le système en expose une.
  • Identité : un ID de demande stable, à condition que le service puisse effectuer une déduplication à partir de celui-ci.
  • Réponse : un statut structuré, des preuves à l’appui et des erreurs sur lesquelles une personne ou un programme peut agir.
  • Il s’agit de choix proposés, et tous les CRM ne les offrent pas.

    Les limites sont plus importantes que des formulations rassurantes. Une ligne d’instruction indiquant « mettre à jour uniquement les clients autorisés » constitue un conseil. Le service lui-même doit vérifier l’identité réelle, le compte, la cible et les champs autorisés. Les lectures nécessitent également une définition de portée : récupérer toute la base de données des clients n’est pas sans risque simplement parce que rien n’a été modifié. L’article d’Anthropic sur la maîtrise de Claude plaide pour des contrôles en plusieurs niveaux autour du modèle, de l’environnement d’exécution et des contenus externes.

    Dans cette conception, une demande hors portée est refusée avant toute écriture. Un conflit de version devient alors une décision concernant les preuves modifiées, et non une autorisation de suppression.

    Lorsque le résultat est inconnu

    Après l’expiration du délai, le système doit enregistrer un résultat inconnu. Ce n’est ni un succès ni nécessairement un échec. L’état inconnu constitue un état d’exécution légitime, mais il ne constitue pas une autorisation à réessayer.

    La récupération devient plus facile lorsque trois types d’états restent séparés :

    1. Contexte de travail : les informations dont le modèle a besoin pour prendre sa prochaine décision.
    2. Enregistrement durable de l’exécution : ce qui était prévu, ce qui a été exécuté, qui a approuvé, ainsi que tout ce qui reste en suspens.
    3. État métier externe : ce que le CRM contient actuellement.

    Un résumé du chat peut permettre à un modèle de reprendre le travail, mais il ne devrait pas constituer la seule mémoire d’une opération importante. Les points de contrôle ont également leurs limites, car le monde réel continue de changer après qu’un point de contrôle a été enregistré, et quelqu’un a pu modifier le contact entre-temps. La conception des Agents gérés d’Anthropic montre pourquoi les durées de vie doivent être séparées : le journal de session, l’outil d’orchestration et l’environnement d’exécution existent de manière indépendante, afin qu’un nouvel outil d’orchestration puisse reprendre à partir des événements persistants. Les applications plus petites peuvent conserver cette séparation logique au sein d’un seul service. Ce qui compte, c’est la capacité de se remettre en marche, et non la reproduction d’une configuration distribuée.

    Pour l’exemple de contact, notez l’opération prévue avant de la envoyer. Après un délai d’attente, demandez au service l’état de l’opération ou cherchez d’autres preuves fiables. Si une lecture de retour affiche le nouveau contact, cela vous indique l’état actuel. Cela ne vous dit pas nécessairement quelle demande l’a provoqué. Tout ce qui est rapporté doit rester dans les limites de ce que les preuves permettent de confirmer.

    Les tentatives de réessai doivent être idempotentes

    « Essayer trois fois » indique simplement pendant combien de temps persister, sans préciser si une autre tentative est sûre. La AWS Builders’ Library décrit un arrangement plus rigoureux dans ses directives relatives aux API idempotentes : l’appelant fournit un identifiant de demande, le service reconnaît l’intention répétée et enregistre la duplication ainsi que la mutation correspondante.

    Un ID local ne peut pas provoquer une écriture externe une seule fois. Le service doit respecter le contrat, y compris ses règles de paramètres et sa fenêtre de conservation. Dans le cas du CRM, la règle de récupération comporte trois branches :

    • Si des preuves fiables confirment l’achèvement, vérifier les conditions post-exécution requises puis finaliser.
    • Si le contrat du service autorise une répétition sans risque, renvoyer la demande en utilisant la même identité d’opération et la même intention, en restant dans les limites fixées.
    • Si le résultat reste ambigu et que la répétition est dangereuse, suspendre l’opération et demander de l’aide.

    Créer un nouvel ID de demande uniquement pour répéter une écriture incertaine va à l’encontre de l’objectif. De plus, lorsque le CRM ne dispose d’aucun moyen de signaler l’état de l’opération ou de supprimer les doublons de manière fiable, les options se réduisent. Cette contrainte devrait être prise en compte dans la conception du produit plutôt que d’être masquée par une invitation plus convaincante.

    Sorties explicites de la boucle

    Un boucle utile observe, décide, agit et vérifie, et elle a également besoin de voies de sortie claires.

    Le produit doit distinguer ces états finaux :

    • Terminé : le résultat souhaité a été vérifié et confirmé.
    • En attente d’approbation : l’étape suivante nécessite quelqu’un ayant plus d’autorité.
    • Bloqué en raison d’une entrée ou d’une dépendance : la progression nécessite quelque chose que l’agent ne peut pas fournir.
    • Annulé ou hors budget : l’exécution s’est terminée sans aucun signe de succès.

    Les tentatives effectuées au cours d’une même séquence suivent toujours les règles de récupération. Des échecs répétés ne constituent pas un progrès simplement parce que l’agent reste actif. Le système doit conserver suffisamment de preuves pour justifier ses décisions : les appels aux outils pertinents, les statuts retournés, les vérifications d’autorisation et les contrôles des résultats, les données sensibles étant exclues des journaux sauf si elles sont nécessaires et protégées.

    L’évaluation obéit à la même règle : il faut examiner l’environnement qui a été modifié plutôt que de se contenter de lire le message final. Une réponse bien rédigée mais adressée au mauvais interlocuteur constitue un échec. Une pause bien expliquée après une écriture non résolue peut être le bon résultat.

    Ne développez pas plus que ce dont vous avez besoin

    Cela ne constitue pas un argument en faveur d’un harnais le plus grand possible. Les expériences d’Anthropic avec des applications à long terme ont consisté à supprimer progressivement des composants et à les réévaluer au fur et à mesure que les modèles s’amélioraient. Une évaluation supplémentaire était utile pour des tâches plus difficiles, mais devenait inutile lorsque un modèle plus performant suffisait déjà.

    Deux types de composants se distinguent. Les contrôles de produit englobent des exigences telles que l’autorisation, la récupération et la responsabilité quant à l’achèvement des tâches. Les structures d’appui spécifiques au modèle compensent les faiblesses actuelles grâce à une planification répétée, des indications correctives ou plusieurs passes d’évaluation supplémentaires. Après toute mise à jour du modèle, testez à nouveau ces structures d’appui. Conservez les contrôles de produit aussi longtemps que le produit en a besoin. L’objectif est d’obtenir le système de contrôle le plus minimal qui permette néanmoins de garantir que le travail reste sûr, observable et récupérable.

    Dans la tâche CRM fictive, le message final doit être concis : l’enregistrement qui a été vérifié, les champs qui correspondent désormais à la demande et tout ce qui reste en attente. Un résultat inconnu est indiqué comme tel. Une approbation en attente précise l’action qui nécessite une validation. Une exécution interrompue en raison d’un budget n’est jamais présentée comme un succès.

    Ce qui fait qu’un agent mérite confiance, ce n’est pas sa persévérance. C’est sa capacité à voir ce qu’il a fait, à se remettre en selle lorsque quelque chose ne fonctionne pas et à respecter les limites qu’il s’est fixées.