Le problème du vérificateur gratuit : pourquoi les boucles d’agents s’arrêtent lorsque le travail n’est pas du code
Les boucles d’agent de codage fonctionnent parce que les compilateurs et les tests effectuent des vérifications gratuitement. En dehors du code, il n’existe pas de vérificateur gratuit : quatre subventions, des données de défaillance et un test oracle.
Sources: Loop Engineering for Enterprise Agents: The Free Verifier Problem
De nombreux fournisseurs présentent aujourd’hui l’ingénierie de boucles comme ce qui vient après l’ingénierie de prompts, et les démonstrations sont réelles. Au lieu d’indiquer manuellement des instructions à un agent de codage, on crée une boucle autour de lui. Celle-ci s’exécute selon un calendrier prédéfini, travaille sur une branche isolée, est évaluée par un second agent et enregistre son état dans un fichier afin que chaque exécution reprenne à partir de la dernière. Boris Cherny, qui dirige Claude Code chez Anthropic, a affirmé que son travail consiste à écrire des boucles. Addy Osmani chez Google a donné un nom à ce modèle, et à la fois Claude Code et OpenAI Codex offrent désormais les mêmes six primitives en tant que fonctionnalités intégrées.
Cela fonctionne, et cela fonctionne pour une raison que ceux qui le vendent mentionnent rarement à voix haute. Cette raison ne s’applique pas aux autres types de tâches.
Les boucles de codage fonctionnent parce que la base de code inclut déjà son propre vérificateur. Le compilateur, le vérificateur de types et le jeu de tests évaluent immédiatement chaque tentative presque sans coût. La séparation entre créateur et vérificateur, souvent considérée comme le mécanisme de confiance à l’origine de l’ingénierie des boucles, coûte très peu en termes de logiciel, puisque la moitié de ce système existait déjà dans le répertoire avant même l’apparition de tout agent.
Si l’on transfère la même boucle dans un processus de traitement de demandes, une procédure d’approbation des achats ou une action corrective pour un client, aucun vérificateur n’est disponible. Il faut alors le créer soi-même, et presque personne ne prévoit de budget à cet effet. C’est le meilleur indicateur pour savoir si un programme d’agent va rencontrer des difficultés dès la phase pilote.
Pourquoi le codage est simple tandis que tout le reste ne l’est pas
Parmi les six primitives de boucle, celles-ci ne se prêtent pas toutes de la même manière à d’autres domaines. Les exécutions planifiées, les connecteurs, les compétences et la mémoire s’adaptent facilement à d’autres domaines avec peu de friction. Deux d’entre elles, en revanche, ne le font pas.
L’isolation est prioritaire. Les worktrees git par session permettent à Spotify d’exécuter des dizaines de sessions d’agents en parallèle sur une même base de code sans que ces agents ne corrompent les uns les autres. Son environnement de développement interne basé sur des agents, Xirp, a enregistré plus de 36 000 sessions menées par des milliers d’ingénieurs, et c’est le worktree qui assure la sécurité de cette concurrence. Un grand livre comptable ne dispose pas de git worktree. Les agents d’entreprise écrivent dans des systèmes de registre partagés, et deux agents travaillant sur la même entité au même moment constituent un incident d’intégrité des données, et non un conflit de fusion.
La vérification est la deuxième étape, et c’est celle qui est coûteuse. Dans le code, la question « a-t‑ce fonctionné ? » est répondue par une machine en quelques secondes. Dans un flux de travail d’entreprise, il s’agit d’un jugement qui ne peut souvent être établi qu’après qu’une personne ait examiné la situation, parfois pas avant la clôture du mois, et occasionnellement pas avant que des autorités de régulation ne posent des questions. Claude Code évalue les résultats à l’aide d’un modèle distinct, car l’évaluation automatique serait trop indulgente. C’est là le bon design, et en dehors du code, c’est la partie que l’on doit construire de zéro.
Ce que les chiffres de production révèlent sur les échecs
Ici, les preuves ne sont plus anecdotiques.
Les données de télémétrie de Foundra, couvrant 6 259 agents déployés et environ 4,5 millions d’exécutions, montrent que le taux de réussite des tâches dans des conditions réelles est de 56,6 %, soit environ 37 points en dessous de la performance de référence. La répétition aggrave la situation, et c’est précisément ce que fait une boucle. Dans tau-bench, les agents qui obtiennent un score d’environ 60 % lors d’une seule tentative tombent à environ 25 % lorsqu’ils doivent réussir huit fois de suite.
Les chiffres fournis confirment cette tendance : 46 % des concepts de preuve parviennent à la phase de production, 14 % sont étendus à l’ensemble de l’organisation et environ 5 % ont un impact mesurable sur les profits et les pertes. Gartner prévoit que plus de 40 % des projets d’IA agente seront annulés d’ici la fin de 2027.
La dégradation en soi n’est pas l’aspect intéressant. C’est là où les échecs se concentrent qui l’est. Ils se rassemblent aux points de jonction : les transferts entre étapes, les données d’entrée désordonnées et les points aveugles dans la surveillance, et non dans les capacités brutes du modèle. Ce sont précisément ces trois endroits où un compilateur aurait signalé le problème dans une boucle de codage, et ce sont aussi les endroits où une boucle d’entreprise ne dispose d’aucun correcteur automatique.
Un autre chiffre provient d’une enquête de LangChain menée auprès de plus de 1 300 professionnels : 89 % des équipes utilisant des agents disposent d’outils d’observabilité, mais seules 52 % effectuent des évaluations hors ligne et 37 % des évaluations en ligne. Presque tout le monde surveille, mais beaucoup moins évaluent. Une boucle qui est surveillée mais non évaluée ne se corrige pas elle-même. Elle produit davantage de ce qu’elle produisait déjà, plus rapidement, avec un tableau de bord prouvant qu’elle continue de fonctionner.
Ce qu’un codebase offre gratuitement à une boucle
Tout ceux qui déplacent une boucle hors de l’IDE pour la placer dans un processus métier doivent prendre en compte quatre éléments que git et le compilateur fournissent gratuitement, ainsi que le coût de chacun lorsque le travail ne concerne pas du code.
1. L’oracle. Les tests et le compilateur indiquent « réussi » ou « échoué » à chaque exécution, en quelques secondes, sans frais. En dehors du code, il n’y a pas d’oracle par défaut. Il faut en créer un en constituant un ensemble d’évaluation étiqueté, ce qui signifie qu’une personne doit déterminer ce que signifie « correct » à partir de quelques centaines de cas réels avant que la boucle ne puisse fonctionner sans surveillance. Ce poste de coût a tendance à être supprimé, or c’est lui qui détermine si la boucle fonctionne correctement.
2. Retour en arrière. Avec git revert, annuler une action erronée ne coûte rien, et c’est cette propriété qui rend un agent de codage autonome acceptable. Un e-mail envoyé reste envoyé, tout comme une entrée de journal publiée ou une demande déposée. Lorsque les erreurs ont un prix à payer, le cycle nécessite un point de contrôle avant l’exécution de l’action plutôt que des corrections après coup, et déterminer où se situe ce point de contrôle relève d’une décision architecturale.
3. Isolation. Un arbre de travail permet à de nombreux agents de travailler dans un même répertoire sans entrer en conflit. Les systèmes de registre ne disposent pas de mécanisme similaire, il faut donc assurer l’isolation grâce à des licences ciblées, à un verrouillage par entité ou à une couche de préparation où l’agent écrit avant que quoi que ce soit n’atteigne le système réel.
4. Provenance. Chaque modification de code est présentée sous forme de diff, accompagnée d’un auteur et d’un historique, pouvant être examiné des mois plus tard par quelqu’un qui n’était pas présent. Les boucles d’entreprise utilisent souvent un compte de service partagé, ce qui réduit toute trace à l’affirmation « c’est l’intégration qui l’a fait ». Avec l’application effective de la loi européenne sur l’IA depuis le 2 août 2026, cela constitue bien plus qu’un simple problème opérationnel.
On peut qualifier cela de problème du vérificateur gratuit : l’économie de l’ingénierie des boucles dépend de quatre subventions que seul un ensemble de codes peut financer.
Le test de l’oracle
Une étape précède tout travail d’architecture.
Il s’agit de déterminer ce qui permettra de constater que le travail est terminé, et qui en assumera le coût. Si ces deux questions ne peuvent pas être répondues en une seule phrase, ce que vous construisez n’est pas une boucle. C’est un processus qui fonctionne indéfiniment sous le prétexte de l’autonomie.
Une personne peut constituer la réponse. Faire examiner une sélection de 30 cas par semaine par un expert en traitement des sinistres expérimenté compte comme une source de réponse fiable, et cela a un coût visible. Prétendre que l’agent s’auto-évalue ne suffit pas. Les laboratoires sont déjà tombés sur ce problème, ce qui explique pourquoi Claude Code utilise un modèle distinct pour l’évaluation.
Une séquence qui tient la route
Pour les équipes qui développent des frameworks d’agents dans de grandes entreprises, cet ordre a tendance à résister au contact avec la réalité.
Choisissez le flux de travail le plus proche de la mise en production. Avant d’ajouter la moindre primitive de boucle, écrivez la réponse de la source de réponse sur une seule ligne. Si cela nécessite plus d’une phrase, le flux de travail n’est pas prêt, et aucune orchestration ne pourra y remédier.
Ensuite, définissez votre couverture d’évaluation en fonction du ratio 89/37. Si vous disposez de tableaux de bord mais pas d’évaluations en ligne, ce que vous avez en réalité, c’est un job cron ainsi qu’une facture de suivi, et non un cycle. Ajoutez un évaluateur au parcours de déploiement d’un flux de travail et donnez-lui le pouvoir de bloquer. Un évaluateur sans ce pouvoir n’est qu’un rapport.
Finalement, considérez les quatre subventions comme une ligne budgétaire et non comme une note de bas de page technique. Chaque élément fourni gratuitement par la base de code devient un véritable travail d’ingénierie dès lors que ce n’est plus du code, et ignorer ce fait explique en grande partie l’écart entre les 46 % qui atteignent la production et les 5 % qui ont un impact sur les résultats financiers.
La difficulté ne réside pas dans le cycle lui-même. La véritable difficulté vient de ce qui permet de déclarer le travail terminé, alors que le code ne vous a jamais forcé à le créer.