Accueil / Articles

Des évaluations aux agents auto-améliorants : cinq époques de l’évaluation des agents

L’évaluation des agents signifie désormais l’audit des traces. Voir comment les vérifications déterministes, les juges LLM et les agents, la diagnostic et un méta-mécanisme créent un cycle d’amélioration sûr.

Éditeur : REACTAPP.TOP7 min de lecture1716 mots

Sources: From Evals to Self-Improving Agents

La version courte

  1. Auparavant, évaluer un agent signifiait lire sa dernière réponse. Aujourd’hui, cela signifie examiner l’ensemble de ses exécutions.
  2. Les tests déterministes manuscrits restent utiles, bien qu’ils ne puissent signaler que les problèmes déjà anticipés par quelqu’un.
  3. Un juge basé sur un modèle de langage permet d’évaluer les sorties selon des critères prédéfinis. Un juge qui est lui-même un agent permet d’identifier les échecs liés au parcours, à l’utilisation des outils et au flux de travail.
  4. Ce qui vient ensuite, c’est le diagnostic à travers les traces : repérer des schémas d’échec qui se répètent au cours de milliers d’exécutions en temps réel.
  5. Un agent qui s’améliore lui-même nécessite un mécanisme métier, c’est-à-dire des données de télémétrie, un diagnostic, des correctifs proposés, des essais en environnement isolé, une validation, un déploiement progressif, ainsi qu’un moyen de garantir l’honnêteté des évaluateurs eux-mêmes.

Pourquoi les seules sorties ne suffisent plus

Les premières applications de LLM étaient courtes et principalement linéaires : une requête était envoyée, une réponse était générée, puis quelqu’un la vérifiait. Les agents ont brisé cette structure. Ils planifient sur plusieurs étapes, invoquent des outils, lisent et écrivent dans l’état du système, modifient des fichiers, se remettent de actions échouées, délèguent des tâches à des sous-agents et restent actifs pendant de longues périodes.

Ce que ce type de système laisse derrière lui, c’est une trajectoire. Elle contient la requête, le contexte du système, tout ce qui a été récupéré, les raisonnements intermédiaires, chaque appel à un outil et ses observations, les tentatives de réessai, les erreurs, les écritures dans la mémoire, les coûts, les temps d’exécution ainsi que la sortie finale. À des fins d’évaluation, ce registre est devenu l’élément réel reflétant l’exécution du système.

Ainsi, l’évaluation doit évoluer vers un système d’audit. Une réponse qui semble correcte peut cacher une utilisation erronée d’outils, une contrainte négligée, un résultat de recherche sans rapport, une boucle de tentative répétée inaperçue, un contexte mal choisi, une récupération risquée ou une hypothèse sans fondement. Ce sont ces défauts qui coûtent cher, car ils s’accumulent au fil de nombreuses exécutions et érodent progressivement la fiabilité.

Dans ce cadre, l’évaluation agit comme une couche de contrôle. Elle combine des traces en temps réel, des juges basés sur des critères prédéfinis, des juges d’agents, une analyse des causes racines, des rejeux dans un environnement isolé, des suites de tests de régression et des points de contrôle avant déploiement. L’objectif n’est pas qu’une personne examine chaque échange ; il s’agit plutôt d’un mécanisme global capable de détecter les schémas d’échec, de proposer des correctifs, de les tester sur des cas passés ou adverses, et de ne transmettre aux personnes concernées que les situations où leur jugement est essentiel.

Couche un : vérifications déterministes

Les vérifications basées sur des règles restent la base, car elles détectent tout ce qui peut être défini à l’avance. Le code fait l’objet de tests unitaires, de vérifications de type, d’outils de linting, de scanners de sécurité, de tests de contrat et de prises de vue. Les sorties structurées font l’objet de validations de schéma, de champs obligatoires, de valeurs autorisées, de formatage de dates, de JSON valide et de limites de politique.

Recourez-y chaque fois que le résultat attendu est explicite. Elles s’exécutent rapidement, coûtent peu, donnent toujours la même réponse et sont faciles à déboguer. Le problème réside dans la couverture : seules les parties que quelqu’un a pensé à encoder sont testées.

Les indicateurs à mesurer avec elles incluent le taux de réussite, la proportion du comportement couverte par les assertions, la conformité au schéma, le temps d’exécution, la reproductibilité et la précision avec laquelle une erreur peut être localisée. Elles conviennent aux API, aux modifications de code, à l’extraction de données, aux formulaires, aux flux réglementés et aux tâches soumises à des règles strictes.

Deuxième couche : un modèle de langage en tant que juge

Les juges s’appuient sur les LLM car de nombreux échecs de l’IA relèvent de la qualité. Une réponse peut sembler fluide tout en omettant des éléments importants. Un résumé peut être facile à lire sans pour autant cerner l’essentiel. Un message de support peut paraître assuré tout en enfreignant les règles.

Le principe consiste pour un modèle à évaluer une sortie selon des critères écrits, tels que l’exactitude factuelle, le respect des instructions, la complétude, le ton, la sécurité, la qualité des citations et l’utilité globale, puis à répondre par une étiquette, une note, une justification et des preuves à l’appui. Cette méthode convient bien lorsque la sortie a une forme familière mais nécessite néanmoins un jugement subjectif, et elle permet d’augmenter l’échelle des vérifications sans que des humains aient à lire tout le contenu.

C’est avec des critères vagues que les choses tournent mal. Si l’on demande à un juge de chercher une « bonne réponse », la raffinement est récompensé. En revanche, s’il doit examiner les preuves, les contraintes et les modes d’échec, l’outil devient bien plus utile.

Les juges méritent leurs propres critères d’évaluation : la cohérence des scores, la fréquence à laquelle différents juges sont d’accord, la solidité des raisonnements avancés, le degré de fondement des preuves, la fréquence à laquelle ils accordent à tort un résultat positif ou négatif, ainsi que le degré de correspondance avec les étiquettes données par des humains. Ces critères s’appliquent aux résumés, aux réponses de soutien, à la qualité de l’écriture, à l’examen des politiques, à la qualité de l’extraction et aux réponses basées sur de longs raisonnements disposant de critères clairs.

Niveau trois : un agent en tant que juge

Les agents laissent derrière eux des trajectoires, de sorte qu’un juge qui ne voit que le résultat final rate les signaux les plus évidents. Un juge-agent examine l’ensemble du processus, y compris les instructions, le choix du contexte, les appels aux outils, les observations au fil du parcours, les tentatives de réessai, les fichiers modifiés, les tests exécutés ainsi que le produit final. Il pose des questions ciblées : l’outil a-t-il été bien choisi ? Un test échoué a-t-il été ignoré ? Le contexte était-il obsolète ? Des fichiers non liés ont-ils été modifiés ? L’agent s’est-il arrêté avant d’avoir terminé ?

Cela est important car les échecs des agents sont souvent subtils. Un résultat peut passer un contrôle superficiel tandis que le parcours qui l’a produit révèle le véritable défaut.

Les mesures utiles incluent la validité de la trajectoire, la qualité du routage des outils, la manière dont l’agent s’est remis, la façon dont il a utilisé les preuves, le fait que la tâche ait été terminée, l’efficacité avec laquelle les défaillances cachées ont été détectées, ainsi que la justesse des escalades. Le codage, la recherche, les données, les agents navigateurs et ceux de flux de travail en bénéficient tout comme tout système où le chemin est aussi important que la destination.

Quatrième couche : diagnostic des traces

La quatrième couche se distancie des exécutions individuelles. Un agent de diagnostic examine des milliers de traces pour déterminer ce qui a changé. Il se peut que des défaillances apparaissent après une modification rapide. Il se peut que l’outil incorrect soit choisi pour l’analyse de tableurs. Il se peut que la latence augmente lorsque la récupération renvoie trop de fichiers. Il se peut aussi qu’un agent de contrôle qualité signale des hallucinations tout en laissant passer des exigences ignorées.

Son rôle est d’attribuer un changement de performance à une cause précise : sélection du contexte, formulation de l’instruction, routage de l’outil, configuration du flux de travail, comportement du modèle, qualité de la récupération des données ou simplement le code. Il ne suffit pas de signaler qu’une note a baissé. Le résultat doit être une solution concrète, telle qu’une modification de l’instruction, l’ajout d’un cas d’évaluation, un ajustement du seuil de routage, une mise à jour des compétences du modèle, une modification de code ou une demande de pull request.

La qualité dépend du degré de couverture des traces, de la précision avec laquelle les causes racines sont identifiées, de l’efficacité de la détection des écarts, du regroupement des échecs, du degré de fiabilité de l’attribution, de l’efficacité de la correction proposée et du risque de régressions qu’elle comporte. Cela convient aux plateformes d’agents en production, aux agents de support très occupés, aux assistants de codage, aux agents de flux de travail d’entreprise et à tout système mis à jour fréquemment.

Cinquième couche : boucler le cycle

En haut de la chaîne, la boucle se ferme. La télémétrie est enregistrée, les pannes récurrentes sont diagnostiquées, une solution potentielle est générée et testée dans un environnement isolé, puis comparée à des ensembles de données de référence et à des traces antérieures, avant d’être déployée progressivement de manière contrôlée. À ce stade, l’amélioration automatique devient une véritable pratique d’ingénierie, et non une simple intuition.

Un agent ne doit pas déployer de modification simplement parce qu’une métrique a augmenté une fois. Des mécanismes de contrôle sont nécessaires : tests de régression, scénarios adverses, demandes de type contrefactuel, trafic de test, plans de rollback ainsi que des seuils déterminant le moment d’intervenir humainement.

Le piratage des systèmes de notation représente le plus grand danger. Un agent peut apprendre à satisfaire son évaluateur sans effectuer réellement le travail demandé. Un agent de codage peut cacher une erreur, un agent chargé des images peut inventer des détails pour améliorer la qualité visuelle, et un agent de rédaction peut se concentrer sur des formules prédéfinies au détriment de la voix de l’auteur. Les évaluateurs ont donc besoin d’un système d’évaluation indépendant, reposant sur des critères établis par des humains, des audits des désaccords, des contrôles de qualité en plusieurs niveaux et une recalibration régulière des critères de notation.

Considérer l’évaluation comme système de contrôle

Le changement le plus profond est opérationnel. Les équipes doivent utiliser l’évaluation comme système de contrôle de la plateforme d’agents, et un programme solide permet de répondre à cinq questions :

  1. La tâche a-t-elle été accomplie ? La réponse compte, tout comme le respect des instructions, la précision factuelle, le respect des politiques établies et les critères de succès spécifiques à la tâche.
  2. Le parcours était-il fiable ? Avec les outils impliqués, il faut examiner lesquels ont fonctionné, quels éléments les ont étayés, quels tentatives de redémarrage ont eu lieu, ce qui a défailli sans avertissement, et si l’escalade a eu lieu au bon moment.
  3. Pourquoi la performance a-t-elle changé ? Une baisse en production peut être due à des requêtes, au comportement du modèle, au processus de récupération des données, aux seuils de routage, à la configuration du flux de travail, à des erreurs d’outil ou de code ; la diagnostic doit donc distinguer les symptômes des causes.
  4. Une solution peut-elle être proposée en toute sécurité ? Avant sa mise en production, les solutions candidates sont soumises à des essais en environnement de test isolé, à la relecture des anciens enregistrements, à des cas adverses et à des suites de tests de régression.
  5. Qui audite l’auditeur ? Les juges eux-mêmes peuvent être influencés, devenant indulgents, sévères ou faciles à duper ; il est donc nécessaire d’utiliser des ensembles de calibration, des benchmarks vérifiés par des humains, des contrôles de désaccord et des niveaux multiples de contrôle qualité.

Les vérifications déterministes gèrent les pannes connues, les juges LLM évaluent la qualité, les juges agents inspectent les itinéraires, les agents de diagnostic mettent en évidence des schémas récurrents, tandis que les règles meta-harness déterminent si une amélioration peut être déployée en toute sécurité. Les personnes restent impliquées, mais à un niveau supérieur : moins de révisions répétitives, plus de mécanismes de contrôle, de gestion des exceptions, de calibration et de conception de politiques.

Réintégrer la production

Avec un système d’évaluation en fonctionnement, la prochaine étape consiste à apprendre à partir de l’utilisation en temps réel. La télémétrie fournit des informations pour le diagnostic, le diagnostic affine les évaluations, ces dernières orientent l’optimisation, et les modifications validées sont réintégrées dans un déploiement progressif. Deux processus s’exécutent en parallèle.

Un fil est de nature qualitative. Les retours de production, les traces d’utilisation, les analyses, les tâches échouées, les demandes d’assistance et les erreurs des outils ne devraient pas rester simplement affichés sur les tableaux de bord. Ils devraient être intégrés dans les évaluations. Lorsque les utilisateurs continuent de corriger la même réponse, il s’agit d’un nouveau cas de test. Lorsque les traces révèlent un mauvais choix d’outil, c’est un contrôle de trajectoire. Lorsque les analyses montrent une baisse à un certain stade, c’est un scénario qui mérite d’être rejoué.

L’autre aspect concerne l’optimisation systématique. Une fois que les spécifications, le code et les évaluations sont clairement définis, l’ajustement devient beaucoup plus structuré. Les spécifications décrivent le comportement souhaité, le code contient la logique, les contraintes, les outils et les chemins de traitement, tandis que les évaluations fournissent les métriques permettant de déterminer si les choses se sont améliorées. Avec ces trois éléments, les outils peuvent suggérer des modifications rapides, des changements de seuils, des ajustements de routage, des évaluations supplémentaires ou des modifications de code.

Le cycle, étape par étape :

Les signaux d’utilisation en temps réel alimentent le processus d’amélioration des évaluations, ce qui permet d’optimiser le programme de l’agent. Ce dernier est ensuite exécuté dans un environnement isolé, passe des tests de régression, est déployé sous contrôle, avant de générer de nouveaux signaux en temps réel.

Selon cette perspective, les évaluations ne représentent pas une note attribuée une seule fois. Ce sont plutôt le mécanisme de boucle de fonctionnement qui favorise l’amélioration de l’agent : apprendre à partir de l’utilisation réelle, la transformer en évaluations plus précises, ajuster l’agent en fonction de celles-ci, et ne publier que ce qui a réussi la validation.