Pourquoi les agents réussissent toutes les évaluations hors ligne mais échouent malgré tout en production
Six modes de dérive font vieillir silencieusement un ensemble d’évaluation. Un score de suivi à quatre axes ainsi qu’un cycle hebdomadaire de regroupement et de promotion permettent à l’IC de rester fidèle à ce que fait réellement le trafic en temps réel.
Sources: Why Your Agent Passes Every Eval and Still Fails in Production
Imaginez un agent de support client dont l’ensemble d’outils CI est conforme : 47 scénarios, quatre critères d’évaluation, tous avec une note parfaite, ce qui permet de le mettre en production. Quelques semaines plus tard, il propose des montants de remboursement dépassant de dix fois la somme réelle. Il se contredit d’une interaction à l’autre. Dans un suivi, il montre à un utilisateur les informations relatives à un autre client. Pourtant, lorsque les conversations défaillantes sont examinées, chacune obtient toujours une bonne note selon le critère de fiabilité par interaction. Malgré tout, chaque conversation a déçu l’utilisateur. L’évaluation autorisait la mise en production, mais à ce moment-là, la confiance avait déjà disparu.
Le critère d’évaluation n’est pas la cause
Le premier réflexe est de blâmer la rubrique de test. Une interprétation plus pertinente est qu’elle était en ordre en mars et a commencé à devenir obsolète en avril, puisque la production n’a jamais cessé de fonctionner. Un ensemble d’évaluation n’est qu’un instantané, tandis que la production est comme une rivière en perpétuel mouvement. Les résultats d’évaluation ne sont pas mis en production, mais les traces le sont. Chaque nouvelle version fait vieillir cet ensemble dès son déploiement, et à moins que de nouveaux modes de défaillance ne reviennent dans l’ensemble hors ligne, l’écart entre un test réussi hors ligne et un échec en production n’est pas le fruit du hasard : il découle simplement des calculs.
Un nombre suffisant d’incidents de ce type conduit à une conclusion claire : il faut évaluer les traces de production, et non des cas de test soigneusement sélectionnés. Les évaluations hors ligne restent utiles comme étape de contrôle de régression, mais elles ne peuvent jamais être la seule barrière entre une modification et son déploiement, car ce qu’elles mesurent a disparu au moment du gel de la version. Six types de dérive érodent tout ensemble d’évaluation, chacun à son propre rythme :
- Dérive du jeu de données : les cas sélectionnés réussissent tous, tandis que la version en production intègre des intentions d’utilisateurs jamais présentes auparavant.
- Dérive entre l’outil et l’API : les simulations renvoient toujours la même structure de données, alors que le fournisseur a modifié les schémas ou les codes d’erreur.
- Dérive des prompts : les critères d’évaluation étaient fixés pour la version v3 des prompts, alors que la version en production utilise v17 et que les critères évaluent toujours v3.
- Dérive du corpus de récupération : l’index était figé au moment de la construction, tandis que l’index en production a doublé de taille et que la même requête se retrouve désormais sur de nouveaux segments.
- Dérive de la distribution des utilisateurs : les entrées de test ont été rédigées manuellement, alors que le trafic réel ne leur ressemble pas du tout.
- Effet cumulatif des étapes de l’agent : chaque étape réussit 95 % du temps, mais huit étapes consécutives donnent un taux d’échec d’environ 66 %.
Le gel d’un ensemble d’évaluation fige l’hypothèse concernant les actions des utilisateurs, les réponses des outils, le prompt qui sera utilisé et ce que le système de récupération affichera. Des mois plus tard, chaque hypothèse a évolué différemment, et un critère d’évaluation qui permettait un passage réussi évalue désormais un monde dans lequel l’agent ne vit plus.
Il n’y a en réalité rien de mal avec ce critère. Il est simplement devenu obsolète, comme un test unitaire dont la fonction cible a été réécrite en dessous : il indique un résultat positif sans protéger réellement quoi que ce soit. Pour le logiciel, la solution consiste à effectuer un nouveau test de la nouvelle fonction. Pour les agents, la solution est d’évaluer les traces en temps réel. Une seule définition de critère remplit alors deux fonctions : elle sert de filtre pour les tests d’intégration sur un ensemble de données versionné et évalue les traces réelles en tant qu’attribut au niveau des périodes. Les tests d’intégration fixent la barre minimale, la note en temps réel suit la réalité en cours, et chaque semaine l’ensemble de données intègre les traces que le critère vient de marquer.
Comment apparaît chaque dérive et comment la corriger
Dérive du jeu de données. Lors du lancement, quelqu’un a créé ce jeu de données, et depuis, les utilisateurs ont introduit des intentions que personne n’avait imaginées. Les scores ne changent jamais car les données ne changent pas non plus. Faites attention aux résultats hors ligne qui restent stables pendant des mois, tandis que les plaintes en environnement de production deviennent de plus en plus variées et que les ingénieurs ne parviennent pas à reproduire la plupart des rapports à l’aide du jeu de données de test. Chaque semaine, sélectionnez des traces défaillantes, classez-les par segment, intention et score, et marquez les 5 à 10 pour cent les plus difficiles avec une version spécifique avant de les ajouter au jeu de données. Chaque trace ainsi sélectionnée permet alors de se prémunir contre une régression particulière.
Dérive de l’API des outils. CI utilise un outil simulé, et un mardi, l’endpoint en production modifie son schéma, la forme des erreurs ou les restrictions de fréquence. L’agent tente à nouveau, la boucle expire et l’agent invente une réponse convaincante, mais CI reste en état « vert » car le simulateur continue de renvoyer le payload d’hier. Une latence croissante, un nombre accru de tentatives, une évaluation des réponses qui reste positive et une augmentation des coûts par succès sont les indices. Attribuez une évaluation distincte au succès des appels aux outils sur les périodes en production, afin que chaque appel défaillant apparaisse dans le suivi à côté de la réponse correspondante. Les simulateurs permettent de détecter les dérives causées par vous, tandis que l’évaluation en temps réel permet de repérer celles causées par le fournisseur.
Dérive des prompts. Le prompt v17 a été mis en production un vendredi, tandis que les critères d’évaluation reflètent encore ce qui était important dans la version v3 de février. L’agent est évalué selon un contrat obsolète. Un indice révélateur : un ingénieur senior qui examine dix enregistrements, est en désaccord avec le juge pour six d’entre eux sans pouvoir expliquer pourquoi. Envoyez la révision des critères en même temps que la révision du prompt, considérez-la comme un test de conformité au contrat, et observez l’accord entre le juge et l’humain sur un petit ensemble de calibration afin que toute dérive des critères soit détectée.
Dérive du corpus de récupération. L’évaluation du système de récupération en mars portait sur 12 000 documents et une seule taille de bloc. En mai, l’index comptait 38 000 documents, une nouvelle méthode d’incorporation des données a modifié le classement des blocs, et une même requête aboutit désormais ailleurs. Le générateur s’appuie fidèlement sur les données qui lui parviennent, si bien que le score de pertinence reste à 0,94 même lorsque le matériel de référence est incorrect. Le fait que les utilisateurs jugent le bot moins utile qu’au trimestre précédent, alors que les critères d’évaluation de la génération restent inchangés, en est le symptôme. Une évaluation séparée par niveau est nécessaire. Les critères de récupération tels que la pertinence contextuelle et l’attribution des blocs révèlent les changements dans l’index avant que les scores de génération ne les masquent. Une baisse de la pertinence associée à une stabilité du score de pertinence pointe vers le système de récupération, tandis que l’inverse indique un problème du générateur. Une simple division en deux parties permet d’éviter trois jours de spéculations.
Dérive dans la distribution des utilisateurs. Celui qui a créé cet ensemble a soit écrit des exemples à la main, soit les a tirés du premier mois d’activité. Plus tard, des utilisateurs réels introduisent du jargon, des langues mélangées, des requêtes longues, des captures d’écran ainsi que des séries de questions auxquelles l’ensemble n’a jamais été exposé ; par conséquent, un juge basé sur des données sélectionnées évalue les conversations en temps réel de manière bien plus favorable qu’un être humain. Lorsque les traces de production vérifiées manuellement diffèrent du juge de 15 points ou plus, les ingénieurs cessent de faire confiance à ce critère et recourent à l’analyse des traces brutes. Il convient de calibrer le juge à l’aide d’échantillons provenant de la production plutôt que du dataset, et de mesurer la divergence entre le juge et l’être humain en tant que métrique à part entière.
Composé des étapes. Supposons que chaque étape obtienne 95 % de points et qu’une session implique huit appels d’outils. En élevant 0,95 à la huitième puissance, on obtient 0,66, ce qui signifie que, en moyenne, deux sessions sur trois échouent structurellement, même si chaque étape semblait correcte. La grille d’évaluation ne prend jamais en compte cette multiplication. Des scores élevés par tour associés à des chiffres faibles en termes d’achèvement, de résultats et de satisfaction en sont le signe, tout comme les signalements concernant le bot qui demande la même chose à plusieurs reprises ou qui répond d’abord oui puis non. Évaluez l’ensemble du parcours : l’achèvement, le respect du rôle et la mémorisation des connaissances au niveau de la conversation, ainsi que l’évaluation de la manière dont le plan a été mis en œuvre à travers l’arbre de parcours. Les métriques couvrant plusieurs tours génèrent plus de bruit pour chaque dollar investi, mais elles reflètent bien mieux l’expérience réelle de l’utilisateur.
Pourquoi un ensemble de données plus grand ne aide pas
Ce que ces six cas ont en commun, c’est le moment où cela se produit. Chacun apparaît après que l’ensemble d’évaluation s’est figé, or un ensemble de données fixe ne peut pas contenir une hypothèse que personne n’a encore émise. Un ensemble de 10 000 exemples datant de mars ne sait rien des changements de schéma d’outil en mai, de la révision des instructions en juin, de la ré-embedding en juillet, ni des utilisateurs d’août qui formulent leurs demandes différemment. Un ensemble plus grand ne corrige pas un instantané ; seul l’échantillonnage en conditions réelles le permet, c’est pourquoi l’évaluation doit avoir lieu là où l’agent fonctionne réellement. Les données sélectionnées sont la cause des régressions. Les traces en temps réel constituent le matériau de travail, où les échecs se regroupent et sont évalués au fur et à mesure qu’ils se produisent. Chaque groupe ainsi identifié devient ensuite les entrées de l’ensemble de données du jour suivant, et le cycle recommence.
Un score de trace à quatre axes
Le degré de fidélité à chaque étape pour la réponse finale est trop grossier pour diagnostiquer un agent en dérive. Un score de trace plus utile comporte quatre axes, chacun noté de un à cinq :
- Base factuelle : l’agent est-il resté fidèle au contexte obtenu ou a-t-il inventé des informations ? Cela révèle des dérives dans la récupération des données et dans l’ensemble des données au niveau de la réponse.
- Confidentialité et sécurité : y a-t-il eu fuite d’informations personnelles, dépassement des limites autorisées ou acceptation de manœuvres de contournement qu’il aurait dû refuser ? Cela met en évidence des dégradations dans les processus d’autorisation et de refus.
- Respect des instructions : l’agent a-t-il obéi à l’instruction système en vigueur, c’est-à-dire à celle qui a été introduite lors de la version v17 alors que son comportement est resté ancien ?
- Exécution du plan : a-t-il choisi l’outil approprié, dans le bon ordre, sans appels redondants ni impasses ? Cela révèle des problèmes de cumul des étapes et de dérive des outils dans l’ensemble du graphe des appels.
Quatre axes couvrent quatre types de régression et se combinent en un score composite. Lorsque ce score composite diminue sur un trace, les axes indiquent quel mode de dérive s’est produit, et comme les mêmes axes sont utilisés dans CI ainsi que sur les périodes en temps réel, le vocabulaire de diagnostic reste identique dans les deux cas.
Clôture du cycle
Réduire l’écart relève d’un processus de travail et non d’une fonctionnalité ; il comporte cinq étapes :
- Regrouper les traces défaillantes en problèmes nommés, car personne ne peut trier une liste simple de 800 pannes.
- Évaluer chaque groupe selon le score à quatre axes et ajouter une brève note concernant la correction à effectuer dès aujourd’hui.
- Transférer de trois à dix traces typiques de chaque groupe dans l’ensemble hors ligne, en les étiquetant avec des tags de parcours et des labels de grille d’évaluation.
- Revaluer : la prochaine exécution de CI évalue les entrées ajoutées en utilisant la grille d’évaluation du système en production, afin que les modifications ultérieures sur ce parcours ne puissent pas revenir en arrière.
- Optimiser le prompt en fonction de l’ensemble élargi, de sorte que la correction permette de respecter les critères de CI avant le déploiement.
Pour un produit en utilisation active, répéter cette opération chaque semaine, ou plus fréquemment lors d’un lancement difficile. Un ensemble statique vieux de plus d’un quart d’année ne ressemble que rarement à la version en production, et pour un agent en évolution rapide, des dérives deviennent visibles en deux ou trois semaines. Chaque incident traité de cette manière laisse derrière lui un test de régression que personne n’a besoin de réécrire.
Coûts à prévoir
- La boucle augmente la complexité opérationnelle. Les scores de portée, le regroupement et l’étape de promotion représentent davantage une mécanique que simplement un dossier de résultats pytest. En retour, l’ensemble des tests de régression devient de plus en plus exigeant, et un nouveau déploiement peut être lancé uniquement avec des traçages et des évaluations hors ligne, en ajoutant la boucle par la suite.
- Un juge qui s’auto-calibre a besoin de sa propre protection. Une grille d’évaluation ajustée en fonction du trafic en temps réel peut s’éloigner de la trajectoire prévue, il convient donc de conserver un petit échantillon étiqueté manuellement et d’activer une alarme si le juge s’en écarte davantage que les humains ne s’écartent les uns des autres.
- La notation associée aux traces coûte plus par unité de bruit que la notation hors ligne. Une grille à quatre axes pour une trace de 30 secondes est plus chère que la notation par tour pour un cas court, et ses résultats varient davantage. Prenez des échantillons en fonction des signaux d’échec, et non au hasard, et placez un classificateur peu coûteux avant le juge coûteux.
La version courte
Un ensemble d’évaluation commence à vieillir dès son envoi, et la taille ne résout pas le problème des snapshots. Évaluez la trace actuelle plutôt que le cas figé. Utilisez une même grille d’évaluation dans l’environnement CI ainsi que sur les traces en temps réel, évaluez chaque trajectoire en fonction de sa pertinence, de sa sécurité, de son respect des instructions et de l’exécution du plan, regroupez les échecs et renvoyez-les chaque semaine dans l’ensemble hors ligne. Réussir les tests hors ligne est indispensable. C’est en réussissant les évaluations sur les traces réelles que l’on protège véritablement les utilisateurs. L’ensemble soigneusement sélectionné n’est qu’une étape initiale, tandis que le dataset de production est celui que l’on cherche constamment à obtenir.