Accueil / Articles

Quels changements apporte le testing agentic pour le QA et où il reste insuffisant

Les suites scriptées et auto-réparatrices tombent en panne lorsque l’interface utilisateur change. Les agents navigateurs pilotés par des intentions réduisent les tâches de maintenance, mais les flux réglementés et les interfaces inhabituelles nécessitent encore des soins.

Éditeur : REACTAPP.TOP7 min de lecture1600 mots

Sources: The Rise of Agentic Testing

Avec les tests par agent, un agent navigateur reçoit l’objectif d’un test et détermine lui-même les étapes à suivre. Le testeur décrit le comportement attendu et les critères de réussite, sans avoir à scripter chaque clic. Une suite de tests scriptée échoue lorsque le DOM change, tandis que les outils d’auto-réparation se contentent de corriger le locator défectueux avant de réexécuter la même séquence. L’agent planifie à nouveau son parcours à chaque exécution, de sorte qu’un changement dans l’interface n’implique plus de correction des sélecteurs. Déterminer ce qui constitue la bonne réponse dépasse ses capacités, et c’est là le rôle de celui qui est responsable de la mise en production.

Pourquoi les tests sont devenus plus difficiles

En 2019, un phénomène étrange est apparu : des pipelines parfaitement fonctionnels continuaient à livrer un flux à défilement infini qui répétait les mêmes dix à vingt lignes dès que l’utilisateur passait à la deuxième page. La plupart des personnes ayant dirigé des activités de QA depuis quelques années peuvent raconter une histoire similaire.

Les tests sont soumis à une pression croissante depuis un certain temps, et pendant un moment, les équipes se contentaient de corriger les problèmes sans se demander ce qui avait changé. Plusieurs choses avaient effectivement changé : les déploiements s’étaient accélérés, les interfaces étaient passées d’HTML statique à des composants React qui se réaffichent à chaque mise à jour d’état. Les fonctionnalités conditionnelles signifiaient que la moitié des utilisateurs pouvaient voir une interface que le jeu de tests n’avait jamais rencontrée.

« Le testing agent » est apparu comme la réponse du secteur. Ce qui suit n’a pas pour but de promouvoir ce terme. Il analyse pourquoi les tests sont devenus plus difficiles, ce que « agent » devrait réellement signifier, pourquoi cela importe pour ceux qui effectuent le travail et où il présente des limites. Il s’adresse à toute personne qui écrit ou examine des tests, ou qui est responsable d’un déploiement lorsque quelque chose tombe en panne à 2 heures du matin.

Vitesse de déploiement

Un cycle de publication hebdomadaire laisse du temps pour maintenir un ensemble de tests en bon état. Les déploiements quotidiens ne le permettent pas, et une fois qu’une équipe lance le code dès la fusion d’un PR, l’ensemble de tests ne peut pas attendre un nettoyage du vendredi. Il doit être prêt pour la production en permanence.

Interfaces de plus en plus complexes

Les interfaces utilisateur complexes deviennent de plus en plus difficiles à gérer, surtout lorsque les composants sont générés rapidement. Un sélecteur qui fonctionnait sur un formulaire construit manuellement peut cesser de fonctionner dès que MUI’s Autocomplete le remplace, car le DOM affiché, le comportement de focus et l’ordre des événements changent tous.

Le coût de la maintenance

Puis il y a le coût dont les gens parlent rarement :

  • Un test Playwright qui passe localement mais échoue en CI parce qu’un indicateur de chargement reste visible 100 ms de plus.
  • Un localisateur lié au troisième enfant d’un conteneur flex, qui cesse de fonctionner dès qu’un designer ajoute un bouton de plus.
  • La moitié d’un travail d’optimisation perdue à mettre à jour les sélecteurs après ce qui était présenté comme une simple « nettoyage de l’interface ».

Quelqu’un finit toujours par effectuer ce nettoyage, même s’il ne fait pas vraiment partie de ses responsabilités.

La réaction instinctive est d’écrire encore plus de tests. Cela ne renforce pas la confiance. Plus de tests automatisés signifie plus de choses à entretenir, et chaque nouveau flux devient une automatisation de plus qui doit survivre à la prochaine modification de l’interface, ce qui risque probablement de la rendre obsolète. À un certain moment, on a l’impression que l’ensemble des tests travaille contre soi.

Que signifie « agentic »

Ce mot est utilisé de manière si vague qu’il nécessite une définition avant de pouvoir aller plus loin.

Un test scripté suit un ensemble d’instructions dans un ordre fixe. Lorsque les circonstances s’écartent de ce plan, le test devient inutile. L’automatisation auto-réparatrice améliore la situation en corrigeant les éléments de localisation défectueux ou en réessayant les clics ambigus, mais elle exécute toujours un script écrit à l’avance.

Le testing par agents est différent. Des agents logiciels surveillent l’état de l’application et décident de la prochaine action à entreprendre, sans qu’aucune personne ne supervise chaque étape. En pratique, le testeur définit les intentions sans détailler chaque interaction. Au lieu de dizaines de lignes de code Playwright ou Selenium, une instruction peut demander à l’agent de vérifier qu’un client existant peut changer sa méthode de paiement sans modifier son adresse.

Cela ne signifie pas que l’agent comprend bien le produit. Cela signifie simplement qu’il dispose du contexte suffisant pour agir à l’intérieur de celui-ci. Cela ne peut pas remplacer le jugement technique. Il peut parfois finaliser un processus de paiement sans se rendre compte qu’aucune remise de fidélité n’a été appliquée, ou signaler une commande légitime de 0,00 $ comme une erreur de tarification alors qu’il s’agissait simplement d’une carte-cadeau utilisée.

Ainsi, ce sont toujours les humains qui déterminent ce qui est correct, qui recherchent les cas limites critiques et qui jugent si une défaillance est un défaut ou simplement une mauvaise interprétation du comportement attendu de l’application. Les tâches quotidiennes évoluent également : on consacre moins de temps à l’écriture et plus de temps à examiner ce que l’agent a proposé et à décider où des vérifications supplémentaires ou une analyse plus approfondie sont nécessaires.

Dérive dans l’interface utilisateur

Le dérive de l’interface a longtemps été l’un des plus gros problèmes. Changer le nom d’un bouton de « Continue » en « Next », ou remplacer un menu déroulant par une combobox lors d’une vérification d’accessibilité, peut déclencher une série d’échecs même lorsque l’application fonctionne correctement.

Certaines plateformes de test basées sur l’IA abordent ce problème différemment. Elles observent les parcours réels des utilisateurs et créent un modèle page par page montrant comment les gens naviguent dans l’application, y compris la fonction de chaque page ou action. Les tests sont ensuite générés à partir de ce modèle et non à partir d’une représentation fragile du DOM.

Les tests eux-mêmes s’appuient sur l’intention. Un test est rédigé en décrivant ce qui devrait se produire et ce qui constitue une réponse correcte, et l’agent explore l’interface comme une personne réelle, cliquant ici et là pour comparer les résultats aux attentes indiquées.

Rien de tout cela ne soustrait les personnes du processus. Les membres de l’équipe choisissent toujours quels flux de travail sont les plus importants, définissent ce que signifie « correct » pour l’entreprise et examinent les domaines qui exigent des connaissances produit et non seulement des connaissances d’interface.

Comment le travail évolue

Lorsque moins de temps est consacré à réparer les automatisations défectueuses, le travail lui-même change. Les heures autrefois utilisées pour corriger des outils de localisation ou modifier des scripts fragiles peuvent être redirigées vers l’élargissement de la couverture, l’analyse des risques et la détection de problèmes que l’automatisation seule ne peut pas repérer.

Écrire des sélecteurs Selenium précis ou mémoriser les API de Playwright n’est plus une compétence rare. Ce qui l’est, c’est le jugement. Cela signifie savoir quels parcours utilisateurs méritent le plus d’attention, comprendre où une défaillance crée un véritable risque commercial et remarquer quand un test généré passe techniquement mais manque l’essentiel. Ce sont toujours été les parties les plus difficiles du testing, et les équipes n’ont jamais eu le temps pour elles.

Ce changement modifie également ce que signifie la qualité pour les managers d’ingénierie. Compter les tests exécutés ou les scripts écrits n’a jamais été un indicateur fiable de confiance, et un ensemble de tests plus important ne garantit pas une meilleure couverture, surtout s’il est en partie instable ou ignoré après des modifications de l’interface utilisateur. Ces questions sont plus utiles :

  • À quelle vitesse une version peut-elle être validée ?
  • Jusqu’à quel point l’équipe est-elle confiante avant de livrer ?
  • Quel sera le coût pour maintenir cette confiance dans le temps ?

Où cela manque de pertinence

Les tests basés sur des agents ne remplacent pas toutes les formes d’automatisation, et prétendre le contraire est préjudiciable. Trois cas se distinguent particulièrement.

Environnements réglementés. Dans les secteurs de la santé et de la fintech, l’exécution doit souvent être déterministe, avec des traces d’audit et des preuves que le test fonctionne de la même manière à chaque exécution. Un comportement adaptatif peut entrer en conflit avec cela. Les processus qui ne doivent en aucun cas dévier nécessitent des étapes scriptées explicites qui échouent de manière visible en cas de modification et laissent des traces lisible des actions et des raisons de l’agent. Une bonne plateforme permet à l’équipe de définir jusqu’où chaque test peut s’adapter.

Sécurité de la production. Peu d’équipes souhaitent disposer d’un agent autonome qui se déplace dans un environnement en production et a le droit de passer des commandes, de modifier les fiches clients ou de créer des données de test. La plupart des organisations gèrent ce problème en utilisant des environnements de préparation isolés, des comptes temporaires et des permissions strictement contrôlées.

Interfaces difficiles à lire. Les applications basées sur le glisser-déposer, le rendu sur tableau ou des workflows internes fortement personnalisés ne fournissent pas toujours à l’agent les indications nécessaires. L’automatisation ciblée et la supervision humaine restent utiles dans ce cas.

Différents problèmes de test exigent des outils différents, et ces trois-là ne conviennent pas au test par agents, du moins pour l’instant.

Début

Le problème fondamental est que les logiciels sont désormais livrés plus rapidement que l’automatisation ne peut les suivre, et les agents de contrôle qualité changent cela. Les ingénieurs n’écrivent plus de scripts pour chaque action : ils définissent l’objectif, examinent ce que propose l’agent et interviennent lorsque le jugement humain est nécessaire, tandis que le système s’adapte à ce que l’interface fait ensuite.

Quiconque envisage d’adopter cette approche ne devrait pas commencer par remplacer l’ensemble du système. Choisissez un flux de travail essentiel à l’activité de l’entreprise qui change fréquemment, comme le processus de paiement ou l’onboarding, et comparez les efforts de maintenance sur plusieurs cycles de publication. Cela permet d’évaluer de manière réaliste si cette méthode convient à l’équipe.

Questions fréquentes

Est-ce la même chose que l’auto-réparation ? Non. L’auto-réparation corrige les tests scriptés, tandis que le testing par agents vise un objectif sans suivre de script prédéfini.

Remplace-t-il les ingénieurs QA ? Non. Il réduit la maintenance des tests, mais les ingénieurs continuent de définir les règles métier, de valider les résultats et d’enquêter sur les pannes.

Pourra-t-il fonctionner à côté d’un ensemble de tests existant ? Oui. La plupart des équipes commencent par exécuter les deux en même temps et en comparant l’effort de maintenance au fil du temps.

Est-il utilisable pour les flux critiques en termes de conformité ? Oui, à condition de disposer de contrôles appropriés. De tels flux permettent d’exécuter des étapes explicites avec un suivi complet des actions de l’agent, de sorte que les tests critiques restent déterministes et auditable, tandis que les autres tests peuvent s’adapter librement.

Lectures complémentaires

  • Les tests d’IA agente pour SaaS : comment les agents orientés vers des objectifs remplacent les scripts fragiles — Pourquoi les suites de tests SaaS continuent de tomber en panne, comment les agents d’IA orientés vers des objectifs explorent une application et s’adaptent, où ils manquent de performance, et comment mener un pilote de tests agents évalué de manière précise.