Accueil / Articles

SkillClaw : Lorsqu’un agent échoue, tous les agents apprennent.

Comment SkillClaw collecte les traces d’interaction de nombreux utilisateurs, fait évoluer les compétences des agents partagés à l’aide d’un évoluateur agentique, et valide les changements pendant la nuit avant déploiement.

Éditeur : REACTAPP.TOP5 min de lecture1209 mots

Sources: SkillClaw: One Agent Fails, Every Agent Learns

L’amélioration progressive des compétences des agents est l’une des idées les plus prometteuses dans ce domaine actuellement. SkillClaw, un cadre de recherche issu d’un article arXiv de avril 2026, l’applique à un environnement où de nombreux utilisateurs partagent un même écosystème d’agents (OpenClaw) ; il est utile d’examiner son fonctionnement ainsi que ses limites potentielles.

Pourquoi les systèmes actuels de compétences stagnent

Les agents communiquent avec les utilisateurs toute la journée et accumulent de l’expérience, mais très peu de cela améliore le système dans son ensemble. Plusieurs raisons en sont responsables.

  • Les compétences sont pour la plupart statiques. Quelqu’un les installe et les maintient manuellement, et elles changent rarement par la suite. Même si un agent découvre une méthode meilleure au cours d’une tâche, l’amélioration reste généralement confinée à cette conversation et n’atteint jamais le répertoire des compétences.
  • Les utilisateurs se heurtent constamment aux mêmes obstacles. Ils suivent des workflows similaires, utilisent les mêmes outils et commettent les mêmes erreurs : formats de paramètres incorrects, appels aux outils dans le mauvais ordre, absence de validation. Rien ne relie ces schémas entre les utilisateurs ou dans le temps, si bien que beaucoup doivent redécouvrir seuls les mêmes solutions.
  • Les approches existantes ne résolvent qu’une partie du problème. Les systèmes de mémoire stockent l’historique afin de pouvoir le rechercher, mais ils ont du mal à en faire des compétences réutilisables ou améliorables. Les bibliothèques de compétences regroupent bien l’expérience, mais elles restent souvent figées et ne s’évoluent pas avec l’utilisation.

Imaginez transformer les expériences éparses issues de nombreuses sessions en compétences partagées par tout le système et constamment améliorées. Une solution validée trouvée en un endroit se diffuserait via le répertoire partagé, et tout agent futur utilisant cette compétence en bénéficierait.

Un cycle fermé pour l’évolution collective

SkillClaw collecte les traces d’interaction issues de l’utilisation quotidienne par les différents utilisateurs, les transforme en compétences améliorées, puis synchronise ces compétences améliorées avec chaque agent. Le cycle comporte quatre étapes.

1. Enregistrer les traces d’interaction

Chaque échange est enregistré dans son intégralité : non seulement les réponses finales, mais aussi les prompts intermédiaires, les actions, les appels d’outils, les erreurs, les retours de l’environnement ainsi que la réponse de clôture. La précision est importante car de nombreux problèmes liés aux compétences se trouvent dans les étapes intermédiaires et non dans le résultat final.

2. Créer des preuves partagées

Les traces sont structurées et regroupées selon les compétences qu’elles impliquent. Cela permet de comparer les succès et les échecs d’une compétence chez différents utilisateurs et dans différents contextes, ce qui montre quand et pourquoi elle fonctionne. Les sessions qui n’utilisent aucune compétence existante sont placées dans un groupe spécial, noté G(∅), que l’évoluateur examine afin de repérer des lacunes : des procédures concrètes qui pourraient être enseignées et qui risquent de réapparaître.

3. Évoluer les compétences avec un évoluateur agent

Le élément central est un évoluateur agent. Il ne suit pas de règles écrites à l’avance. Il analyse ouvertement les preuves d’un groupe ainsi que les définitions actuelles des compétences, puis choisit parmi trois options : affiner la compétence existante, en créer une nouvelle, ou laisser les choses telles quelles.

Il prend en compte à la fois les succès et les échecs. Les succès indiquent les aspects d’une compétence qui ne doivent pas être modifiés, tandis que les échecs montrent ce qui nécessite des améliorations. L’objectif est d’éviter de corriger un échec en endommageant quelque chose qui fonctionnait déjà, et l’étape suivante ajoute une autre mesure de protection.

4. Vérifier avant déploiement

Rien n’est mis en production immédiatement. Les compétences candidates sont testées pendant la nuit dans des environnements réalistes, en comparant les nouvelles versions avec les anciennes sur des tâches pertinentes.

  • Seules les compétences candidates qui surpassent celle actuellement déployée sur les tâches de validation correspondantes sont acceptées, intégrées au répertoire partagé et déployées auprès de tous les agents le jour suivant.
  • Ces compétences ayant de moins bons résultats sont rejetées, ce qui permet ce que les auteurs appellent un déploiement monotone : le pool de compétences ne s’aggrave jamais.

Cette vérification de sécurité a un coût. La validation consomme des tokens supplémentaires, car les candidats doivent fonctionner dans des environnements réels avec une interaction complète avec les outils. L’avantage est un comportement plus stable pour les utilisateurs par rapport au déploiement direct des modifications.

Évaluation

La question était de savoir si l’évolution des compétences, stimulée par des traces multi-utilisateurs, améliore les performances sur des tâches ultérieures similaires au travail réel des agents.

Mise en place

Le benchmark WildClawBench comprend 60 tâches complexes réparties en six domaines de compétences. Les tâches s’exécutent du début à la fin à l’intérieur de conteneurs Linux réels, avec des outils réels et des entrées multimodales, et non seulement des sorties textuelles. La notation est stricte : une erreur critique peut faire chuter la note d’une tâche à zéro.

Le test n’a pas non plus été effectué en une seule session hors ligne. Il a simulé six jours de déploiement. Chaque jour, huit utilisateurs simultanés ont exécuté des tâches via des agents. Chaque nuit, le système a généré des mises à jour potentielles des compétences à partir des traces de la journée et les a validées dans un environnement réaliste ; seules les mises à jour qui ont réussi la validation ont été mises en œuvre le jour suivant. Le même modèle, Qwen3-Max, a été utilisé tout au long du processus.

Résultats

Les résultats ont été présentés pour quatre catégories de tâches représentatives, et les voies d’amélioration variaient. La synthèse créative a d’abord bénéficié d’un environnement et d’une configuration des entrées plus fiables. La recherche et la récupération d’informations se sont améliorées par étapes, en commençant par la validation des fichiers puis en passant à une planification de la récupération qui respectait mieux les contraintes.

Par rapport au premier jour, la courbe n’était pas hachée. Elle a augmenté progressivement avant de se stabiliser dans la plupart des catégories, à mesure que des mises à jour validées étaient intégrées au meilleur ensemble de compétences obtenu à ce jour.

Cependant, gardez à l’esprit l’échelle : huit utilisateurs, six jours et quatre catégories rapportées. Il s’agit d’une petite expérience. Les progrès réguliers sont encourageants pour l’évolution collective des compétences, mais des déploiements à plus grande échelle constituent le véritable test.

Évaluation

SkillClaw est fortement conçu. Il agrège les traces d’exécution des agents existants, utilise un mécanisme d’évolution pour analyser les succès et les échecs, modifie les compétences en fonction de ce qu’il apprend, puis effectue des tests asynchrones en conservant les meilleurs résultats. Tout cela dépend de la disponibilité d’une grande quantité de données d’interaction, tant positives que négatives, provenant d’une large base d’utilisateurs.

Deux préoccupations se détachent.

  • L’évolution, l’exécution et la validation reposent toutes sur un même modèle de base. C’est surtout lors de la validation que le modèle compare lui-même les résultats anciens et nouveaux. Cela peut créer un cercle vicieux dans lequel un ensemble de biais se renforce continuellement. Les scores de référence peuvent augmenter de manière constante sans que des métriques commerciales réelles ne suivent.
  • Déterminer quelles interactions sont réellement efficaces reste un problème non résolu. Sans un mécanisme d’évaluation fiable, il est difficile de créer un répertoire de traces de haute qualité dès le départ.

Ce cadre ressemble également à Trace2Skill, une approche similaire qui transforme l’expérience des agents en compétences transférables. Les deux partagent l’idée que les agents peuvent s’améliorer sans ajustement fin des paramètres, en convertissant leurs traces d’expérience en compétences réutilisables. Les différences sont cependant notables :

  • SkillClaw considère l’évolution des compétences principalement comme un problème de systèmes en ligne : comment des agents distribués peuvent rassembler des interactions quotidiennes fragmentées en compétences partagées et les itérer en toute sécurité dans un environnement simulé réaliste.
  • Trace2Skill le voit comme une distillation de l’expérience : décomposer de nombreuses traces individuelles, synthétiser des leçons générales de haute qualité et les composer en artefacts de compétences déclaratifs et transférables.

La publication originale s’intitule « SkillClaw: Let Skills Evolve Collectively with Agentic Evolver » et est disponible sur arXiv.

Lectures complémentaires

  • Pourquoi c’est le harnais de l’agent, et non le modèle, qui décide de ce qui devient réel — Une mise à jour CRM dépassée montre pourquoi les agents ont besoin de contrats d’outil, de states à résultats inconnus, de tentatives idempotentes et de vérification de l’achèvement, ainsi que de contrôles à conserver.