Comparaison des agents IA Frontier : Astra, Flash, Fable et Mythos
Une analyse de la performance des dernières versions des modèles GPT, Gemini et Claude sur des tâches réelles nécessitant de l’agence, telles que le codage, la navigation et l’utilisation d’outils, et non seulement sur des benchmarks.
Les règles des comparaisons entre IA étaient autrefois prévisibles.
GPT contre Gemini contre Claude.
On donnait à chacun un prompt identique, on alignait les réponses côte à côte et on choisissait celle dont la réponse semblait la meilleure. Cette approche ne reflète plus ce qui est vraiment important.
Cette nouvelle série de versions, comprenant la build Astra d’OpenAI, la mise à jour Flash de Google, ainsi que les versions Fable et Mythos d’Anthropic, est évaluée selon un critère bien plus exigeant :
Un agent IA peut-il se fixer un objectif, utiliser les outils appropriés, écrire et déboguer du code, naviguer sur le Web, contrôler une interface informatique, se remettre des erreurs et mener à bien une tâche complexe avec un minimum d’aide humaine ?
Cette évolution est d’une importance capitale pour les développeurs, et après avoir examiné les dernières versions de benchmarks ainsi que les fiches techniques associées, l’image qui en ressort est bien plus complexe qu’un simple classement :
GPT-6 Astra se révèle être l’agent le plus performant sur tous les plans, tandis que Gemini 3.8 Flash pourrait offrir le meilleur équilibre entre capacités et coût. Claude Fable 5.1 continue de se distinguer dans les travaux d’ingénierie logicielle et de recherche approfondis, et Mythos 5.1 donne un aperçu de l’orientation future des modèles spécialisés.
Voici un examen plus détaillé de chacun d’eux.
1. GPT-6 Astra : OpenAI mise tout sur les agents
OpenAI présente GPT-6 Astra comme son modèle le plus intelligent et le mieux adapté à ce jour, soulignant des améliorations dans les opérations informatiques, la programmation, le raisonnement scientifique, la cybersécurité ainsi que dans les workflows de niveau professionnel.
Cependant, ce qui se distingue vraiment, ce n’est pas un seul chiffre de classement.
C’est la capacité du modèle à effectuer réellement des tâches autonomes.
Astra est capable de :
- Naviguer sur des sites web
- Contrôler des interfaces graphiques utilisateur
- Compléter des formulaires
- Manipuler des tableurs
- Créer des sites web
- Effectuer des contrôles de qualité côté client
- Installer et tester du logiciel
- Détecter des bugs dans les applications
- Gérer des tâches de codage sur de longues périodes
- Interagir avec des outils et logiciels scientifiques
- Générer des documents et des diapositives
72,6 % sur OSWorld 2,0, contre 65,7 % pour l’ancienne version GPT-5,6 Sol, et ce en terminant des tâches similaires en un temps nettement plus court.
L’ingénierie logicielle, en particulier, est le domaine où Astra se révèle véritablement impressionnant.
Ses résultats sur Terminal-Bench 4.0 illustrent bien cela :
Cependant, la génération de code seule ne raconte pas toute l’histoire.
OpenAI a également intégré des outils de contexte persistant dans Codex, de sorte que les sessions de codage prolongées ne se transforment plus en résumés de plus en plus vagues des travaux précédents. Au contraire, le contexte antérieur reste recherchable et accessible.
Pour quiconque développe du logiciel, il s’agit d’une mise à niveau bien plus significative que quelques points de pourcentage supplémentaires sur un benchmark, car l’ingénierie en milieu réel ne se déroule pas dans de brèves échanges de 20 messages.
Celle-ci s’étend sur des centaines de décisions interconnectées prises au cours de plusieurs jours.
2. Gemini 3.8 Flash : le modèle « Pourquoi c’est si peu cher ? »
Google a ensuite sorti quelque chose qui a pris les gens par surprise.
Gemini 3.8 Flash.
Google le décrit comme le modèle de la série Flash le plus performant à ce jour, conçu pour des tâches d’ingénierie logicielle complexes, des workflows d’agents autonomes et des problèmes de raisonnement exigeants, tout en conservant la vitesse et le rapport qualité-prix pour lesquels la série Flash est réputée.
Le prix de lancement de son API est de 0,75 $ par 1 million de tokens d’entrée et 3,75 $ par 1 million de tokens de sortie.
Cela représente une baisse significative par rapport aux tarifs d’API indiqués par Astra, soit 10 $ par 1 million de tokens d’entrée et 50 $ par 1 million de tokens de sortie.
Ce qui rend cela intéressant, c’est que Gemini 3.8 Flash ne se concentre pas uniquement sur sa légèreté.
Il déploie plus d’efforts là où c’est essentiel.
Google explique que le modèle peut effectuer plusieurs passes de raisonnement supplémentaires et invoquer des outils à plusieurs reprises lorsque la tâche l’exige.
Son ensemble de fonctionnalités inclut :
- Fenêtres de contexte allant jusqu’à 1 M de tokens
- Capacité de sortie atteignant 64 K de tokens
- Intensité du raisonnement configurable
- Intégration d’outils
- Soutien aux agents autonomes
- Capacités de codage étendues
- Flux de travail adaptés aux entreprises
Google souligne des performances particulièrement solides sur DeepSWE v1.1, un benchmark conçu pour résoudre des problèmes d’ingénierie complexes sans intervention humaine.
Le modèle obtient également 54,9 % sur HLE-Verified.
La stratégie sous-jacente est intelligente :
Au lieu de rendre chaque requête plus intelligente de manière générale, on alloue des ressources supplémentaires uniquement aux problèmes qui en ont réellement besoin.
C’est très probablement la direction dans laquelle les prix et les performances des IA agentes continueront d’évoluer. Tester ce modèle au sein d’Antigravity afin de créer un site de portfolio a permis de se faire une idée de son fonctionnement en pratique.
3. Claude Fable 5.1 : Anthropic s’oriente vers des applications réelles
La réponse d’Anthropic à cette course se présente sous deux formes : Claude Fable 5.1 et son homologue plus restreint, Claude Mythos 5.1. Fable 5.1 ne cherche pas à vous impressionner par des prouesses affichées en tête des classements.
Au lieu de cela, sa proposition de valeur repose sur des aspects plus utiles au quotidien : des travaux d’ingénierie soutenus, des tâches de recherche et des emplois exigeant une grande maîtrise des connaissances. Les progrès d’Anthropic dans ce domaine sont considérables.
Au test Terminal-Bench-Science, Fable 5.1 atteint 52,6 %, soit plus du double des 24,7 % obtenus par la version précédente, Fable 5.
Au Terminal-Bench 4.0, Fable 5.1 obtient 55,8 %, tandis que le plus spécialisé Mythos 5.1 atteint 60,9 % selon la propre comparaison d’Anthropic.
Les autres résultats rapportés pour Fable 5.1 sont les suivants :
- OSWorld 2.0 (version partielle) : le modèle atteint 77,9 %
- CursorBench : il obtient 73,4 %
- Humanity’s Last Exam, sans accès aux outils : il atteint 60,9 %
- le même examen, mais avec les outils activés : la performance monte à 65,0 %
- AutomationBench : le score est de 31,4 %
Pourtant, l’amélioration la plus importante pour les développeurs en activité n’est peut-être pas du tout un score de benchmark — c’est la efficacité.
Anthropic affirme que Fable 5.1 peut atteindre une qualité de sortie équivalente à celle de Fable 5 tout en consommant nettement moins de ressources avec des paramètres de raisonnement réduits, et que les charges de travail gérées par des agents permettent notamment une réduction des coûts d’environ 45 %.
Cette amélioration de l’efficacité est cruciale, car les systèmes agents présentent une faiblesse bien connue : ils consomment énormément de tokens.
Lorsqu’un simple échange avec un chatbot peut coûter environ 5 000 tokens, un agent de codage chargé d’une tâche réelle peut en consommer des centaines de milliers. À cette échelle, l’efficacité avec laquelle un modèle utilise les tokens cesse d’être une simple question de tarification pour devenir un élément essentiel de l’architecture de votre système.
4. Mythos 5.1 est différent
Mythos 5.1 mérite d’être analysé séparément.
D’après Anthropic, Fable 5.1 et Mythos 5.1 reposent sur exactement le même modèle de base. Ce qui les distingue, ce n’est pas leur capacité brute, mais plutôt les mécanismes de sécurité et les restrictions d’accès appliqués à certaines fonctions sensibles.
Mythos est réservé aux professionnels vérifiés et qualifiés, en particulier dans des domaines tels que la recherche en cybersécurité et la biologie avancée. C’est précisément ce contrôle qui en fait l’objectif principal.
Nous nous dirigeons vers un modèle où un seul modèle de base peut prendre en charge plusieurs « enveloppes de capacités » distinctes, en fonction de l’utilisateur et de la manière dont il l’emploie.
Le modèle de base peut être extrêmement puissant dans tous les domaines, mais ce à quoi il est réellement autorisé en pratique dépend de facteurs tels que :
- l’identité de l’utilisateur
- l’environnement dans lequel la demande est exécutée
- les outils mis à disposition
- la manière dont la session est surveillée
C’est une configuration nettement différente du modèle traditionnel qui consiste à déployer un modèle derrière chaque API et à considérer cela comme terminé.
5. La course à la cybersécurité devient sérieuse
Cette section est peut-être la plus importante de toute cette comparaison.
OpenAI affirme que GPT-6 Astra a dépassé ce qu’elle appelle le seuil des capacités critiques en cybersécurité, tel que défini dans son cadre de préparation. L’entreprise indique qu’Astra est capable de détecter des vulnérabilités inconnues jusqu’à présent et de créer des exploits fonctionnels contre des systèmes renforcés avec très peu d’intervention humaine.
Les chiffres le confirment :
- 100% sur ExploitBench
- 88% pass@1 sur SRE-Bench
- 99,2 % de réussite@4 sur SRE-Bench
OpenAI affirme en outre que, lors des évaluations menées par des experts externes, Astra a réellement mis en évidence des vulnérabilités existantes mais inconnues jusqu’alors.
Google emprunte une voie différente avec Gemini 3,8 Flash Cyber, une version conçue spécifiquement pour la défense et non pour l’attaque. Elle vise la détection autonome des vulnérabilités et l’application automatique de correctifs, et son accès est mis à disposition via le Fairwind Program de Google aux équipes de sécurité vérifiées.
Anthropic suit une trajectoire similaire, en renforçant les capacités de sécurité défensive de Fable 5,1 tout en imposant des restrictions strictes concernant toute activité liée à la création d’exploits.
La conclusion qui ressort de ces trois laboratoires est claire : la cybersécurité est devenue l’un des principaux fronts dans la course à la création de systèmes d’IA de pointe.
Cela vaut pour les deux camps : cette capacité est véritablement précieuse pour les défenseurs, mais représente un risque réel entre de mauvaises mains.
6. Alors, quel modèle l’emporte ?
Voici une méthode pratique pour évaluer ces trois modèles pour ceux qui les utilisent réellement dans leur travail.
Néanmoins, toute table de comparaison côte à côte comporte un avertissement important : ne la considérez pas comme un classement définitif valable partout.
Chaque fournisseur effectue ses tests d’efficacité avec sa propre configuration, son propre ensemble d’outils et son propre système d’évaluation, de sorte que les chiffres ne sont pas directement comparables en termes stricts. OpenAI a lui-même reconnu que les résultats des tests peuvent différer de ce que l’on observe en production, principalement en raison des différences dans les instructions données au système et des outils utilisés.
Finalement, le modèle « meilleur » n’est pas une réponse fixe — il dépend entièrement de la charge de travail spécifique à laquelle on le soumet.
7. Que devraient utiliser les développeurs en réalité ?
Si votre objectif est de créer un agent de codage autonome, le point de départ logique est :
GPT-6 Astra
Compte tenu de sa capacité à combiner des compétences en codage, une maîtrise de l’ordinateur, du raisonnement, un contexte persistant et l’exécution d’outils, on peut affirmer qu’il s’agit du plus capable agent polyvalent parmi les trois.
Si, en revanche, vous développez des applications qui doivent fonctionner à grande échelle, vous devriez examiner de près :
Gemini 3.8 Flash
Les prix sont difficiles à contester. À son tarif API d’introduction, il coûte environ 13 fois moins par token d’entrée et 13 fois moins par token de sortie que le tarif standard d’Astra.
Cette avance n’est pas simplement un petit gain en termes d’efficacité — elle reflète une approche architecturale véritablement différente.
Si votre travail implique des tâches d’ingénierie logicielle complexes, de la recherche ou du codage qui s’exécutent sur de longues périodes, Fable 5.1 mérite une place dans votre boîte à outils.
Anthropic l’a clairement conçu en tenant compte de la nature imprévisible et chaotique de l’ingénierie réelle, plutôt que de viser des scores élevés dans des classements.
Et pour ceux qui travaillent dans des domaines tels que la recherche en sécurité avancée ou des domaines scientifiques spécialisés, des systèmes comme les modèles de niveau Astra, Gemini Cyber et Mythos appartiennent à une catégorie de capacités complètement différente.
L’histoire plus large
Ce qui importe ici, ce n’est pas savoir quelle entreprise a devancé une autre sur un critère spécifique — ce type de comparaison perd rapidement de son importance.
Le véritable changement en cours se présente ainsi : Chatbots → Assistants de codage → Agents → Travailleurs autonomes
À l’avenir, les développeurs ne se contenteront pas de demander à l’IA quelque chose comme : « Écrivez cette fonction. »
Au lieu de cela, ils lui confieront une tâche bien plus large : leur montrer un ensemble de codes, lui demander d’identifier la cause d’un bug, de déterminer ce qui le provoque réellement, d’écrire une correction, d’exécuter la suite de tests, de vérifier que l’interface fonctionne correctement, de mettre à jour la documentation, et de soumettre une demande de fusion de manière autonome.
Puis ils s’éloigneront et laisseront l’IA travailler.
C’est là le véritable test aujourd’hui — pas « Quel modèle écrit le code le plus propre ? »
Mais plutôt, « Quel modèle peut être considéré comme fiable pour gérer toute la tâche du début à la fin ? »
- GPT-6 Astra est actuellement le plus proche de cet idéal.
Pour les développeurs, la leçon est simple : arrêtez de traiter les modèles d’IA comme des chatbots et commencez à les considérer comme de l’infrastructure informatique.
C’est en effet la direction dans laquelle ils évoluent.