Ornith-1.0 : Modèles de codage à poids ouverts allant de 9B à 397B sous licence MIT

Une famille de modèles nommée Ornith-1.0 est disponible en open source sous la licence MIT, et les scores qu’elle affiche visent explicitement le codage par agents. Les scores obtenus sont de 82,4 sur SWE-Bench Verified, 77,5 sur Terminal-Bench 2.1, 62,2 sur SWE-Bench Pro, 48,2 sur NL2Repo et 77,1 sur ClawEval, avec également 41,2 sur l’ensemble de questions SWE Atlas QnA. L’argument avancé est que les modèles open source ont cessé de rester en retrait en matière de codage et mènent désormais, quel que soit leur taille, pouvant être déployés localement avec une version GGUF incluse. Il s’agit des affirmations mêmes de la version publiée, il convient donc d’aborder avec prudence les données de classement tout en examinant réellement ce que cette famille de modèles offre.

Quatre tailles

Ornith n’est pas un seul modèle mais quatre : un modèle dense de 9 milliards de paramètres, un modèle dense de 31 milliards de paramètres, un modèle de type mixture-of-experts de 35 milliards de paramètres et un modèle de type mixture-of-experts de 397 milliards de paramètres. Ils ont été entraînés ultérieurement à partir de Gemma 4 et Qwen 3.5. Cette diversité est inhabituelle, car les versions publiées en open source ont généralement tendance à choisir une taille petite et efficace pour des raisons de volume ou une taille très grande pour une puissance maximale. Ici, chaque version cible un public spécifique : le modèle de 9 milliards de paramètres fonctionne sur des GPU grand public, permettant aux développeurs individuels de l’utiliser gratuitement. Le modèle de 31 milliards de paramètres convient à une petite équipe disposant d’un seul serveur. Le modèle de 35 milliards de paramètres de type MoE est destiné aux projets de taille moyenne où l’efficacité est primordiale, tandis que le modèle de 397 milliards de paramètres de type MoE est conçu pour les entreprises souhaitant une mise en œuvre privée avec les données conservées en interne. Cela ressemble moins à la publication d’un modèle qu’au fait de revendiquer toute une catégorie de modèles.

Ce que mesurent les scores

SWE-Bench Verified remet au modèle un véritable problème GitHub et lui demande de trouver le code correspondant, de le modifier et de faire en sorte que tous les tests unitaires passent. Il s’agit d’un véritable travail de programmation, et non de simples exercices de réflexion. Un développeur humain qualifié obtient généralement entre 70 et 75 % de réussite dans ce type de tâches, ce qui constitue une estimation généralement admise dans le secteur ; le score de 82,4 obtenu par Ornith représenterait donc la valeur la plus élevée jamais publiée pour ce benchmark. Il convient de noter qu’il s’agit d’une note, et que la publication ne la présente pas sous forme de pourcentage.

SWE-Bench Pro implique des modifications dans plusieurs fichiers, des refactorisations qui traversent plusieurs modules ainsi que des dépendances complexes ; par conséquent, un score de 62,2 indique qu’il est capable de gérer des tâches d’ingénierie de taille moyenne et pas seulement de simples ajustements. Terminal-Bench 2,1 vérifie le fonctionnement à l’intérieur d’un terminal réel : navigation dans les dossiers, recherche par motif, modification des configurations, débogage de services et déploiement d’applications, et un score de 77,5 suggère une utilisation réelle du terminal plutôt que sa simulation. NL2Repo nécessite la création d’un répertoire complet à partir d’une description en langage naturel, comme pour une application de gestion de tâches. Un score de 48,2 semble modeste si l’on ne tient pas compte de la difficulté, et il est décrit comme le meilleur résultat parmi les modèles ouverts.

Avertissement aux lecteurs : les résultats des benchmarks dépendent du framework utilisé pour les exécuter, et le même modèle peut présenter d’importantes différences selon les configurations, ce qui fait que la réexécution des poids dans vos propres répertoires est le seul test permettant de savoir comment une taille donnée se comporte dans votre travail. Néanmoins, dans leur ensemble, ces chiffres décrivent davantage un ingénieur travaillant devant une terminal, consultant un code et terminant les tâches de développement par lui-même qu’un chatbot qui parle de code. De plus, ce travail est soumis à la licence MIT, autorisant l’utilisation commerciale gratuite.

Permettre au modèle d’améliorer ses propres outils

Les scores ne sont pas la partie la plus intéressante. Ce qui l’est, c’est la manière dont ils ont été obtenus. Les outils de programmation basés sur l’IA possèdent deux niveaux : le squelette, qui gère la planification, les appels d’outils et la gestion du contexte, et la solution, qui écrit du code, corrige les erreurs et exécute des tests. Habituellement, les équipes construisent manuellement le squelette en suivant des règles fixes et ne s’occupent que de la partie solution. L’approche d’Ornith applique l’apprentissage par renforcement aux deux niveaux en même temps, permettant ainsi au modèle de découvrir ce qui constitue un meilleur squelette, plutôt que que des ingénieurs devinent à la place.

Une analogie : à un travailleur est donné un marteau, un autre conçoit son propre marteau avant de s’en servir. Le second aura probablement un outil plus pratique. Selon la propre formulation de l’équipe, le modèle améliore lui-même son cadre d’exécution, ce qui signifie qu’il ajuste la manière dont le code est écrit et pas seulement le code lui-même.

Si cela est vrai, les effets dépassent les chiffres de référence. L’évolution des outils de codage ne serait plus limitée par ce que les ingénieurs humains peuvent imaginer comme un cadre adapté, et le modèle pourrait essayer des stratégies d’exécution et des combinaisons d’outils jamais conçues auparavant. Une fois un tel cycle d’amélioration en marche, l’itération pourrait dépasser la capacité de mise au point manuelle.

Pression sur les agents de codage à source fermée

Dès longtemps, les agents de codage sont considérés comme le dernier rempart des modèles à source fermée. La tâche est ardue : elle exige un contexte au sein d’un répertoire complexe, une planification en plusieurs étapes, de nombreuses appels d’outils, une gestion des retours d’erreur et des révisions répétées, ce qui représente un niveau de difficulté différent de celui de la rédaction d’un paragraphe. C’est pourquoi les plus grands laboratoires ont misé lourdement sur ce domaine. On estime que Claude Code génère des revenus annuels dépassant 2,5 milliards de dollars, GitHub Copilot compte des dizaines de millions d’utilisateurs, et la programmation par IA est sans doute la source de revenus la plus rapide et la plus fiable dans ce secteur. Le principe en est que les modèles de base peuvent être distribués gratuitement, tandis que ce pour quoi on paie, c’est les agents de codage opérationnels.

Ensuite, une famille de modèles apparaît, dotée d’une licence MIT, d’une version GGUF, d’une déploiement local, disponible en toutes tailles, de petite à très grande, et obtenant les meilleurs scores open source sur six benchmarks. L’équipe qui la développe ne serait pas une organisation comptant mille personnes. Il s’agirait d’un groupe de recherche qui travaille sur le post-entraînement de modèles open source existants, sans annonce de financement ni discours principal, uniquement des modèles, des scores et une licence permissive mise à disposition de la communauté. Si cela est exact, c’est un contraste frappant avec les barrières protectrices construites au prix de milliards.

Open versus fermé

Image d’aujourd’hui, en gros. Du côté ouvert se trouvent Ornith-1.0, DeepSeek V4 réputé pour ses compétences en programmation solides, et Qwen 3.5 qui a connu une amélioration notable de ses capacités en matière de code ; tous sont soumis à des licences MIT ou similaires, peuvent être déployés localement et sont utilisables gratuitement à des fins commerciales. Du côté fermé figurent Claude Code, dont les résultats sur SWE-Bench sont estimés entre 75 et 80 sans vérification publique indépendante, GPT-5.5 avec Codex, dont les scores n’ont jamais été divulgués, et Gemini avec Code Assist.

Un détail mérite d’être souligné. La plupart des résultats du SWE-Bench à source fermée ne disposent pas de données publiques et reproductibles de manière indépendante, tandis que ceux d’Ornith sont publiés ouvertement et n’importe qui peut exécuter le modèle pour les vérifier. Que se passe-t-il lorsque un modèle ouvert est plus transparent, obtient de meilleurs résultats et ne coûte rien ? D’autres domaines offrent des précédents. Après que LLaMA ait été mis en open source, les modèles fondamentaux à source fermée ont perdu de leur pouvoir de négociation. Après Stable Diffusion, Midjourney a dû passer de la vente de modèles à la vente d’une expérience. Le codage agentiel pourrait suivre le même schéma, d’autant plus que les outils disponibles en open source sont de plus en plus performants, étant donné que l’essence du codage agentiel réside autant dans l’ingénierie que dans la puissance du modèle, et c’est précisément dans le domaine de l’ingénierie que les communautés ouvertes sont les plus fortes. Dix mille développeurs travaillant sur Ornith pourraient créer dix mille frameworks et solutions spécialisées, alors qu’aucune équipe fermée n’est aussi grande. Le concours passe de la question de savoir quel modèle est le plus performant à celle de savoir quel écosystème est le plus vaste.

Trois signaux

Le premier est que la couche de modèles du codage agentique devient une marchandise courante. Lorsqu’un modèle de 9 milliards de paramètres atteint un niveau de codage agentique, une licence permissive permettant une utilisation commerciale gratuite et que sa version GGUF fonctionne sur un MacBook, le modèle cesse d’être rare, tout comme l’informatique cloud a rendu les serveurs physiques moins rares. La valeur se déplace alors vers l’adaptation aux scénarios concrets et l’intégration dans les flux de travail. Celui qui intègre Ornith dans son répertoire, le connecte à son système CI/CD et l’adapte à ses normes de codage et à sa logique métier est celui qui gagne de l’argent, tandis que le modèle lui-même ne coûte rien.

Le deuxième point est que l’apprentissage par renforcement, qui optimise conjointement la structure de soutien et la solution, pourrait devenir un nouveau paradigme. Ornith n’est pas le premier modèle entraîné ultérieurement à l’aide de l’apprentissage par renforcement, mais il va plus loin que les travaux précédents dans l’optimisation conjointe de ces deux éléments, et le soutient par six résultats d’évaluation. L’avenir décrit est celui où les modèles conçoivent leurs propres frameworks, les exécutent, reçoivent des retours de l’apprentissage par renforcement et itèrent sur ces frameworks, un cycle qui pourrait s’accélérer rapidement une fois mis en place.

Le troisième point est que, pour la première fois, le logiciel open source dispose d’un avantage structurel à l’ère des agents. Les modèles ouverts se sont illustrés dans les chats, l’écriture et la traduction, mais c’est dans l’exécution de tâches complexes qu’ils ont pris de l’avance pour la première fois. Ce n’est pas fortuit. L’appel d’outils, la planification en plusieurs étapes et l’interaction avec l’environnement sont des problèmes d’ingénierie, et l’ingénierie favorise la collaboration ouverte. Une entreprise fermée peut cacher les poids des modèles, mais elle ne peut pas cacher la meilleure architecture d’ingénierie ; de plus, mille développeurs travaillant sur un même framework d’agent ont tendance à surpasser la conception d’une équipe unique.

Une vieille question, encore une fois

Lorsque les analystes de Goldman Sachs ont étudié l’industrie de l’IA, ils se sont demandé si une intelligence moins chère créait davantage de demande ou détruisait le pouvoir de fixation des prix. Cette question portait sur les modèles fondamentaux. Elle s’applique désormais au codage agent. Si une famille entièrement ouverte, couvrant toutes les fonctionnalités, pouvant être déployée localement et offrant les meilleurs résultats open source est disponible pour tous sous licence MIT, qu’en est-il de l’économie du code écrit par l’IA ? L’équipe Ornith a répondu par ses actions : la publier en premier, puis régler le reste par la suite.