L’AGI est un problème d’apprentissage, et non un problème de stockage.

Un transcript qui a redéfini la question

Récemment, un transcript d’une conférence téléphonique d’investisseurs d’une durée de quatre heures a commencé à circuler, au cours de laquelle serait intervenu le fondateur de DeepSeek, Liang Wenfeng. Dans ce transcript, il énumère ce qui manque actuellement à l’IA : ce n’est ni la créativité ni le raisonnement. Selon ce transcript, le véritable défaut réside dans le fait que l’IA ne peut pas apprendre de manière continue comme le font les humains, et un modèle ne peut être considéré comme de nouvelle génération que lorsque cela change.

Le plan qu’il aurait présenté commence par le raisonnement par chaîne de pensée, puis passe aux agents, ensuite au apprentissage continu, puis à un « point de singularité », et enfin à l’intelligence incarnée.

Cette idée est étayée par un argument indépendant, provenant d’une direction différente.

L’intelligence n’est pas une réserve

Chaque nouvelle version d’un modèle de langage déclenche la même discussion : les scores de référence, la capacité de raisonnement, la longueur du contexte, le nombre de paramètres et le sentiment qu’il est plus intelligent que son prédécesseur. L’intelligence est mesurée presque entièrement en fonction de ce que le modèle sait déjà. Cela pourrait être un critère erroné.

Les gens ne sont pas intelligents en fonction de la quantité d’informations stockées dans leur cerveau. Si c’était le critère, un manuel médical surpasserait un médecin.

Imaginons une personne à qui l’on pose des questions sur un domaine dont elle ne sait rien. Aucune réponse ne surgit d’abord. Elle prend conscience qu’elle ne possède pas suffisamment de connaissances. Ensuite, elle cherche, compare des sources, lit, remet en question ce qu’elle trouve, construit progressivement sa compréhension et parvient finalement à une réponse. Des semaines plus tard, sans y revenir, de nombreux détails se sont estompés. Avoir à nouveau besoin de ces connaissances signifie devoir répéter le processus. L’intelligence n’a pas disparu avec les faits oubliés, car la capacité d’apprendre est restée intacte.

Une personne n’est pas une AGI, et même l’intelligence générale humaine oublie constamment. Les compétences non utilisées pendant longtemps s’estompent et doivent être retrouvées par un réentraînement sur le sujet. Ce n’est pas un défaut de l’intelligence. C’est ainsi que fonctionne l’apprentissage dans tous les systèmes intelligents observés, y compris nous-mêmes.

En quoi les modèles de langage diffèrent

Les modèles d’aujourd’hui fonctionnent différemment. Une phase de préentraînement massive a lieu en premier, suivie de phases de fine-tuning soigneusement planifiées ; par la suite, les paramètres restent essentiellement inchangés jusqu’au début du prochain cycle d’entraînement. Si quelque chose de nouveau se produit dans le monde, le modèle n’a aucun moyen de choisir d’en étudier l’impact. Ce sont les ingénieurs, les chercheurs et les pipelines de données qui prennent cette décision pendant que le modèle reste inactif. En réalité, la question de l’intelligence a été traitée comme un problème de stockage alors qu’il s’agit en réalité d’un problème d’apprentissage.

Oubli catastrophique

Apprentissage automatique : un obstacle tenace appelé oubli catastrophique. Lorsqu’on affine un modèle avec de nouvelles données, il perd fréquemment une partie de ses connaissances antérieures, car les paramètres qui permettaient auparavant certaines capacités sont modifiés pour intégrer de nouvelles fonctionnalités. La cause en est inscrite dans la conception même du système. Un modèle de type transformateur conserve ce qu’il sait dans les mêmes matrices de poids fixes utilisées pour raisonner, de sorte que toute modification sur l’une affecte l’autre. De nombreuses années de recherche ont été consacrées à atténuer cet effet, mais il reste à déterminer si réécrire sans cesse une même représentation partagée constitue réellement une stratégie judicieuse.

Pas seulement une intuition d’un fondateur

Ce problème ne concerne pas un seul fondateur. Demis Hassabis, qui dirige DeepMind, a exprimé des opinions similaires en public cette année. Il a énuméré la cohérence, la fiabilité à long terme et l’adaptabilité similaire à celle de l’être humain, avec l’apprentissage continu au sein de ce groupe, comme des éléments qui entravent encore les progrès, sans imputer cela à un manque de ressources informatiques. Son point de vue contraste avec celui d’Anthropic, où Dario Amodei a parlé d’une sorte de pays rempli de chercheurs brillants vivant dans un centre de données, que l’on pourrait atteindre principalement en étendant les méthodes actuelles d’optimisation.

Ces deux affirmations peuvent être vraies en même temps. L’optimisation continue porte ses fruits, et l’apprentissage continu reste le seul problème que personne n’a encore résolu complètement. Ensemble, elles montrent que cette idée n’est pas marginale ; elle correspond à une véritable fracture dans la manière dont les plus grands laboratoires décrivent le travail qui reste à accomplir.

Emprunter au cerveau

Le cerveau humain ne semble pas se réécrire à chaque fois qu’il acquiert un nouveau fait. Il possède plusieurs systèmes qui interagissent : une mémoire de travail pour le raisonnement immédiat, des souvenirs à long terme développés au fil des années, des compétences qui deviennent automatiques grâce à la répétition, ainsi que des souvenirs qui s’estompent lorsqu’ils cessent d’être utiles. Apprendre n’est pas une seule opération ; c’est un écosystème de processus.

Une analogie utile indique que le cerveau contient quelque chose comme de la RAM et quelque chose comme de la ROM, qui sont des systèmes distincts. La mémoire de travail joue le rôle de la RAM : rapide, éphémère et constamment effacée. Les connaissances à long terme jouent le rôle de la ROM, plus lentes à enregistrer mais stables par la suite. Pour que l’AGI ressemble à l’intelligence humaine, cette séparation doit probablement être conçue dès le début et ne pas être confiée à un seul ensemble massif de poids chargé des deux fonctions. Le cerveau n’est pas nécessairement le seul modèle à suivre, mais séparer la réflexion de la mémoire permet également de résoudre des problèmes d’ingénierie pratiques.

Un modèle qui perçoit ses propres lacunes

Imaginez un modèle de raisonnement qui remarque constamment ses points faibles. Au lieu d’attendre des mois pour une session d’entraînement, il identifie ce dont il n’est pas sûr, collecte des informations fiables, les vérifie, crée une petite quantité de données d’entraînement nouvelles et propose un léger changement à lui-même. Ensuite, il vérifie si ce changement est vraiment utile sans nuire à ses capacités actuelles, puis l’accepte ou le rejette. Tout changement accepté reste suffisamment modeste pour pouvoir être annulé si de nouvelles preuves révèlent une erreur.

Une version mécanique pourrait fonctionner de la manière suivante :

1. Le modèle assemble lui-même un petit ensemble de données en recherchant des informations sur Internet ou en analysant les domaines dans lesquels il bute déjà.

Il affine une copie de lui-même sur cet petit ensemble. Il s’agit d’une légère modification des poids et non d’un réentraînement complet. Cette modification entraînera probablement une légère baisse des performances précédentes, ce qui rend inévitable un oubli partiel ; l’objectif est de maintenir cette perte suffisamment faible pour que les performances globales ne diminuent pas.

La copie affinée est comparée à l’original inchangé sur des cas non utilisés lors de la mise à jour.

Si la copie améliore réellement les performances, elle est conservée et un nouvel ajustement mineur est effectué, le taux d’apprentissage contrôlant l’amplitude des modifications comme lors de l’entraînement. Sinon, elle est éliminée et le cycle recommence.

Le danger évident

Le danger réside dans le fait que de la mauvaise qualité d’entrée entraîne une mauvaise qualité de sortie. L’entraînement sur des données générées automatiquement peut amener un modèle à renforcer ses propres erreurs, et de minuscules fautes peuvent s’accumuler au fil de plusieurs étapes, même si chacune semblait inoffensive. Une mesure partielle de protection consiste à permettre au modèle d’auditer son propre ensemble de données avant l’entraînement, en évaluant ses exemples à l’aide d’un prompt à quelques exemples et en ne conservant que ceux de bonne qualité, plutôt que d’accepter tout ce qu’il produit. Cela ne constitue cependant pas une solution complète. Il s’agit simplement de reformuler le problème d’autoevaluation sur lequel repose toute l’idée, sous une forme plus concise et plus directe.

Qu’y a-t-il de nouveau ici et qu’est-ce qui ne l’est pas ?

L’affirmation selon laquelle l’apprentissage continu serait l’élément manquant n’est pas nouvelle. Liang l’a évoquée il y a quelques jours, Hassabis en a présenté des versions en public et les chercheurs étudient le phénomène de l’oubli catastrophique depuis des années. Ce qui fait défaut en public, c’est une méthode concrète pour y parvenir. La feuille de route proposée par Liang se limite à une phrase indiquant qu’un modèle capable d’apprendre continuellement peut créer sa propre version suivante, en précisant la destination sans décrire le mécanisme.

Le cycle décrit ci-dessus, avec un petit ensemble de données, un ajustement fin limité, une validation par rapport à la version originale figée, ainsi que la décision de conserver ou d’éliminer, constitue une tentative pour combler cette lacune. Il n’est pas nécessairement correct, et il peut même ne pas être original au niveau de sa mise en œuvre, car quelqu’un dans un laboratoire essaie presque certainement déjà une version similaire. Il est suffisamment concret pour être erroné de manière spécifique et vérifiable, et une idée dont on peut prouver l’erreur vaut mieux qu’une idée trop vague pour être testée.

Le résultat ne serait pas un modèle qui réécrit constamment son identité. Ce serait plutôt un modèle qui évolue progressivement grâce à des milliers de corrections validées.

Questions difficiles qui en découlent

Cette approche soulève immédiatement des questions complexes :

• Comment le système vérifie-t-il que son propre apprentissage est correct ?
• Comment évite-t-il de renforcer ses propres idées fausses ?
• S’agit-il d’un événement binaire, où un fait est soit présent soit absent, ou s’agit-il d’une gradation qui s’estompe un peu plus à chaque mise à jour non liée ?
• Quelle quantité de connaissances doit devenir permanente, et quelle partie doit rester externe ?
• Quand l’information doit-elle être stockée en mémoire, et quand doit-elle simplement être récupérée à partir de sources fiables sur demande ?

Ces questions sont plus difficiles que la proposition initiale, et il n’existe pas de réponses immédiates. Ce sont précisément les questions qui méritent d’être étudiées.

Les éléments existent déjà

Déjà, de nombreux composants sont disponibles, notamment des systèmes de récupération d’informations, des méthodes d’apprentissage continu, des outils de génération de données synthétiques, des agents autonomes, des techniques d’ajustement fine efficaces en termes de paramètres, ainsi que des modèles de raisonnement de plus en plus puissants. Ce qui semble manquer, ce n’est pas une nouvelle loi de croissance, mais un cadre permettant à ces éléments de fonctionner ensemble au sein d’un système qui continue d’apprendre tout au long de son existence.

Peut-être l’AGI n’apparaîtra-t-elle pas parce qu’un seul modèle atteindrait une taille inimaginable, mais plutôt lorsque l’IA cesserait d’être statique. L’intelligence pourrait dépendre moins de la collecte de paramètres que de la création de systèmes capables d’évaluer judicieusement quand douter, chercher de nouvelles informations, réviser leurs croyances et admettre qu’ils ne sont pas certains.

On ignore si c’est bien le chemin menant à l’AGI, et l’histoire pourrait bien prouver que cette intuition est fausse. Une idée mérite néanmoins d’être prise au sérieux : les systèmes les plus intelligents que l’on connaisse, à savoir l’esprit humain lui-même, ne sont pas remarquables parce qu’ils n’oublient jamais. Ils le sont parce qu’ils ne cessent jamais d’apprendre.