Les lois de scalage des LLM, GPT-4o et l’apprentissage par renforcement : ce que prédisent les courbes.

Presque chaque amélioration majeure de la qualité des modèles de langage au cours des dernières années provient du fait de faire la même chose avec des ressources plus importantes : plus de paramètres, plus de tokens d’entraînement, plus de GPU. Les lois de scalage sont les équations qui transforment cette pratique en quelque chose de planifiable, car elles permettent de prédire comment la perte de test d’un modèle diminue lorsque l’on augmente des ressources telles que les capacités de calcul pour l’entraînement. Elles sont également souvent mal interprétées, d’où des titres qui alternent entre « le scalage est garanti » et « le scalage a heurté un mur ». Après avoir étudié cet article, vous serez capable de lire correctement un graphique de scalage en log-log, d’expliquer ce que les résultats de Kaplan et Chinchilla indiquent réellement, de raisonner sur le débat concernant le « ralentissement » sans prendre parti, et de comprendre pourquoi les agents et les modèles de raisonnement constituent les prochains domaines où le calcul sera étendu.

La structure est ascendante. Nous commençons par les mathématiques des lois de puissance, en passant par les recherches qui ont établi des lois de scalage pour les modèles de langage, en suivant comment ces lois ont guidé la famille GPT ainsi que les modèles ultérieurs, en examinant les arguments selon lesquels le scalage perd de son efficacité, et nous terminons par les orientations qui permettent de maintenir les progrès même si les gains liés à l’entraînement préalable s’aplanissent.

Le bloc de construction : les lois de puissance

Deux grandeurs, une relation prévisible

Une loi de puissance n’est rien de plus qu’une règle reliant deux mesures de manière à ce qu’un changement proportionnel dans l’une entraîne un changement proportionnel dans l’autre. Dans le contexte des LLM, l’une des deux grandeurs est presque toujours la perte de test (parfois un indicateur substitut comme la précision sur une tâche ultérieure), tandis que l’autre correspond à la variable ajustable : le nombre de paramètres, la taille de l’ensemble de données ou la puissance de calcul totale utilisée pour l’entraînement.

Une affirmation typique du papier sur GPT-3 se formule à peu près comme ceci : à condition qu’il y ait suffisamment de données, la perte de validation doit suivre une loi des puissances globalement lisse en fonction de la taille du modèle. En termes pratiques, cela signifie que le nombre de paramètres et la perte de test sont liés de manière mesurable. En agrandissant le modèle tout en maintenant les autres conditions stables (suffisamment de données, suffisamment de ressources de calcul), la perte diminue d’un facteur que l’on peut prédire à l’avance.

Une propriété utile ici est l’invariance de l’échelle. Si l’on multiplie l’entrée par un facteur constant, la sortie est également multipliée par un facteur fixe, quel que soit le point de départ sur la courbe. C’est précisément ce qui rend les lois des puissances attrayantes pour la prévision : la relation que l’on mesure entre un modèle à 10 millions de paramètres et un modèle à 100 millions de paramètres permet d’obtenir des informations concrètes sur le passage de 10 milliards à 100 milliards de paramètres.

Formes standard et inverse

La forme de base est y = a * x^p, où x et y représentent les deux grandeurs, tandis que a et p sont des constantes déterminées à partir des données. Lorsque l’exposant est positif, y augmente à mesure que x augmente. Sur des axes ordinaires, la courbe s’incurve vers le haut ; sur des axes logarithmiques, elle devient une ligne droite, car l’application des logarithmes transforme log y = log a + p * log x en une équation linéaire à pente p. C’est pour cette raison que les articles scientifiques utilisent presque toujours des échelles logarithmiques pour leurs graphiques.

Cependant, les courbes que l’on voit dans les articles sur les LLM ont une pente inverse : la perte diminue à mesure que les ressources augmentent. Il s’agit d’une loi de puissance inverse, y = a * x^(-p), c’est-à-dire de la même équation avec un exposant négatif. Inverser le signe de l’exposant inverse la forme de la courbe, et sur des axes logarithmiques on obtient la ligne droite caractéristique qui descend vers la droite. Lorsqu’un article montre la perte en fonction du calcul, des données ou des paramètres sous forme de ligne descendante nette, c’est cette relation qui est représentée. Gardez cela à l’esprit, car la droiture de la ligne est un artefact des axes logarithmiques, et beaucoup de confusions concernant l’échelle proviennent de l’oubli de ce fait.

La première étude systématique : l’échelle de la perte en fonction des paramètres, des données et du calcul

Les questions en suspens avant 2020

Lorsque le GPT original est apparu, il n’était pas évident à quel point l’échelle était importante. Les modèles de langage étaient prometteurs mais limités, et il n’existait pas de méthode claire pour les améliorer. Plusieurs questions restaient sans réponse définitive. La structure du réseau, c’est-à-dire le nombre de couches et leur largeur, a-t-elle une grande importance ? Un modèle plus grand offre-t-il systématiquement de meilleures performances ? Combien de données un modèle plus grand a-t-il besoin ?

L’étude d’OpenAI de 2020 intitulée « Scaling Laws for Neural Language Models » a cherché à répondre à ces questions en mesurant comment la perte de test réagit à la taille du modèle, à sa structure, à la taille de l’ensemble de données, aux ressources de calcul utilisées pour l’entraînement et à la taille des lots. Sa découverte majeure était que la perte suit une loi de puissance pour chacune de ces trois variables, certaines tendances persistant sur plus de sept ordres de grandeur :

1. Nombre de paramètres du modèle.
2. Taille de l’ensemble de données.
3. Ressources de calcul utilisées pour l’entraînement.

Le critère important est que chaque relation reste valable tant que les deux autres quantités ne constituent pas le facteur limitant. Un modèle très volumineux entraîné sur un ensemble de données minuscule ne suit pas la courbe des paramètres, car les données deviennent alors le goulot d’étranglement.

Comment les expériences ont été menées

Les chercheurs ont préentraîné des modèles comptant jusqu’à 1,5 milliard de paramètres sur des sous-ensembles du corpus WebText2 comprenant de 22 millions à 23 milliards de tokens. Chaque modèle utilisait un contexte de 1 024 tokens ainsi que l’objectif habituel de prédiction du token suivant, qui correspond à une perte de croisement d’entropie sur le vocabulaire. La même perte de croisement d’entropie mesurée sur des textes non utilisés servait de principale métrique de performance. Rien de tout cela n’est particulier ; il s’agit essentiellement de la configuration de préentraînement standard utilisée pour la plupart des LLM, d’où la bonne généralisation des résultats.

À quoi ressemblent les lois obtenues

La perte de test sur WebText2 s’est améliorée de manière constante à mesure que les paramètres, les données et les ressources de calcul augmentaient. Ces tendances couvraient huit ordres de grandeur en termes de ressources de calcul, six pour la taille du modèle et deux pour la taille de l’ensemble de données. Les équations obtenues ressemblent à la loi du pouvoir inverse mentionnée précédemment, mais sont exprimées légèrement différemment : la constante principale est fixée à un, et une constante de mise à l’échelle se trouve à l’intérieur des parenthèses. Pour la taille du modèle, par exemple, la forme est L(N) = (N_c / N)^alpha_N, où N représente le nombre de paramètres, N_c est une constante ajustée, et alpha_N est l’exposant ajusté. Des expressions similaires existent pour la taille de l’ensemble de données D et les ressources de calcul C.

Un détail était nécessaire pour obtenir des ajustements précis : les paramètres figurant dans les tables d’incorporation positionnelle et de token ne sont pas pris en compte dans le comptage. Leur inclusion rend les tendances plus bruitées, tandis que le comptage uniquement des paramètres non incorporés produit des lignes droites nettes. Si vous essayez un jour de reproduire un graphique d’échelle, c’est ce type de choix comptable qui peut modifier discrètement vos résultats.

Puisque chaque loi suppose que les autres facteurs ne constituent pas de goulets d’étranglement, la règle pratique consiste à échelonner les trois ensemble. Si vous ne modifiez qu’un seul d’entre eux, vous rencontrerez rapidement des retombées décroissantes.

Lecture des courbes sans échelle logarithmique

Les graphiques en log-log ont l’air merveilleusement linéaires, ce qui incite à une interprétation trop optimiste. Représentez à nouveau les mêmes lois ajustées sur des axes ordinaires : la forme change complètement — la courbe descend rapidement au début puis s’aplatit, ressemblant beaucoup à une décroissance exponentielle.

Cela est important car de nombreux commentaires populaires suggèrent l’intuition inverse, comme si la qualité du modèle augmentait de manière exponentielle tandis que les ressources de calcul ne croissaient que de manière logarithmique. Les mathématiques indiquent plutôt quelque chose de bien plus modéré : chaque réduction supplémentaire de la perte entraîne une augmentation multiplicative des ressources nécessaires, de sorte que parvenir à de meilleures performances devient progressivement, et de manière assez spectaculaire, de plus en plus coûteux. Une ligne droite sur un graphique log-log signifie que « dix fois plus de ressources de calcul permettent une amélioration fractionnaire fixe », et non « un peu plus de ressources de calcul améliore considérablement la qualité ».

La forme importe peu, l’échelle importe beaucoup

Au-delà des trois lois de puissance, l’étude a montré que des choix architecturaux tels que le rapport entre la profondeur et la largeur n’avaient qu’un effet mineur sur la perte par rapport à l’échelle brute. Plus de paramètres, plus de données et plus de ressources informatiques permettaient des améliorations stables et fiables ; modifier les proportions du réseau n’apportait pas de résultats significatifs.

Les chercheurs ont également observé que les modèles plus gros sont plus efficaces en termes d’utilisation des échantillons. Un modèle plus grand atteint une perte donnée après avoir traité moins de tokens qu’un modèle plus petit. Du point de vue purement computationnel de l’entraînement, cela suggère une stratégie inhabituelle : entraîner un modèle très grand à partir d’une quantité de données relativement modeste et s’arrêter bien avant qu’il ne converge. Cela est effectivement optimal du point de vue computationnel pour l’entraînement, mais cela ignore ce qui se passe après l’entraînement. Un modèle de grande taille est coûteux à mettre en œuvre pour chaque requête qu’il traite, donc en pratique les équipes font généralement le contraire et entraînent des modèles plus petits à partir de plus de données, car ces derniers sont beaucoup moins chers à héberger.

Cet article a également examiné la manière dont la taille des ensembles de données devrait augmenter en même temps que la taille du modèle, en concluant que les données peuvent croître plus lentement que les paramètres. En gros, pour multiplier la taille du modèle par huit, il suffisait d’environ cinq fois plus de données afin d’éviter le surajustement. (Ce rapport découle de la relation établie, selon laquelle les besoins en données augmentent comme la taille du modèle élevée à une puissance légèrement inférieure à un.) Gardez cette recommandation à l’esprit, car les travaux sur Chinchilla l’ont par la suite infirmée.

Finalement, les mêmes lois s’appliquaient à plusieurs autres ensembles de données d’évaluation une fois qu’un décalage fixe avait été ajouté à la perte pour tenir compte de la différence de distribution des données. Dans leur ensemble, ces résultats démontrent clairement que le modélisage linguistique s’améliore de manière continue et prévisible lorsque la taille du modèle, les données et les ressources de calcul sont adaptées, et que des modèles plus grands seraient à la fois plus performants et plus efficaces en termes d’échantillons. C’est précisément cette conclusion qui a justifié les longues phases d’entraînement préalable qui ont suivi.

Comment les laboratoires utilisent réellement les lois de mise à l’échelle

Les avantages de l’entraînement préalable à grande échelle s’accompagnent d’un inconvénient gênant. Les meilleurs résultats exigent des modèles et des ensembles de données énormes, et ces expérimentations coûtent très cher. Imaginez dépenser l’équivalent de dix millions de dollars pour une seule expérience seulement pour découvrir que le modèle est décevant. À un tel prix, il n’y a pas de place pour des ajustements par essais-erreurs sur le modèle de taille réelle ; il faut être sûr à l’avance que la configuration fonctionnera.

Les lois de scalage sont l’outil qui offre cette certitude. En plus de prouver l’existence de ces relations, elles fournissent aux chercheurs une méthode de travail concrète :

• Entraîner une série de modèles beaucoup plus petits dans différents contextes.
• Adapter les lois de scalage au comportement de ces petits modèles.
• Extrapoler ces lois pour prédire les performances d’un modèle bien plus grand.

Cette méthode n’est pas infaillible. L’extrapolation à partir de petites séries vers une grande série peut être imprécise, et certains comportements changent avec l’échelle de manières que un petit modèle ne révèlera pas. Des techniques telles que les schémas de transfert de hyperparamètres ont été développées pour rendre l’extrapolation de petite à grande échelle plus fiable, et l’application de lois de scalage à des essais à faible coût est désormais une pratique courante. En plus de réduire les risques techniques, une prévision fiable facilite également grandement la justification du budget nécessaire pour une grande série auprès de ceux qui la financent.

Il existe une règle empirique sensée pour savoir quand ne pas faire confiance à une extrapolation : si vos petites séries ne couvrent pas au moins un ou deux ordres de grandeur, ou si vous modifiez la combinaison des données, le tokeniseur ou l’architecture entre les petites séries et la grande série, les constantes obtenues peuvent ne plus être applicables. La valeur d’une loi de scalage dépend entièrement du fait que tout le reste reste constant.

L’échelle à l’ère du préentraînement, de GPT-3 à GPT-4

Lorsque les lois d’échelle furent établies, la recette pour progresser devint presque embarrassamment simple : entraîner des modèles plus gros sur des ensembles de données plus importants et plus propres. OpenAI l’a suivie tout au long de la série GPT, et la plupart des autres modèles notables l’ont également adoptée. Ilya Sutskever a par la suite décrit cette période comme l’« ère du préentraînement », caractérisée par des réseaux très volumineux entraînés sur des ensembles de données encore plus importants.

La famille GPT en tant qu’expérience d’échelle

La ligne GPT est l’application la plus connue de ces idées. La discussion ici se concentre sur les modèles jusqu’à GPT-3, pour deux raisons : leurs détails ont été publiés en open source, et les modèles ultérieurs doivent beaucoup de leurs améliorations aux progrès réalisés après l’entraînement plutôt qu’au simple volume de l’entraînement préalable. Si vous souhaitez une vue génération par génération de ce que chaque version a changé pour les développeurs d’applications, consultez notre guide de GPT-1 aux modèles de raisonnement ; ici, l’accent reste mis sur ce que chaque étape révèle concernant l’échelle d’entraînement.

GPT était modeste selon les standards actuels : 12 couches et 117 millions de paramètres. Il a d’abord été préentraîné sur BooksCorpus, un ensemble de texte brut comprenant environ 7 000 livres, puis affiné séparément pour chaque tâche ultérieure, en utilisant un objectif supervisé ainsi qu’une tête de classification dédiée à chaque tâche. Il s’agissait de l’une des premières démonstrations d’un préentraînement auto-supervisé à grande échelle pour un transformateur ne disposant que d’un décodeur, et il a permis de mettre en évidence quelques enseignements :

• Le préentraînement auto-supervisé sur du texte brut fonctionne de manière remarquablement efficace.
• Le fait d’entraîner sur de longs segments de texte contigus est important.
• Un modèle préentraîné de cette manière peut être affiné pour atteindre une précision de pointe dans un large éventail de tâches.

Le modèle lui-même n’était pas exceptionnel, mais il a établi les deux éléments fondamentaux — un transformateur ne disposant que d’un décodeur et un préentraînement auto-supervisé — que des travaux ultérieurs ont permis d’étendre à une échelle bien plus grande.

GPT-2 est apparu peu après sous forme d’un ensemble de modèles comptant jusqu’à 1,5 milliard de paramètres. L’architecture et l’objectif d’entraînement étaient les mêmes que ceux de GPT, mais deux éléments ont changé :

• Le préentraînement utilisait WebText, un ensemble de données extraites d’Internet et bien plus vaste que BooksCorpus.
• Il n’y avait pas de fine-tuning spécifique à une tâche. Les tâches étaient résolues en mode zero-shot, en sollicitant directement le modèle préentraîné.

GPT-2 n’a pas atteint des résultats de pointe sur la plupart des benchmarks, mais ses scores se sont améliorés de manière constante à mesure que le modèle devenait plus grand, ce qui était une preuve claire que l’ajout de paramètres portait ses fruits. Tout aussi important, même le plus grand modèle GPT-2 semblait encore sous-adapter son fonctionnement au WebText. Cela indiquait qu’il restait de la marge : une augmentation supplémentaire tant du modèle que des données devrait continuer à être bénéfique. L’étude sur GPT-2 a également avancé qu’un modèle de langage disposant de suffisamment de capacité commencerait à inférer et à exécuter les tâches observées dans le langage naturel, simplement parce que cela l’aide à prédire le texte plus précisément. Cet argument, associé aux tendances mesurées, a donné aux chercheurs la confiance de poursuivre leurs efforts.

GPT-3 a représenté un tournant décisif pour trancher la question de savoir si le préentraînement à grande échelle était rentable. Avec 175 milliards de paramètres, il était plus de 100 fois plus volumineux que le plus grand modèle GPT-2. Son architecture était à nouveau un transformateur décodeur uniquement, similaire à celle de ses prédécesseurs, mais les données d’entraînement étaient bien plus importantes : un corpus basé sur CommonCrawl, environ dix fois plus grand que WebText, combiné à plusieurs autres sources pour former un mélange de données.

GPT-3 a été évalué principalement grâce à l’approche du prompting à quelques exemples, qu’il convient de distinguer des méthodes précédentes :

• GPT utilisait le fine-tuning, en mettant à jour les poids pour chaque tâche.
• GPT-2 utilisait le prompting zéro-exemple, en décrivant la tâche sans fournir d’exemples.
• GPT-3 utilisait le prompting à quelques exemples, en incluant un petit nombre d’exemples concrets dans la demande.

La publication sur GPT-3 a donné à ce phénomène le nom d’apprentissage in-context. Ce terme est légèrement trompeur, car rien n’est appris au sens habituel : les poids ne changent pas du tout. Les exemples fournis dans l’instruction servent simplement de contexte qui guide le modèle vers une sortie plus appropriée. Il s’est avéré que GPT-3 était très doué pour cela, ce qui suggère que l’apprentissage in-context est une capacité qui émerge avec l’échelle.

Dans les benchmarks de compréhension linguistique, la précision en mode few-shot augmentait avec la taille du modèle. Les modèles plus grands utilisaient les informations de leur fenêtre de contexte de manière plus efficace que les modèles plus petits, et pour plusieurs tâches, les résultats de GPT-3 en mode few-shot ont dépassé les meilleures performances précédentes, continuant d’améliorer progressivement avec l’augmentation de la taille du modèle. Le fait que ce seul modèle puisse accomplir cela sur autant de tâches, simplement en changeant le prompt, était remarquable à l’époque. GPT-3 est devenu l’un des premiers véritables modèles de base et a introduit l’usage de prompts comme principal moyen d’interaction avec les LLM.

Après GPT-3 : le post-training occupe une place plus importante

GPT-3 a déclenché une vague d’intérêt pour les LLM, axée principalement sur des phases de préentraînement plus étendues. Les prochaines versions d’OpenAI, InstructGPT, ChatGPT et GPT-4, ont combiné un préentraînement à grande échelle avec de nouvelles méthodes de post-entraînement, à savoir le fine-tuning supervisé et l’apprentissage par renforcement à partir des retours humains (RLHF) ; l’amélioration significative de la qualité ainsi obtenue a attiré l’attention du grand public sur l’IA. Le rapport technique de GPT-4 le décrit comme un modèle transformer préentraîné pour la prédiction du token suivant, dont l’alignement lors du post-entraînement améliore la fiabilité des informations et le respect du comportement souhaité.

À cette époque, OpenAI a commencé à publier beaucoup moins. Les modèles étaient distribués via l’API sans documents détaillés. Cependant, certaines informations restent disponibles. InstructGPT, le prédécesseur direct de ChatGPT, dispose d’un article décrivant en profondeur son processus de post-entraînement, et cet article indique que GPT-3 en est le modèle de base. Il est raisonnable de conclure que les améliorations d’InstructGPT proviennent principalement du post-entraînement plutôt que d’un entraînement préalable plus long.

GPT-4 était clairement plus performant que ChatGPT, mais son rapport technique en révélait très peu. Il confirme uniquement ce qui suit :

1. Le modèle est un transformateur.
2. Il est préentraîné avec une prédiction du token suivant.
3. Les données proviennent à la fois de sources publiques et de tiers sous licence.
4. Il est affiné à l’aide de RLHF.

Cependant, l’échelle reste au cœur de ce rapport. Un objectif majeur en ingénierie était de disposer d’une pile de outils de formation qui se comporte de manière prévisible à différentes échelles, afin que les résultats obtenus lors de simulations de petite taille puissent être extrapolés à la simulation finale, de très grande envergure et coûteuse. Le rapport indique que la perte finale des grands modèles correctement entraînés peut être bien approximée par des lois de puissance en fonction des ressources de calcul utilisées pendant l’entraînement.

C’est le flux de travail pratique mentionné précédemment, appliqué à l’avant-garde de la recherche. Comme une simulation complète de préentraînement est extrêmement coûteuse, il n’y a en pratique qu’une seule tentative, sans possibilité d’ajustements spécifiques au modèle. À la place, l’équipe a entraîné des modèles en utilisant de 1 000 à 10 000 fois moins de ressources de calcul, a appliqué des lois de puissance à ces modèles, et a utilisé ces lois pour prédire les performances du grand modèle. Le rapport sur GPT-4 montre précisément cela : une loi de puissance entre les ressources de calcul et la perte, utilisée pour prédire la perte finale de GPT-4.

L’équation obtenue présente une addition par rapport à ce que nous avons vu précédemment : un terme de perte irréductible, ce qui donne une forme du type L(C) = a * C^b + c. La constante c reflète le fait que la perte ne pourra jamais atteindre zéro, car le texte naturel contient une véritable aléatorieté que aucun modèle ne peut prédire. Avec cette loi appliquée à de petits ensembles de données, la prédiction de la perte finale de GPT-4 s’est avérée très précise. Remarquez également que ce graphique utilise des axes linéaires, et les retours décroissants sont clairement visibles : l’amélioration par unité de calcul diminue visiblement à mesure que le calcul augmente.

Le rapport reconnaissait également que l’interprétation des pertes brutes est difficile et tentait de prévoir des métriques plus significatives. Un exemple est le taux de réussite sur l’épreuve de codage HumanEval. Les problèmes étaient regroupés par niveau de difficulté, et une loi de scalage a été appliquée pour prédire le taux de réussite pour chaque groupe. En utilisant des exécutions nécessitant environ 1 000 fois moins de ressources de calcul, l’équipe a pu prédire avec précision le taux de réussite de GPT-4 sur HumanEval.

La leçon tirée de cette série d’expériences reste constante : les exécutions de préentraînement plus longues sont utiles mais coûteuses, et les lois de scalage permettent de les prévoir suffisamment bien afin d’éviter de gaspiller des ressources de calcul pour des exécutions qui ne donneront aucun résultat.

Chinchilla : les modèles ont manqué de données

L’étude de 2020 recommandait d’augmenter les paramètres de croissance plus rapidement que les données. Pendant un certain temps après GPT-3, le domaine a principalement suivi ce conseil, mais les résultats n’étaient pas bons. Des modèles bien plus grands que GPT-3, tels que MT-NLG avec 530 milliards de paramètres, ont été entraînés sur des ensembles de données d’environ la même taille que ceux de GPT-3 sans parvenir à le surpasser. En revanche, des modèles qui ont augmenté à la fois les paramètres et les données, comme Gopher de DeepMind, ont montré de nettes améliorations.

Ces observations ont motivé la rédaction de l’article Chinchilla, intitulé « Training Compute-Optimal Large Language Models », qui a réexaminé la question de l’échelle à partir de zéro grâce à des expériences beaucoup plus importantes : des modèles allant de 70 millions à 17 milliards de paramètres ont été entraînés sur des ensembles de données dépassant un trillion de tokens. En entraînant de nombreuses combinaisons de taille de modèle et de taille de données, les chercheurs ont établi une loi permettant de prédire la perte résultant des deux facteurs en même temps. Grâce à cette loi, il est possible de déterminer l’affectation optimale des ressources pour un budget de calcul donné.

Leur conclusion était que l’entraînement optimal du point de vue informatique devrait faire augmenter la taille du modèle et la taille des données en proportion égale. Selon cette norme, la plupart des LLM existants étaient sous-entraînés par rapport à leur taille ; ils bénéficieraient de bien plus de données. Les lois déduites suggéraient, par exemple, que Gopher aurait dû être entraîné sur un ensemble de données environ 20 fois plus grand. L’article soulignait également que la quantité de données ainsi requise dépassait de loin ce qui était utilisé à l’époque.

Pour tester cette affirmation, l’équipe a entraîné Chinchilla, un modèle de 70 milliards de paramètres entraîné sur 1,4 trillion de tokens. Il utilisait les mêmes données et la même configuration d’évaluation que Gopher, mais il était quatre fois plus petit et entraîné sur bien plus de données, et il a constamment surpassé Gopher.

Les lois de scalage de Chinchilla sont restées la référence pendant de nombreuses années. L’expression « optimal selon Chinchilla » est entrée dans le vocabulaire courant du domaine, et cet article est encore cité fréquemment, bien que de nombreuses recherches sur le scalage aient été publiées depuis.

Il est utile d’être précis quant à la signification de « optimal selon Chinchilla », car ce terme est souvent mal utilisé. Il décrit la meilleure perte possible pour un budget d’entraînement donné, sans rien indiquer sur le coût de l’inférence. Une équipe qui prévoit d’exécuter un modèle des milliards de fois peut choisir délibérément d’entraîner un modèle plus petit, au-delà du ratio de Chinchilla, en acceptant un entraînement moins efficace en échange d’un modèle moins coûteux en production. Ce compromis sera abordé à nouveau plus loin.

Le débat sur l’impasse du scalage après GPT-4o

Alors que les autorisations d’utilisation des modèles et les améliorations visibles ralentissaient durant la seconde moitié de 2024, la question de l’escalade des capacités est devenue un sujet brûlant. Après des années durant lesquelles l’escalade a entraîné presque tous les progrès, une série de rapports suggérait qu’elle pourrait être en train de stagner :

• Reuters a rapporté qu’OpenAI ajustait sa stratégie de produit après avoir atteint un plateau avec les méthodes actuelles.
• The Information a indiqué que le rythme d’amélioration entre les modèles GPT ralentissait.
• Bloomberg a décrit plusieurs laboratoires de pointe ayant du mal à développer des systèmes nettement plus performants.
• TechCrunch a soutenu que l’escalade des capacités apportait des retombées de plus en plus faibles.
• Time a publié un essai plus mesuré sur les différents facteurs à l’origine de l’idée que les progrès ralentissaient.
• Ilya Sutskever, dans son discours de remise du prix du test du temps lors de NeurIPS 2024, a affirmé que le préentraînement tel que nous le connaissons prendrait fin.

D’autres voix influentes étaient en désaccord. Le PDG d’Anthropic, Dario Amodei, a affirmé que l’expansion se poursuivrait probablement, tandis que Sam Altman d’OpenAI a insisté sur l’absence de limite. Plutôt que de choisir un camp, il est plus utile de comprendre ce que la recherche soutient réellement, car les deux parties ont en partie raison.

L’expansion ralentit-elle ? Cela dépend de ce que l’on mesure

Nathan Lambert a bien résumé la situation : l’expansion peut encore fonctionner sur le plan technique, tandis que le rythme d’amélioration perçu par les utilisateurs ralentit. La réponse honnête à la question « L’expansion ralentit-elle ? » dépend de la définition, et tant « oui » que « non » peuvent être défendus. Il est donc plus productif d’examiner plusieurs problématiques distinctes plutôt que de forcer un verdict.

Les retours décroissants font partie intégrante des calculs

Rappelons ce qu’énonce réellement une loi de scalage : une relation de loi des puissances entre les ressources informatiques utilisées pour l’entraînement (ou la taille du modèle ou des données) et la perte lors des tests. Elle ne promet pas d’améliorations exponentielles grâce à des ressources supplémentaires modestes. Sur des axes ordinaires, la courbe ressemble à une décroissance exponentielle, et chaque amélioration supplémentaire coûte plus cher que la précédente.

En d’autres termes, les lois de scalage sont conçues pour s’aplanir. Le ralentissement que l’on observe est, dans une large mesure, exactement ce que les équations prédisent. Si vous planifiez en vous basant sur une loi de scalage, vous devez vous attendre à ce que chaque nouvelle génération nécessite une augmentation multiplicative des ressources pour obtenir une amélioration absolue plus faible.

La perte n’est pas ce qui intéresse vraiment les gens

Il existe également un déséquilibre dans les mesures. Les lois de scalage sont ajustées en fonction de la perte de test lors de l’entraînement préalable, mais il n’est pas clair ce que signifie une perte plus faible en termes de capacités. Cela se traduit-il par une plus grande précision sur des tâches ultérieures ? Cela crée-t-il de nouvelles capacités ? La recherche sur l’over-training indique que les praticiens évaluent généralement les modèles en fonction de leur précision sur des benchmarks ultérieurs, et non en fonction de leur perplexité sur du texte non utilisé pour l’entraînement. Ainsi, il existe un écart entre ces deux approches :

• Les lois de scalage affirment que des entraînements préalables plus longs réduiront progressivement la perte de test.
• Ce que les gens souhaitent, c’est un modèle « meilleur », quelle que soit leur définition de ce terme.

Cette définition varie énormément. Les utilisateurs ordinaires évaluent principalement la qualité des conversations. Les professionnels se soucient de l’exactitude pour les tâches spécifiques qu’ils mettent en œuvre. Les chercheurs des laboratoires de pointe ont souvent des exigences très élevées et très précises, comme la rédaction d’une thèse de doctorat ou la résolution de problèmes mathématiques de niveau de recherche tels que ceux du benchmark FrontierMath. Les LLM étant si vastes, il existe de nombreuses approches valables pour les évaluer, et aucune ne couvre tout.

Compte tenu de cette dispersion, toute affirmation selon que l’échelle est ou non « efficace » sera toujours contestée. Une définition plus claire du succès aide. Si la science prédit des pertes plus faibles pour des modèles plus grands, cela ne signifie pas que chaque nouveau modèle satisfaira tous les publics. Le fait de ne pas atteindre un niveau d’AGI, ou de ne pas surpasser des mathématiciens récompensés, ne montre pas pour autant que l’échelle a cessé de fonctionner au sens technique. Une grande partie de ce ralentissement perçu est probablement dû à des attentes et des perceptions plutôt qu’à un échec des lois fondamentales.

La quantité de données est limitée

Le plus fort argument contre l’augmentation continue de l’échelle du préentraînement concerne les données. Élargir l’échelle du préentraînement exige d’augmenter à la fois le modèle et l’ensemble de données. Les travaux du début des années 2020 suggéraient que les données comptaient moins que les paramètres, mais Chinchilla a montré qu’elles étaient tout aussi importantes. De plus, des recherches ultérieures sur le surentraînement indiquent qu’il est devenu courant d’entraîner des modèles plus petits bien au-delà de la taille optimale d’ensemble de données définie par Chinchilla, précisément parce que les modèles plus gros sont coûteux en temps de prédiction. Cette pratique exige encore plus de données par paramètre.

Tout cela mène à une seule conclusion : une augmentation supplémentaire de l’échelle du préentraînement nécessite des ensembles de données plus importants. Or, la plupart des données actuellement utilisées pour le préentraînement proviennent du crawl du web. Il n’y a qu’un seul Internet, et il est difficile de trouver des sources entièrement nouvelles de textes de haute qualité à cette échelle.

Sutskever a avancé précisément cet argument : les capacités de calcul augmentent rapidement, mais pas les données, car celles-ci dépendent du web scraping. Selon cette perspective, le préentraînement ne peut pas être étendu indéfiniment, et le domaine a besoin de nouvelles voies pour progresser. Il a décrit cette situation en disant que nous avons atteint le « pic des données ».

Manières dont le préentraînement peut encore être étendu

Les retours décroissants sont réels, et l’argument des données est valable. Néanmoins, plusieurs directions de recherche peuvent encore améliorer le préentraînement.

Données synthétiques et utilisation plus intelligente des données

Une augmentation du pré-entraînement de plusieurs ordres de grandeur supplémentaires nécessitera probablement des données synthétiques. On craint à juste titre que l’utilisation excessive de textes générés ne réduise la diversité, mais les données synthétiques sont déjà de plus en plus utilisées pour les LLM, avec des résultats apparemment positifs. Parallèlement, des approches de type curriculum ainsi qu’un pré-entraînement continu ont permis d’obtenir d’excellents résultats en modifiant les données plutôt que le modèle, par exemple en ajustant le mélange des données ou en ajoutant des données de type instruction vers la fin du pré-entraînement.

Législations de scalage pour des métriques compréhensibles

Les lois basées sur la perte sont difficiles à mettre en œuvre, c’est pourquoi des travaux récents s’efforcent d’adapter ces lois à des objectifs plus interprétables. L’étude sur l’over-training mentionnée précédemment vise des lois dont les objectifs sont les scores obtenus dans l’ensemble d’évaluation fourni avec LLM Foundry, plutôt que la perte brute. Cela est bien plus facile à comprendre. Peu de gens savent ce que signifie en pratique une perte de test inférieure de 5 %, mais le fait de passer d’une précision de 85 % à 90 % sur un benchmark qui nous intéresse est immédiatement compréhensible. D’autres recherches ont étendu cette idée pour prédire les performances après l’entraînement et la quantification, ainsi que pour modéliser l’évolution des performances pendant le processus d’entraînement préalable lui-même.

DeepSeek-V3 comme preuve que l’échelle reste un avantage

Malgré le pessimisme, l’optimisation du pré-entraînement produit encore des sauts périodiques. DeepSeek-V3 est un modèle de type mixture-of-experts (MoE) comptant 671 milliards de paramètres, entraîné sur 14,8 téra-tokens et publié avec des poids ouverts. Son rapport technique montre qu’il surpasse GPT-4o et Claude 3.5 Sonnet sur les benchmarks testés. À titre de comparaison, les modèles Llama 3 de Meta ont été entraînés sur plus de 15 téra-tokens.

Surpasser GPT-4o représente une étape importante pour les modèles à poids ouverts, une performance que même les plus grands modèles Llama n’avaient pas atteinte. DeepSeek-V3 combine plusieurs techniques :

• Une architecture MoE optimisée, héritée de DeepSeek-V2.
• Une stratégie de balance de charge pour les experts qui ne repose pas sur une perte auxiliaire.
• Un objectif d’entraînement basé sur la prédiction de plusieurs tokens.
• La distillation de la capacité de raisonnement provenant d’un modèle à longue chaîne de pensée, dans l’esprit de o1 d’OpenAI.

Il passe également par une phase post-entraînement, incluant un affinage supervisé et le RLHF, afin de l’aligner sur les préférences humaines. Le rapport indique que l’entraînement préalable sur 14,8 T de tokens s’est déroulé de manière remarquablement stable, sans pics de perte irréversibles et sans nécessité de réinitialisation.

Néanmoins, la raison principale de sa robustesse réside dans son échelle colossale : un modèle très volumineux entraîné sur un ensemble de données tout aussi important. Les exécutions de cette taille sont difficiles pour de nombreuses raisons, notamment en raison de pannes matérielles et de pics de perte ; par conséquent, un fonctionnement stable à un coût raisonnable selon les normes des LLM est en soi remarquable. Cela suggère que les tâches d’entraînement préalable de très grande envergure deviennent de plus en plus faciles à gérer et plus efficaces avec le temps. Considérez les comparaisons de benchmarks spécifiques comme un instantané, car le classement a évolué depuis lors.

Une autre ordre de grandeur représente un projet d’ingénierie

Tester véritablement davantage les lois de scalabilité signifie entraîner des modèles plusieurs ordres de grandeur au-delà de ceux d’aujourd’hui. Quelle que soit votre opinion sur l’importance de cela, il existe des contraintes pratiques importantes. Cela nécessite :

• Des clusters de calcul plus importants.
• Plus de matériel, et de meilleur matériel.
• Des quantités très importantes d’énergie électrique.
• De nouveaux algorithmes, par exemple pour un entraînement distribué à plus grande échelle, éventuellement sur plusieurs centres de données.

La prochaine génération ne se résume pas à acheter plus de GPU. Il s’agit d’un effort d’ingénierie multidisciplinaire qui prend du temps. À titre de référence, GPT-4 est apparu en mars 2023, près de trois ans après GPT-3. Il est raisonnable d’attendre un intervalle similaire ou plus long pour chaque augmentation de 10 à 100 fois de l’échelle. Ege Erdil d’Epoch AI a bien résumé cette dynamique : chaque augmentation d’un ordre de grandeur exige ses propres innovations.

D’où provient le progrès si le préentraînement stagne : l’apprentissage par renforcement et le calcul en temps de test

Supposons, purement à titre argumentatif, que les gains du préentraînement s’arrêtent demain. La recherche en IA disposerait toujours de beaucoup de marge pour progresser rapidement. Les données synthétiques en sont déjà une voie. Deux autres sont particulièrement actives actuellement :

1. Les systèmes et agents LLM.
2. Les modèles de raisonnement.

Obtenir davantage des modèles existants avec les systèmes LLM

Au-delà du paradigme de l’appel unique

La plupart des applications d’LLM actuelles suivent un modèle à un seul modèle : on envoie la tâche à un modèle et on utilise sa sortie directement comme réponse. Si l’on souhaite que ce système gère des tâches plus difficiles avec plus de précision, la solution évidente est d’utiliser un modèle de base plus performant, mais cela oblige à attendre la prochaine génération. Une alternative consiste à créer un système qui combine plusieurs appels à des LLM, ou d’autres composants, pour résoudre la tâche.

Décomposition et chaînage

L’idée fondamentale d’un système d’LLM est de diviser une tâche complexe en parties plus faciles à gérer pour un modèle ou un autre module. Il existe deux stratégies principales :

1. Décomposition de la tâche : diviser la tâche en sous-tâches, les résoudre indépendamment, puis combiner les résultats en une réponse finale.
2. Chaînage : résoudre une tâche ou une sous-tâche à l’aide d’une séquence d’appels à des LLM plutôt qu’avec un seul appel.

Elles peuvent être utilisées séparément ou ensemble. Prenons un système de résumé de livres. On peut décomposer la tâche en résumant d’abord chaque chapitre. À partir de là, on peut soit :

• Continuer à décomposer, en divisant les chapitres en petits segments de texte, ce qui est l’idée à l’origine du résumé récursif ou hiérarchique.
• Enchaîner des appels, par exemple en faisant en sorte qu’un appel extrait les faits clés d’un chapitre et qu’un second appel rédige le résumé du chapitre à partir de ces faits.

Finalement, un dernier appel résume les résumés de chapitre concaténés en un résumé du livre entier. La plupart des tâches complexes peuvent être décomposées en parties simples de cette manière, ce qui rend les systèmes d’LLM si puissants. À mesure que la décomposition et l’enchâssement deviennent plus complexes, ces systèmes se transforment en logiciels sophistiqués, et leur conception adéquate constitue en soi un domaine important de l’intelligence artificielle appliquée.

Créer des produits que les gens utilisent réellement

Malgré toute l’attention portée aux LLM, le nombre de cas d’usage pratiques et largement adoptés reste faible. Ceux qui sont actuellement les plus importants sont la génération de code et les conversations, deux applications assez évidentes pour cette technologie.

Il existe de nombreux domaines où les LLM pourraient être utiles mais ne le sont pas encore, ce qui fait que créer des produits véritablement utiles grâce aux LLM constitue en soi un important problème de recherche et d’ingénierie. Des modèles performants existent déjà ; transformer ces modèles en outils que les gens souhaitent utiliser est un défi différent, qui revient à développer des systèmes fiables et compétents autour de ces modèles.

Agents : outils et actions

La frontière entre un système LLM et un agent est floue, en partie parce que le terme « agent » est devenu surchargé de sens. Le point important est que les systèmes LLM peuvent être étendus dans de nombreuses directions utiles. Un modèle peut être formé à utiliser des outils, tels qu’une calculatrice ou un moteur de recherche, tout en résolvant un problème. Il peut exécuter le code qu’il a écrit ou effectuer des actions au nom d’un utilisateur, comme réserver un hôtel ou envoyer un e-mail. La variété d’outils et de modules que l’on peut associer à un modèle offre des possibilités presque illimitées pour créer des systèmes plus performants. Si vous souhaitez une illustration concrète de la structure du cycle de l’agent, notre guide sur les objectifs, les outils, la mémoire et le cycle de l’agent en traite en détail.

La robustesse est le véritable goulot d’étranglement

La fiabilité constitue l’un des plus grands obstacles à la création de systèmes plus performants, et l’arithmétique explique pourquoi. Supposons qu’un système effectue dix appels à un LLM, chacun ayant une probabilité de succès de 95 %, et que les dix appels doivent tous réussir pour que le résultat final soit correct. Le système dans son ensemble ne réussit qu’environ 60 % du temps, car 0,95^10 équivaut à peu près à 0,60. Chaque composant semble fiable en soi, mais le processus échoue quatre fois sur dix.

L’ajout de plus d’étapes aggrave la situation de manière multiplicative, ce qui limite la complexité maximale d’un système avant qu’il ne devienne inutilisable. Construire des systèmes plus importants exige donc que chaque composant soit beaucoup plus fiable. Certaines preuves suggèrent que l’échelle elle-même améliore la robustesse. Un autre levier réside dans des algorithmes de méta-génération plus performants. Au lieu de prendre un seul échantillon dans le modèle, ces méthodes utilisent des techniques telles que la décodage parallèle, la vérification au niveau des étapes et les critiques afin d’obtenir une sortie plus affinée et plus précise. Une étude approfondie de ce domaine est présentée dans l’article « From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models ».

Cette branche de recherche progresse rapidement et devrait être un moteur majeur du développement futur. À mesure que la méta-génération s’améliore, les modèles deviennent plus fiables, et des systèmes LLM et d’agents plus complexes deviennent praticables.

Une implication pratique pour quiconque développe de tels systèmes : avant d’ajouter une nouvelle étape à une chaîne de traitement, estimez le taux de réussite global en multipliant les taux par étape, et réfléchissez à savoir si une étape de vérification ou de tentative supplémentaire permettrait d’améliorer le maillon le plus faible à moindre coût que d’ajouter des fonctionnalités ailleurs.

Modèles de raisonnement et un nouvel axe d’échelle

Les premiers modèles LLM étaient souvent considérés comme des outils de correspondance de motifs qui mémorisaient des données sans vraiment pouvoir raisonner. Cette critique a été en grande partie réfutée ces dernières années. L’idée qui émerge est que ces modèles possédaient probablement depuis le début une capacité de raisonnement latente, et que c’est la bonne méthode de prompting ou d’entraînement qui permet de la faire émerger.

Chaîne de pensée

La technique de prompting par chaîne de réflexion (Chain-of-thought ou CoT) a été l’une des premières à démontrer cet effet. Il s’agit purement d’une méthode de prompting : on demande au modèle d’expliquer son raisonnement avant de donner sa réponse finale. Lorsque le modèle expose pas à pas ses raisons avant de répondre, ses performances en termes de raisonnement s’améliorent considérablement. Un avantage supplémentaire est que ces raisonnements sont lisibles par des humains, ce qui facilite l’interprétation des résultats.

L’idée est simple et générale, et elle est devenue essentielle pour améliorer le raisonnement des LLM. Elle a été réutilisée sous de nombreuses formes :

• Les évaluateurs utilisant un LLM en tant que juge rédigent généralement un exposé des critères de notation avant de déterminer leur score final.
• Des méthodes de fine-tuning supervisé et d’instruction-tuning ont été développées pour apprendre aux modèles plus petits ou ouverts à générer de meilleures chaînes de réflexion.

On demande souvent aux modèles de réfléchir à leurs propres résultats, de les critiquer ou de les vérifier, puis de les réviser en fonction de ces retours.

Le raisonnement complexe reste un domaine de recherche en pleine évolution. Les méthodes d’entraînement qui apprennent aux modèles à intégrer une vérification à chaque étape de leur raisonnement ont donné des résultats prometteurs, et de nouveaux progrès sont probables avec l’apparition de stratégies d’entraînement plus efficaces.

o1 : réfléchir avant de répondre

o1 d’OpenAI a représenté une étape majeure dans le raisonnement des LLM, son approche étant basée sur des chaînes de pensée. Tout comme une personne réfléchit avant de répondre à une question difficile, o1 prend du temps pour « réfléchir » avant de répondre. Concrètement, ses pensées se manifestent sous forme de longues chaînes de réflexion au cours desquelles le modèle analyse le problème, le divise en étapes plus simples, essaie différentes approches et corrige ses propres erreurs. OpenAI le décrit comme un modèle entraîné par apprentissage par renforcement pour raisonner, capable de générer une longue chaîne interne de pensée avant de répondre.

La méthode exacte d’entraînement n’a pas été rendue publique. OpenAI a indiqué que o1 apprend à raisonner grâce à un algorithme de « apprentissage par renforcement à grande échelle » qui est « très efficace en termes de données » et visé à améliorer la capacité du modèle à produire des séquences de réflexion utiles. Les commentaires publics des chercheurs d’OpenAI suggèrent que le modèle est entraîné uniquement par apprentissage par renforcement, ce qui contredit les spéculations précédentes selon lesquelles o1 effectuerait une sorte de recherche arborescente au moment de l’inférence.

Sur les tâches nécessitant beaucoup de raisonnement, o1 surpasse GPT-4o dans presque tous les cas. Parmi les résultats rapportés par OpenAI, le modèle :

• Obtient un score dans le 89e percentile pour les problèmes de programmation compétitive de Codeforces.
• Performe au niveau des 500 meilleurs étudiants américains au AIME, un examen de qualification pour l’Olympiade mathématique des États-Unis.
• Il dépasse la précision des experts humains de niveau PhD en physique, biologie et chimie au niveau universitaire, selon les évaluations du benchmark GPQA.

De o1 à o3 : mise à l’échelle du calcul de l’entraînement et de l’inférence

L’une des propriétés les plus intéressantes d’o1 est qu’on peut améliorer ses capacités de raisonnement en augmentant les ressources allouées à l’inférence. Pour résoudre des problèmes plus difficiles, le modèle génère simplement des chaînes de pensée plus longues, et l’allocation de plus de ressources en temps d’inférence à ces chaînes permet une amélioration progressive des performances de raisonnement. Selon OpenAI, o1 continue de s’améliorer grâce à deux paramètres distincts : la quantité d’apprentissage par renforcement appliquée pendant l’entraînement (calcul en temps d’entraînement) et la durée de réflexion autorisée par question (calcul en temps de test).

Il en va de même pour l’entraînement : o1 s’améliore progressivement à mesure que davantage de ressources informatiques sont consacrées à l’apprentissage par renforcement. C’est apparemment la voie qui a mené à o3. OpenAI a présenté les résultats d’évaluation d’o3 à la fin de 2024 et n’a partagé que peu de détails, mais étant donné qu’il est apparu seulement environ trois mois après o1, il s’agit très probablement d’une version améliorée d’o1 avec davantage de ressources investies dans l’apprentissage par renforcement.

Lors de cette présentation préliminaire, o3 n’avait pas encore été publié, et les chiffres présentés étaient impressionnants :

• 87,5 % sur le benchmark ARC-AGI, contre seulement 5 % pour GPT-4o. Cela a fait d’o3 le premier modèle à dépasser le seuil de 85 % correspondant au niveau humain sur ARC-AGI, un benchmark considéré comme une « étoile polaire » pour l’AGI qui restait invaincu depuis plus de cinq ans. Ce score élevé a été obtenu grâce à une configuration utilisant de nombreuses ressources informatiques.
• 71,7 % sur le benchmark SWE-Bench Verified, ainsi qu’un classement Elo sur Codeforces de 2727, ce qui le placerait parmi les 200 meilleurs programmeurs compétitifs au monde.
• 25,2 % sur le benchmark FrontierMath d’Epoch AI, ce qui représente une amélioration par rapport à un niveau de pointe précédent de 2,0 %. Terence Tao a décrit ce benchmark comme extrêmement difficile et estimait qu’il résisterait aux systèmes d’IA pendant au moins plusieurs années.

Une version simplifiée, o3-mini, a été présentée en même temps et a montré de bons résultats avec une efficacité informatique bien supérieure. Il s’agissait de chiffres préliminaires issus d’une seule annonce ; consultez la documentation actuelle et des évaluations indépendantes pour connaître la performance des modèles finaux.

Pourquoi c’est un nouveau paradigme d’échelle

Si les graphiques o1 et o3 vous semblent familiers maintenant, c’est parce qu’il s’agit du même type de diagramme dont traite tout cet article : une échelle logarithmique sur l’axe des abscisses et une augmentation progressive et linéaire des performances. En d’autres termes, ces modèles de raisonnement montrent une relation claire de loi de puissance entre les performances et deux quantités :

• Le temps de calcul consacré à l’apprentissage par renforcement pendant l’entraînement.
• Le temps de calcul consacré à la réflexion pendant l’inférence.

Cela diffère des lois de scalage classiques. Au lieu de scaler l’entraînement préalable, on scale le calcul consacré à l’entraînement postérieur et à l’inférence. Il s’agit d’un axe de scalage véritablement nouveau, et les résultats obtenus à ce jour sont convaincants. Ils montrent qu’il existe des moyens de poursuivre le scaling au-delà de l’entraînement préalable, et que le domaine a trouvé sa prochaine étape à gravir. La forme peut varier, mais le scaling reste ce qui motive les progrès.

Une conséquence technique mérite d’être mentionnée clairement. Lorsque la qualité dépend de la puissance de calcul nécessaire pour l’inférence, le coût et le temps de réponse par requête deviennent des paramètres de qualité ajustables plutôt que des propriétés fixes d’un modèle. Cela modifie la manière dont on établit le budget et conçoit les applications : les requêtes plus complexes peuvent être orientées vers un raisonnement plus long, tandis que celles qui sont plus simples restent peu coûteuses.

À retenir en lisant un graphique de scalabilité

• Une loi de scalabilité est une loi de puissance entre une ressource (paramètres, données ou calcul) et la perte de performance lors des tests. La ligne droite sur un graphique en log-log masque des retours sur investissement de plus en plus faibles, de sorte que chaque amélioration coûte de plus en plus cher de manière multiplicative.
• Ces lois ne s’appliquent que lorsque les autres facteurs ne constituent pas le goulot d’étranglement, c’est pourquoi les données, les paramètres et le calcul doivent croître ensemble.

Chinchilla a inversé les conseils précédents : avec un budget d’entraînement fixe, la taille du modèle et les données devraient augmenter en proportion, et de nombreux modèles anciens étaient gravement sous-entraînés. Les coûts de mise en service poussent souvent les équipes à entraîner des modèles plus petits sur encore plus de données.

L’utilisation pratique principale des lois de mise à l’échelle est la réduction des risques : on les applique à des exécutions peu coûteuses pour prédire les résultats coûteux, comme l’a fait le rapport sur GPT-4 pour la perte et le taux de réussite sur HumanEval.

Le ralentissement perçu résulte de trois facteurs : les retours décroissants prédits par les mathématiques, un écart entre la perte mesurée et ce que valorisent les utilisateurs, ainsi que le long délai nécessaire pour concevoir un modèle d’un ordre de grandeur supérieur. L’approvisionnement limité en données web constitue la contrainte la plus sérieuse pour l’entraînement préalable.

Les progrès ne dépendent pas uniquement du préentraînement. Les systèmes LLM bien conçus ont avant tout besoin de robustesse, car les taux d’erreur à chaque étape s’accumulent, et les modèles de raisonnement montrent que l’apprentissage par renforcement pendant l’entraînement et la réflexion en temps de déduction suivent leurs propres courbes d’échelle.

La question pertinente n’est plus de savoir si l’échelle continue d’augmenter, mais quelles ressources sont échelonnées et si les gains se reflètent dans la métrique qui vous intéresse réellement.