Explication de la profondeur récurrente : les transformateurs en boucle et le raisonnement caché
Comment les transformateurs à profondeur récurrente (en boucle) raisonnent à partir de l’état caché, pourquoi les laboratoires les souhaitent, ce que huit ans de publications montrent, et quelles en sont les implications pour l’IA locale et la supervision.
La plupart des modèles de raisonnement actuels ne peuvent faire avancer une pensée séquentielle que en l’inscrivant sous forme de tokens, c’est pourquoi les transcriptions par chaîne de pensée sont devenues l’outil principal pour suivre ce que fait un modèle. Des changements de profondeur récurrents se produisent : le modèle exécute à nouveau une partie de sa propre pile de couches sur son état caché avant d’émettre quoi que ce soit, si bien que une partie de la « réflexion » ne devient jamais de texte. Cet article explique comment fonctionne ce mécanisme, pourquoi il est si avantageux sur le plan économique, quels travaux de recherche publiés l’ont déjà démontré, et quelles en seront probablement les conséquences pour les modèles ouverts exécutés sur votre propre matériel ainsi que pour tous ceux qui comptent sur la lecture des raisonnements d’un modèle.
Un schéma familier : mécanisme caché, reproduction ouverte
L’histoire des modèles de raisonnement s’est déjà déroulée une fois. Lorsque OpenAI a lancé o1 en 2024, le modèle réfléchissait avant de répondre, mais son raisonnement était caché et tronqué, et l’entreprise a déclaré ouvertement que ce camouflage était intentionnel. De nombreux observateurs pensaient que la technique sous-jacente resterait propriétaire pendant des années. Or, un peu plus d’un an plus tard, DeepSeek a publié R1 avec des poids ouverts et des traces de raisonnement visibles, et la communauté open source a rapidement reproduit cette approche une fois que les méthodes en étaient devenues publiques.
Le schéma récurrent est simple : un laboratoire fermé met au point une fonctionnalité, garde son mécanisme opaque, tandis que la recherche ouverte le reproduit ensuite et le rend librement accessible. Le cas de DeepSeek suit le même schéma, avec une différence importante : des implémentations ouvertes dotées de poids publiés existent déjà avant même que la version fermée ne soit confirmée.
Qu’est-ce qui est confirmé à propos d’Astra, et qu’est-ce qui ne l’est pas
OpenAI a lancé Astra le 2 septembre 2026. Il est essentiel de séparer les affirmations, car c’est précisément la partie non officielle qui est intéressante.
Confirmé par OpenAI
- Astra est le premier modèle que l’entreprise a classé comme « Critical » en matière de cybersécurité.
- Il a obtenu 100 % de points sur ExploitBench, un test dans lequel les modèles identifient et exploitent des vulnérabilités logicielles réelles.
- Il est livré avec des outils de suivi du raisonnement qui observent son processus de réflexion écrit.
Rapporté mais non confirmé
Le 1er septembre, The Information a rapporté qu’Astra utilise une structure récurrente en profondeur, ce qui signifie des boucles de raisonnement internes. OpenAI n’a ni confirmé ni nié cela. Il s’agit du récit le plus crédible disponible, issu de sources fiables plutôt que de rumeurs, mais vous ne devriez pas le présenter comme un fait établi.
Prétendu mais non vérifiable
Le scientifique en chef Jakub Pachocki a déclaré publiquement que la profondeur du graphe de calcul d’Astra était « deux fois inférieure ou supérieure à celle de GPT-4 ». Si cela est exact, cela signifierait que les boucles sont délibérément peu profondes et que le raisonnement du modèle est seulement légèrement plus opaque qu’un modèle conventionnel à une seule passe. La valeur réelle n’a pas été publiée, ce qui empêche les tiers de vérifier cette estimation ; il faut donc la prendre à crédit.
Pure spéculation
Les hypothèses selon lesquelles Astra serait en réalité le prétendu « GPT-6 » ne sont pas étayées. Personne en dehors de l’entreprise n’en a connaissance.
Pourquoi la question sur le suivi est si pertinente
En juillet 2025, quarante et un chercheurs d’OpenAI, DeepMind, Anthropic et de l’UK AI Security Institute ont co-signé un document de position sur la surveillance du processus de raisonnement. Ce dernier mettait en garde spécifiquement contre le fait que les architectures de raisonnement latent, qui fonctionnent à l’aide de vecteurs plutôt que de mots, pourraient fermer la fenêtre de surveillance sur laquelle repose une grande partie des pratiques actuelles en matière de sécurité. Pachocki faisait partie des signataires. Si les informations sont exactes, un laboratoire a désormais mis en service le type d’architecture que son propre chef de recherche avait identifié comme un risque pour la surveillance. Pour une vue d’ensemble comparative entre Astra et d’autres agents de pointe, consultez notre comparaison d’Astra, Flash, Fable et Mythos.
Fonctionnement de la profondeur récurrente
Un transformateur standard fait passer chaque token à travers sa pile de couches exactement une fois. Si le modèle a besoin de davantage de calculs séquentiels pour résoudre un problème, le seul moyen dont il dispose est de générer plus de tokens : chaque étape de raisonnement visible correspond à une nouvelle passe en avant, et chacune de ces étapes est un texte lisible.
Un modèle récurrent à profondeur multiple divise la pile en trois parties. Un prélude incorpore l’entrée dans un état latent, un bloc central est appliqué répétitivement à cet état, et une conclusion transforme l’état final en sortie. Le diagramme ci-dessous compare les deux structures ; on remarque que le bloc central en boucle réutilise les mêmes poids à chaque passe et que toutes les répétitions s’achèvent avant même qu’un mot ne soit généré.
Standard: token → L1 → L2 → ... → L96 → out
(one pass; "extra thinking" = more visible words)
Astra: token → PRELUDE → [ CORE × R ] → CODA → out
↑
the same block of layers, re-run on the
model's own hidden state, R times -
before a single word is written
Écrit sous forme de formule, une itération se déroule selon h_next = f(h_current), où f désigne à chaque fois le même ensemble de couches partagées. Les étapes deux à R n’introduisent aucun nouveau paramètre ; elles appliquent simplement à nouveau les mêmes poids à un état qui continue d’évoluer. Un modèle mental utile est celui d’un brouillon révisé plusieurs fois en privé, seule la version finale étant finalement soumise.
La conséquence cruciale est la suivante : toutes les itérations après la première ont lieu entièrement dans l’espace vectoriel, et les vecteurs ne laissent aucune trace écrite. Rien de ces étapes intermédiaires n’est enregistré à un endroit accessible par un moniteur.
Le compteur de boucles R est également une configuration en temps de exécution et non un modèle différent. Le même point de contrôle peut être utilisé avec R=1 pour une version économique et R=20 pour une version premium. De l’extérieur, on ne voit qu’une question et une réponse ; le nombre de passes internes qui ont eu lieu entre-temps reste invisible à moins que le fournisseur ne vous l’indique.
Pourquoi les laboratoires le souhaitent : le coût de la réflexion à voix haute
Mettez de côté la question de la sécurité un instant, car les arguments économiques sont déjà suffisamment convaincants.
Le raisonnement par chaîne de pensée fonctionne comme un télégraphe qui facture au mot. Chaque token de raisonnement est généré séquentiellement, chaque token ultérieur tient compte du précédent, et il occupe de l’espace dans le cache KV pour le reste de la requête. Les fournisseurs finissent par facturer les clients, au prix du token, pour le travail interne effectué par le modèle.
Les boucles latentes permettent des calculs séquentiels sans émettre de tokens supplémentaires. Il n’y a pas de coût de génération par pensée, aucune augmentation de la longueur du contexte et aucune pression supplémentaire sur la mémoire cache. À l’échelle de milliards de requêtes de raisonnement par jour, intégrer le raisonnement en interne relève autant d’une décision stratégique que d’une décision architecturale. Cela s’intègre également parfaitement à un système de tarification par niveaux : le même point de contrôle, appliqué plus souvent, permet de répondre à des questions plus difficiles à un prix plus élevé, et l’étiquette « thinking » couvre la différence.
Deux façons d’acquérir des capacités : largeur ou profondeur
Si vous exécutez les inférences localement, le compromis est différent. Il existe désormais deux stratégies distinctes qui consomment des ressources différentes.
La méthode adoptée par la plupart des modèles les plus ouverts consiste à utiliser une approche large basée sur le mélange d’experts. Par exemple, Flash-Next de Qwen met à disposition 512 experts et n’en active que约2 % par token. Il s’agit d’un calcul en parallèle limité par la mémoire ; sur un MacBook de 64 GB, on rapporte qu’il peut traiter environ 30 tokens par seconde.
Utiliser beaucoup de mémoire entraîne des coûts élevés, et la mémoire est devenue un composant rare et cher. Au moment où cet article est écrit, les prix rapportés pour un kit DDR5 de 64 Go sont passés d’une moyenne d’environ 191 dollars en août 2025 à environ 1 118 dollars un an plus tard, ce qui représente une augmentation d’environ 485 %, soit un taux plus élevé que celui de la plupart des autres composants informatiques, y compris les GPU. La cause en est l’infrastructure d’intelligence artificielle : les fabricants de mémoire orientent leur production vers des mémoires à large bande passante destinées aux accélérateurs de data centers, les géants du cloud réservent leur capacité bien à l’avance, et cette pénurie devrait se poursuivre jusqu’en 2027. Considérez ces chiffres comme un aperçu et consultez les données du marché actuel avant de vous y fier.
La profondeur récurrente va plutôt profond : les mêmes couches sont exécutées R fois. Cela consomme du temps. Sur du matériel local, chaque boucle supplémentaire réduit la vitesse de décodage ; à R=4, un modèle qui décodait à 30 tokens par seconde tomberait autour de 7. Un modèle en boucle sur un ordinateur portable ne présente pas d’échec visible, il ralentit simplement à mesure que la profondeur augmente.
Cela explique son attrait. Les boucles tirent davantage de calculs de chaque octet de poids qui doit être chargé en mémoire, et la bande passante mémoire est la ressource limitée. Les unités arithmétiques qui exécutent les passes supplémentaires restent souvent inactives entre les chargements en mémoire. Les modèles larges consomment la ressource pour laquelle tout le monde se bat ; les modèles profonds consomment une ressource que les clients des data centers ne voient jamais détaillée. Sur votre propre machine, cependant, vous le voyez directement sous forme d’un nombre de tokens par seconde plus bas.
La trajectoire de la recherche : huit ans d’articles ouverts
Aucune des idées fondamentales n’est secrète. Le mécanisme de base figure dans la littérature scientifique depuis 2018, et la lecture de ces articles vous permettra de comprendre les modèles en boucle mieux que n’importe quel communiqué de presse.
Profondeur avec partage des poids (2018–2019)
- Universal Transformer (Dehghani et al., 2018). La boucle originale : application répétée des mêmes couches avec des paramètres partagés. Il a surpassé les transformers de même taille sur GLUE tout en utilisant environ un quart des FLOPs, et il a été largement cité, mais personne ne l’a déployé à grande échelle.
- ALBERT (2019). Utilise le partage de couches comme technique de compression, montrant que réutiliser la profondeur est moins coûteux que d’ajouter des couches uniques supplémentaires.
Raisonnement dans l’espace latent (2024–2025)
- Coconut (Meta, décembre 2024). Son titre, « Training LLMs to reason in a continuous latent space », décrit l’idée : le raisonnement intermédiaire reste dans des vecteurs cachés, et seule la conclusion est transformée en texte. Pour les tâches de planification, il a surpassé la méthode chain-of-thought tout en générant moins d’étapes visibles, ce qui remet en question l’hypothèse selon laquelle un raisonnement plus écrit signifie un meilleur raisonnement.
- Huginn (Geiping et al., février 2025), « Scaling up Test-Time Compute with Latent Reasoning ». Un modèle de 3,5 milliards de paramètres entraîné sur 800 milliards de tokens. En gardant les poids et les données inchangés et en modifiant uniquement le nombre de boucles de r=1 à r=32, ARC-E est passé de 34,9 à 69,9, avec des améliorations du raisonnement équivalentes à celles d’un modèle de 50 milliards de paramètres pour un budget de calcul identique.
Poids ouverts et échelle (2025–2026)
- Ouro / LoopLM (ByteDance, octobre 2025). C’est l’entrée la plus pertinente sur le plan pratique, car les poids sont publiés sur Hugging Face. Cette famille comprend des modèles en boucle de 1,4 milliard et 2,6 milliards de paramètres, entraînés sur 7,7 billions de tokens, et qui, selon les études, égalent en performance des modèles de pointe comptant jusqu’à 12 milliards de paramètres. Des expériences contrôlées ont attribué ces améliorations à une manipulation plus efficace des connaissances plutôt qu’à une capacité accrue de stockage : ces boucles ne stockent pas plus de faits, mais en font un meilleur usage. L’équipe a également constaté que les traces de raisonnement de LoopLM correspondaient plus étroitement à ses réponses finales que celles générées par la méthode chain-of-thought.
Ensemble, le mécanisme, les preuves issues des benchmarks, une méthode de mise à l’échelle et un outil de mesure sont tous publics depuis quelque temps. Ce qui est nouveau, c’est leur déploiement concret, et non l’idée elle-même.
Ce que cela signifie probablement pour les modèles ouverts et l’inférence locale
Ce qui suit sont des prévisions, pas des faits, mais chacune découle de la recherche mentionnée ci-dessus.
Une version ouverte en boucle est probablement proche
La méthode de mise à l’échelle qui fonctionne est la structure en boucle de type mixture-of-experts, et les principales familles de modèles ouverts, telles que Qwen et DeepSeek, sont déjà des architectures de ce type. Ajouter un noyau récurrent à un modèle MoE existant représente un changement progressif plutôt qu’une refonte complète ; il est donc raisonnable d’attendre une version ouverte dotée d’un noyau récurrent au cours d’une ou deux générations de modèles, probablement commercialisée sous l’angle d’une capacité de réflexion plus longue plutôt que d’une taille plus importante.
Fichiers plus petits pour les mêmes capacités
L’inférence locale a été dominée par la taille des fichiers : fichiers de poids énormes, limites de mémoire et transfert manuel des couches spécialisées rien que pour faire tenir un modèle. Si un modèle de 1,4 milliard de paramètres peut véritablement concurrencer des modèles denses de 12 milliards, cela revient à remplacer un téléchargement de 24 Go par un de seulement 3 Go. Un tel modèle peut être affiné à l’aide de LoRA sur du matériel grand public, libérant ainsi plus de mémoire pour des contextes plus longs. La capacité par octet pencherait en faveur de ceux qui disposent d’une seule carte graphique ou d’un ordinateur portable. Si vous comparez les modèles locaux aux API hébergées pour des raisons de résilience, notre article sur le risque de dépendance lié à l’accès à l’IA aborde ce compromis plus en détail.
Le matériel d’edge convient bien aux modèles en boucle
Les boucles consomment des ressources de calcul plutôt que la bande passante mémoire, et des appareils tels que les machines Apple Silicon disposent de suffisantes ressources de calcul par rapport à leur bande passante. Ce rapport était inadapté à la dernière génération de charges de travail d’inférence, mais parfait pour celle-ci. Les modèles en boucle sont également favorables à l’optimisation du noyau : moins d’opérations distinctes, et des poids qui restent en mémoire cache à chaque itération. L’élément manquant, c’est le logiciel. Des environnements d’exécution tels que llama.cpp et MLX nécessiteront un soutien explicite pour la profondeur récurrente et une sortie précoce adaptative avant que les utilisateurs locaux ne puissent en tirer profit.
La profondeur pourrait devenir une option accessible aux utilisateurs
Avec la récursivité par token, un petit modèle peut utiliser les ressources d’un grand modèle uniquement là où cela est nécessaire : rapidement pour du texte courant, de manière approfondie pour des étapes complexes. Tout comme vous ajustez aujourd’hui la température de sampling (voir notre guide sur la température, top-k et top-p), vous pourriez finir par choisir un budget de profondeur par requête. Les résultats liés à l’appel d’outils indiquent la même chose : les agents qui planifient, appellent des outils et suivent l’état tirent le plus parti d’une profondeur supplémentaire, ce qui est précisément ce dont a besoin un assistant de codage local.
Les modèles ouverts pourraient inverser l’équilibre entre transparence et performance
Outil de profondeur séquentielle opaque : il est public. Un fournisseur fermé peut intégrer des boucles avec une valeur R non divulguée, mais quiconque dispose de poids ouverts peut mesurer directement la profondeur de raisonnement cachée d’un modèle. L’adoption ouverte n’a donc pas besoin de reproduire le problème de l’opacité ; le chiffre que les laboratoires fermés gardent secret peut devenir une propriété mesurable et publiée d’un modèle ouvert. Les conclusions d’Ouro mettent également en garde contre l’idée que le raisonnement latent serait intrinsèquement moins fiable : ses traces suivent les réponses finales avec plus de fidélité que la méthode classique basée sur une chaîne de pensées.
La vraie question ouverte n’est pas de savoir si les modèles ouverts adopteront des boucles, puisque les poids d’Ouro et de Huginn sont déjà disponibles. Il s’agit plutôt de savoir si la communauté associera ces boucles à la seule pratique que les laboratoires fermés ont refusé d’adopter : la publication du nombre de boucles.
Lorsque la profondeur récurrente n’est pas l’outil adapté
- Si vous avez besoin d’un raisonnement auditable, par exemple dans des workflows réglementés, une chaîne de réflexion visible reste plus facile à examiner que tout processus latent.
- Si la latence est plus importante que la précision sur un appareil local, chaque boucle supplémentaire réduit directement le débit de traitement.
- Si votre temps d’exécution des inférences ne prend pas en charge des cœurs récurrents ou une sortie adaptative, vous ne constaterez pas encore d’améliorations en termes d’efficacité.
Conclusion
Pendant près d’une décennie de développement des modèles de langage, le raisonnement supplémentaire devait être exprimé en texte, ce qui entraînait une surveillance accrue de ce texte. La profondeur récurrente élimine ce lien : un modèle peut effectuer des calculs séquentiels significatifs sans produire de mot. La fenêtre de surveillance existe toujours, mais elle n’affiche plus nécessairement tout.
Le bilan de la recherche est rassurant sur un point : les techniques sous-jacentes aux modèles en boucle, ainsi que les poids ouverts et un outil pour mesurer la profondeur cachée, sont déjà accessibles au public. Les laboratoires fermés peuvent prendre l’initiative en premier, mais l’écosystème ouvert peut établir la norme.
- La profondeur récurrente réutilise un bloc de couches essentiel R fois sur l’état caché, ce qui permet des calculs en série sans ajout de tokens ou de paramètres supplémentaires.
- Elle échange de la mémoire contre du temps, ce qui la rend attractive pour les data centers ainsi que pour les équipements locaux à forte capacité de calcul mais à bande passante limitée.
- Universal Transformers, Coconut, Huginn, Mixture-of-Recursions, Ouro et les modèles MoE en boucle décrivent ensemble le mécanisme ainsi que sa scalabilité.
- Les rapports indiquant qu’Astra l’utilise restent non confirmés ; considérez le nombre de boucles comme une question à poser à tout fournisseur.