Erklärung zur rekurrenten Tiefe: Schleifenbasierte Transformer und verstecktes Reasoning
Wie rekurrent-tiefe (geschlossene) Transformer im versteckten Zustand reasoning betreiben, warum die Labore sie wollen, was acht Jahre an wissenschaftlichen Arbeiten zeigen und was dies für lokale KI-Systeme sowie die Überwachung bedeutet.
Die meisten heutigen Reasoning-Modelle können einen sequenziellen Gedanken nur weiterverarbeiten, indem sie ihn als Tokens aufzeichnen – deshalb wurden Chain-of-Thought-Transkripte zum wichtigsten Mittel, um zu überwachen, was ein Modell tut. Es kommt zu wiederholten Tiefeveränderungen: Das Modell führt einen Teil seiner eigenen Schichtstapel auf seinem versteckten Zustand aus, bevor es etwas aussendet, wodurch ein Teil des „Denkens“ niemals in Text umgewandelt wird. Dieser Artikel erklärt, wie dieser Mechanismus funktioniert, warum er wirtschaftlich so attraktiv ist, welche veröffentlichten Forschungen ihn bereits belegen und was er voraussichtlich für offene Modelle bedeuten wird, die auf eigener Hardware laufen, sowie für alle, die sich auf das Lesen der Argumentation eines Modells verlassen.
Ein bekanntes Muster: verborgener Mechanismus, offene Reproduzierbarkeit
Die Geschichte mit dem Reasoning-Modell hat sich bereits einmal abgespielt. Als OpenAI 2024 o1 veröffentlichte, überlegte das Modell vor dem Beantworten, doch seine Überlegungsprozesse blieben verborgen und unvollständig, wobei das Unternehmen offen zugab, dass diese Verschleierung beabsichtigt war. Viele Beobachter gingen davon aus, dass die zugrundeliegende Technik noch jahrelang proprietär bleiben würde. Stattdessen veröffentlichte DeepSeek etwas mehr als ein Jahr später R1 mit offenen Gewichten sowie sichtbaren Überlegungsspuren, und die Open-Community konnte den Ansatz schnell nachahmen, sobald das Verfahren öffentlich zugänglich war.
Das wiederkehrende Muster ist einfach: Ein geschlossenes Labor bringt eine Fähigkeit auf den Markt, hält das zugrundeliegende Verfahren geheim, und offene Forschungsgruppen reproduzieren es später und stellen es frei zur Verfügung. Die wiederkehrende Entwicklung zeigt dasselbe Muster – mit einem wichtigen Unterschied: Offene Implementierungen mit veröffentlichten Gewichten existieren bereits, bevor die geschlossene Version überhaupt bestätigt wurde.
Was über Astra bestätigt ist und was nicht
OpenAI hat Astra am 2. September 2026 veröffentlicht. Es ist hier wichtig, die Aussagen in getrennten Kategorien zu betrachten, denn der interessante Teil sind genau diejenigen, die nicht offiziell sind.
Von OpenAI bestätigt
- Astra ist das erste Modell, das von dem Unternehmen hinsichtlich der Cybersicherheit als „Kritisch“ eingestuft wurde.
- Es erzielte 100 % bei ExploitBench, einem Benchmark, bei dem Modelle echte Softwareschwachstellen finden und ausnutzen müssen.
- Es wurde mit Thought-Chain-Überwachungsfunktionen ausgeliefert, die seine schriftlichen Schlussfolgerungen überwachen.
Berichtet, aber nicht bestätigt
Am 1. September berichtete The Information, dass Astra rekursive Strukturen verwendet, d.h. interne Schlussfolgerungszyklen. OpenAI hat dies weder bestätigt noch dementiert. Es handelt sich um die glaubwürdigste verfügbare Darstellung, die auf recherchierten Berichten beruht und nicht auf Gerüchten, doch man sollte sie nicht als gesicherte Tatsache weitergeben.
Behauptet, aber nicht überprüfbar
Der leitende Wissenschaftler Jakub Pachocki erklärte öffentlich, dass die Tiefe von Astras Rechengraph „im Faktor zwei innerhalb der von GPT-4“ liege. Sollte das zutreffen, würde das bedeuten, dass die Schleifen absichtlich flach gestaltet sind und das Denkvermögen des Modells nur geringfügig undurchsichtiger ist als das eines herkömmlichen Ein-Pass-Modells. Die genaue Zahl wurde nicht veröffentlicht, sodass Dritte diese Angabe nicht überprüfen können; man muss ihr daher Glauben schenken.
Einfache Spekulationen
Annahmen, dass Astra in Wirklichkeit das gerüchtete „GPT-6“ sei, finden keine Bestätigung. Niemand außerhalb des Unternehmens kennt die Wahrheit.
Warum die Frage zur Überwachung so relevant ist
unsere Vergleichsstudie zu Astra, Flash, Fable und Mythos.
Wie rekurrentes Depth-Working funktioniert
Ein Standard-Transformer leitet jeden Token genau einmal durch seinen Stapel aus Schichten. Wenn das Modell mehr serielle Berechnungen benötigt, um ein Problem zu lösen, besteht seine einzige Möglichkeit darin, mehr Token zu erzeugen: Jeder sichtbare Schlussfolgerungsschritt ist eine weitere Vorwärtsverarbeitungsrunde, und jeder Schritt besteht aus lesbarem Text.
Ein rekurrentes Tiefenmodell teilt den Stapel in drei Teile auf. Ein Vorspann integriert die Eingabe in einen latenten Zustand, ein Kernblock wird wiederholt auf diesen Zustand angewendet, und ein Abspann wandelt den endgültigen Zustand in eine Ausgabe um. Das Diagramm unten zeigt den Unterschied zwischen diesen beiden Strukturen; beachten Sie, dass der geschlossene Kern bei jeder Runde dieselben Gewichte wiederverwendet und dass alle Wiederholungen vor der Erzeugung eines Wortes abgeschlossen sind.
Standard: token → L1 → L2 → ... → L96 → out
(one pass; "extra thinking" = more visible words)
Astra: token → PRELUDE → [ CORE × R ] → CODA → out
↑
the same block of layers, re-run on the
model's own hidden state, R times -
before a single word is written
Als Formel ausgedrückt ist eine Iteration h_next = f(h_current); dabei steht f jedes Mal für dieselbe gemeinsame Schichtgruppe. Die Durchläufe zwei bis R führen keine neuen Parameter ein; sie wenden einfach wieder dieselben Gewichte auf einen stetig sich verändernden Zustand an. Ein nützliches mentales Modell ist ein Entwurf, der mehrfach im Verborgenen überarbeitet wird, wobei nur die endgültige Version eingereicht wird.
Die entscheidende Folge ist folgende: Jede Iteration nach der ersten findet ausschließlich im Vektorraum statt, und Vektoren hinterlassen keine Aufzeichnung. Über diese Zwischenschritte wird an keinem Ort etwas festgehalten, was ein Monitor lesen könnte.
Zahl der Schleifen R ist ebenfalls eine Einstellung während des Laufs und kein anderer Modelltyp. Derselbe Checkpoint kann mit R=1 in einer günstigen Variante und mit R=20 in einer Premium-Variante ausgeführt werden. Von außen sind nur eine Anfrage und eine Antwort sichtbar; wie viele interne Durchläufe dazwischen stattgefunden haben, bleibt unsichtbar, es sei denn, der Anbieter teilt es mit.
Warum Labore dies wollen: die Kosten des lauten Denkens
Lassen Sie die Sicherheitsaspekte vorerst beiseite, denn allein schon die wirtschaftlichen Gründe sind überzeugend.
Das Chain-of-Thought-Verfahren funktioniert wie ein Telegraf, der nach Worten abrechnet. Jedes Denk-Token wird nacheinander erzeugt, jedes folgende Token berücksichtigt es, und es nimmt den gesamten Rest der Anfrage über Platz im KV-Cache ein. Die Anbieter rechnen den Kunden schließlich zu den Preisen pro Token für die eigenen internen Berechnungen des Modells.
Latente Schleifen ermöglichen serielle Berechnungen, ohne zusätzliche Token auszusenden. Es entstehen keine Kosten pro Gedanke, kein Anstieg der Kontextlänge und kein zusätzlicher Cache-Druck. Bei einer Zahl von Milliarden Überlegungsanfragen pro Tag ist die Internalisierung der Überlegungen genauso sehr eine Entscheidung hinsichtlich der Margen wie eine architektonische Entscheidung. Zudem passt sie gut zu einer gestuften Preisstruktur: Derselbe Checkpoint, der mehrfach wiederholt wird, beantwortet schwierigere Fragen zu einem höheren Preis, und die Bezeichnung „Überlegung“ deckt den Unterschied ab.
Zwei Möglichkeiten, Kapazitäten zu erwerben: breit oder tief
Falls Sie die Inferenz lokal ausführen, sieht das Abwägen anders aus. Es gibt nun zwei unterschiedliche Strategien, die unterschiedliche Ressourcen verbrauchen.
Der von den offensten Modellen verfolgte Ansatz besteht darin, mit dem Mixture-of-Experts-Verfahren breit vorzugehen. Qwens Flash-Next beispielsweise hält 512 Experten bereit und aktiviert pro Token nur etwa 2 % davon. Dabei handelt es sich um parallele, memoriel limitierte Berechnungen; auf einem 64GB MacBook wird berichtet, dass damit etwa 30 Tokens pro Sekunde verarbeitet werden können.
Der Einsatz von viel Speicher kostet Memory, und Memory ist zu einem knappen sowie teuren Bauteil geworden. Zum Zeitpunkt der Erstellung dieses Textes lagen die gemeldeten Preise für ein 64GB DDR5-Set bei durchschnittlich etwa 191 US-Dollar im August 2025 und stiegen ein Jahr später auf etwa 1.118 US-Dollar – das entspricht einem Anstieg von rund 485 %, was höher ist als bei den meisten anderen PC-Komponenten, einschließlich GPUs. Der Grund dafür ist die KI-Infrastruktur: Speicherhersteller richten die Produktion auf Hochbandbreitenspeicher für Rechenzentrumssysteme aus, die großen Cloud-Anbieter reservieren Kapazitäten bereits Jahre im Voraus, und mit einem Anhalt der Knappheit bis ins Jahr 2027 wird gerechnet. Betrachten Sie diese Zahlen als Momentaufnahme und prüfen Sie vor der Verwendung aktuelle Marktdaten.
Die rekursive Tiefe geht stattdessen tief: dieselben Schichten werden R Mal ausgeführt. Dadurch verbraucht es Zeit. Auf lokaler Hardware verringert jeder zusätzliche Schleifenlauf die Dekodiergeschwindigkeit; bei R=4 würde ein Modell, das ursprünglich 30 Tokens pro Sekunde dekodierte, auf etwa 7 fallen. Ein modell mit Schleifen auf einem Laptop versagt nicht sichtbar, es verlangsamt sich einfach mit zunehmender Tiefe.
Das erklärt den Reiz. Schleifen nutzen mehr Rechenleistung aus jedem Byte an Gewichten, das aus dem Speicher geladen werden muss – und der Speicherbreitband ist die begrenzte Ressource. Die Recheneinheiten, die die zusätzlichen Durchläufe ausführen, sind ohnehin häufig zwischen den Speicherabrufen inaktiv. Breite Modelle verbrauchen die Ressource, um die alle konkurrieren; tiefe Modelle verbrauchen eine Ressource, die Kunden in Rechenzentren nie detailliert sehen. Auf Ihrem eigenen Gerät erkennen Sie dies jedoch direkt als niedrigere Zahl an Tokens pro Sekunde.
Die Forschungslinie: acht Jahre offener Artikel
Niemand der zugrundeliegenden Ideen ist geheim. Der Kernmechanismus steht seit 2018 in der offenen Literatur zur Verfügung, und das Lesen dieser Arbeiten vermittelt ein besseres Verständnis für geschlossene Modelle als jede Produktankündigung.
Gewichtsgeteilte Tiefe (2018–2019)
- Universal Transformer (Dehghani et al., 2018). Der ursprüngliche Ansatz: Anwendung derselben Schichten wiederholt mit geteilten Parametern. Er übertraf Transformer derselben Größe bei GLUE, verbrauchte dabei jedoch nur etwa ein Viertel der FLOPs, und wurde stark zitiert – doch niemand setzte ihn in großem Maßstab ein.
- ALBERT (2019). Nutzte Schichtteilung als Komprimierungstechnik und zeigte, dass die Wiederverwendung von Schichten günstiger ist als der Kauf zusätzlicher einzigartiger Schichten.
Reasoning in latent space (2024–2025)
- Coconut (Meta, Dezember 2024). Der Titel „Training LLMs to reason in a continuous latent space“ beschreibt die Idee: Die Zwischenschritte des Denkens bleiben in versteckten Vektoren, und nur das Ergebnis wird in Text umgewandelt. Bei Planungsaufgaben übertraf es die Chain-of-Thought-Methode, indem es weniger sichtbare Schritte erzeugte – ein direkter Angriff auf die Annahme, dass mehr schriftlicher Ausdruck des Denkens zu besserm Denken führt.
- Huginn (Geiping et al., Februar 2025), „Scaling up Test-Time Compute with Latent Reasoning.“ Ein 3,5-Billionen-Parameter-Modell, das mit 800 Milliarden Tokens trainiert wurde. Durch Beibehaltung der Gewichte und Daten sowie nur der Änderung der Schleifenanzahl von r=1 auf r=32 stieg die Leistung von ARC-E von 34,9 auf 69,9 – wobei die Verbesserungen im Denkprozess einem Recheneinsatz entsprachen, der einem 50-Milliarden-Parameter-Modell gleichkam.
Offene Gewichte und Skalierung (2025–2026)
- Ouro / LoopLM (ByteDance, Oktober 2025). Die praktisch relevanteste Option, da die Gewichte auf Hugging Face veröffentlicht wurden. Zur Familie gehören 1,4 Milliarden sowie 2,6 Milliarden Parameter umfassende, auf 7,7 Billionen Token trainierte Modelle, die angeblich mit modernsten Modellen mit bis zu 12 Milliarden Parametern vergleichbar sind. Kontrollierte Experimente führten die Verbesserungen auf eine bessere Nutzung des Wissens statt auf eine erhöhte Wissenskapazität zurück: Die Schleifen speichern nicht mehr Fakten, sondern nutzen diese effektiver. Das Team stellte außerdem fest, dass die Schlussfolgerungsverläufe von LoopLM besser mit seinen Endantworten übereinstimmten als die „Chain-of-Thought“-Verläufe.
Insgesamt sind der Mechanismus, die Benchmark-Ergebnisse, ein Skalierungsansatz sowie ein Messwerkzeug bereits seit längerer Zeit öffentlich verfügbar. Neu ist eine praktische Anwendung auf neuer Ebene, nicht die Idee selbst.
Was dies wahrscheinlich für offene Modelle und lokale Inferenz bedeutet
Die folgenden Aussagen sind Prognosen, keine Fakten, basieren aber alle auf den oben genannten Forschungsergebnissen.
Eine offene, loop-basierte Version ist vermutlich bald verfügbar
Das wirksame Skalierungsverfahren ist das „Looped Mixture-of-Experts“, und die führenden offenen Modellfamilien wie Qwen und DeepSeek sind bereits Architekturen vom Typ Mixture-of-Experts. Das Hinzufügen eines rekurrenten Kerns zu einem bestehenden MoE-Modell stellt einen schrittweisen Anpassungsprozess statt eine Neugestaltung dar, weshalb man vernünftigerweise erwarten kann, dass innerhalb einer oder zwei Modellgenerationen eine Version mit rekurrentem Kern veröffentlicht wird – vermutlich unter dem Aspekt längerer Denkprozesse statt größerer Modellgrößen.
Kleinere Dateien bei derselben Leistungsfähigkeit
Die lokale Inferenz wurde bisher durch die Dateigröße bestimmt: riesige Gewichtsdateien, Grenzen des Arbeitsspeichers sowie manuelles Auslagern von Expertenschichten, nur um ein Modell unterzubringen. Wenn ein 1,4-Billionen-Parameter-Modell tatsächlich mit dichten Modellen im 12-Billionen-Parameter-Bereich konkurrieren kann, bedeutet das im Grunde einen Download von etwa 3 GB anstelle von 24 GB. Ein solches Modell lässt sich mit LoRA auf Consumer-Hardware feinabstimmen und macht somit mehr Speicher für längere Kontexte frei. Die Leistung pro Byte würde zugunsten von Personen mit einer einzelnen GPU oder einem Laptop ausfallen. Wenn Sie lokale Modelle aufgrund von Resilienzgründen mit gehosteten APIs vergleichen, behandelt unser Artikel über das Risiko von Abhängigkeiten durch AI-Zugang den umfassenderen Kompromiss.
Edge-Hardware eignet sich hervorragend für Schleifen
Schleifen verbrauchen Rechenleistung statt Speicherkapazität, und Geräte wie Apple Silicon-Systeme verfügen im Verhältnis zu ihrer Bandbreite über ausreichende Rechenleistung. Dieses Gleichgewicht passte nicht gut zur letzten Generation von Inferenzlasten, eignet sich aber hervorragend für die aktuelle. Schleifenbasierte Modelle sind außerdem gut für Kernel-Optimierungen geeignet: es gibt weniger verschiedene Operationen, und die Gewichte bleiben über mehrere Durchläufe hinweg im Cache. Das Fehlende ist die Software. Umgebungen wie llama.cpp und MLX benötigen explizite Unterstützung für rekursive Tiefe sowie adaptive frühzeitige Beendigung, damit lokale Nutzer davon profitieren können.
Die Tiefe könnte zu einer für den Benutzer einstellbaren Einstellung werden
Durch rekursive Verarbeitung pro Token kann ein kleines Modell die Rechenleistung eines großen Modells nur dort einsetzen, wo es wirklich notwendig ist: schnell für alltäglichen Text, tiefgehend für schwierige Schritte. Genau wie Sie heute die Sampling-Temperatur einstellen (siehe unsere Anleitung zu Temperatur, Top-K und Top-P), können Sie auch einen tiefenitätsbudget pro Anfrage festlegen. Die Ergebnisse der Tool-Aufrufe deuten in dieselbe Richtung: Agenten, die planen, Tools aufrufen und den Zustand verfolgen, profitieren am meisten von zusätzlicher Tiefe – genau das braucht auch ein lokaler Programmierassistent.
Offene Modelle könnten das Transparenz-Opfer umkehren
Das Tool „opaque-serial-depth“ ist öffentlich zugänglich. Ein geschlossener Anbieter kann Schleifen mit einem nicht offengelegten R-Wert bereitstellen, doch jeder, der offene Gewichte besitzt, kann die versteckte Überlegungstiefe eines Modells direkt messen. Eine offene Adoption muss daher das Problem der Undurchsichtigkeit nicht wiederholen; die von geschlossenen Laboren zurückgehaltenen Werte können zu messbaren, veröffentlichten Eigenschaften eines offenen Modells werden. Die Erkenntnisse von Ouro warnen zudem davor, anzunehmen, dass latente Überlegungen von Natur aus weniger zuverlässig seien: Ihre Spuren verfolgten die endgültigen Antworten zuverlässiger als herkömmliche Chain-of-Thought-Methoden.
Die eigentliche offene Frage ist nicht, ob offene Modelle Schleifen verwenden werden – schließlich sind bereits die Gewichte von Ouro und Huginn verfügbar. Vielmehr geht es darum, ob die Gemeinschaft Schleifen mit der einzigen Praxis verbinden wird, die geschlossene Labore abgelehnt haben: die Veröffentlichung der Anzahl der Schleifen.
Wenn rekursive Tiefe nicht das richtige Werkzeug ist
- Falls Sie nachvollziehbare Schlussfolgerungen benötigen, beispielsweise in regulierten Arbeitsabläufen, ist eine sichtbare Gedankenkette leichter zu überprüfen als jeder verborgene Prozess.
- Falls bei einem lokalen Gerät die Latenz wichtiger ist als die Genauigkeit, verringert jeder zusätzliche Schleifenzyklus direkt die Durchsatzrate.
- Falls Ihre Inferenzumgebung keine Unterstützung für rekursive Kerne oder eine adaptive Beendigung bietet, werden Sie die Effizienzvorteile vorerst nicht erkennen.
Zusammenfassung
Während der etwa zehnjährigen Entwicklung von Sprachmodellen musste zusätzliches Denken in Textform ausgedrückt werden, was zu einer hohen Belastung durch das Lesen dieses Textes führte. Rekursive Strukturen beseitigen diese Kopplung: Ein Modell kann sinnvolle serielle Berechnungen durchführen, ohne ein Wort zu erzeugen. Das Überwachungsfenster existiert weiterhin, zeigt aber nicht mehr unbedingt alles an.
In einer Hinsicht ist die Forschungslage beruhigend. Die Techniken hinter geschlossenen Modellen sowie offene Gewichte und ein Werkzeug zur Messung der versteckten Tiefe sind bereits öffentlich zugänglich. Abgeschlossene Labore mögen den ersten Schritt machen, doch das offene Ökosystem kann die Norm setzen.
- Recurrent Depth wendet einen Kernblock von Schichten R-mal auf den versteckten Zustand an, wodurch serielle Berechnungen ohne zusätzliche Token oder Parameter erfolgen.
- Es tauscht Speicher gegen Zeit ein, was es für Rechenzentren sowie für lokal verfügbare Hardware mit hoher Rechendichte und begrenztem Bandbreitenangebot attraktiv macht.
- Universal Transformers, Coconut, Huginn, Mixture-of-Recursions, Ouro und looped MoE dokumentieren gemeinsam den Mechanismus sowie dessen Skalierbarkeit.
- Berichte, dass Astra diese Technologie verwendet, sind weiterhin unbestätigt; betrachten Sie die Anzahl der Schleifen als Frage, die Sie jedem Anbieter stellen sollten.