Skalierungsgesetze von LLMs, GPT-4o und Verstärkungslernen: Was die Kurven vorhersagen.

Fast jeder große Fortschritt bei der Qualität von Sprachmodellen in den letzten Jahren resultiert daraus, dass dasselbe mit größeren Dimensionen durchgeführt wird: mehr Parameter, mehr Trainingstoken, mehr GPUs. Skalengesetze sind die Gleichungen, die diese Praxis in etwas verwandeln, das man planen kann, denn sie sagen voraus, wie der Testverlust eines Modells abnimmt, wenn man Ressourcen wie Rechenleistung für das Training erhöht. Sie werden jedoch häufig falsch interpretiert, weshalb die Schlagzeilen abwechselnd lauten „Skalierung ist garantiert“ und „Die Skalierung ist an eine Grenze gestoßen“. Nach dem Lesen dieses Artikels werden Sie in der Lage sein, ein Log-Log-Skalendiagramm richtig zu lesen, zu erklären, was die Ergebnisse von Kaplan und Chinchilla tatsächlich bedeuten, über die Debatte um das „Verlangsamungseffekt“ ohne Parteinahme zu reflektieren und zu verstehen, warum Agenten und Reasoning-Modelle die nächsten Bereiche sind, in denen die Rechenleistung skaliert wird.

Die Struktur ist bottom-up. Wir beginnen mit der Mathematik der Potenzgesetze, gehen dann zu den Forschungen, die Skalierungsgesetze für Sprachmodelle etabliert haben, betrachten, wie diese Gesetze die GPT-Familie sowie spätere Modelle beeinflusst haben, untersuchen die Argumente dafür, dass die Skalierung an Grenzen stößt, und schließen mit den Richtungen ab, die den Fortschritt auch dann vorantreiben, wenn die Vorteile des Vortrainings abflachen.

Der Baustein: Potenzgesetze

Zwei Größen, eine vorhersehbare Beziehung

Ein Potenzgesetz ist einfach eine Regel, die zwei Messwerte miteinander verbindet, sodass eine proportionale Veränderung des einen zu einer proportionalen Veränderung des anderen führt. Im Kontext von großen Sprachmodellen ist eine der beiden Größen fast immer der Testverlust (manchmal ein Ersatzmaß wie die Genauigkeit bei einer nachgelagerten Aufgabe), während die andere Größe die zu justierende Variable darstellt: die Anzahl der Parameter, die Größe des Datensatzes oder die Gesamtrechenleistung beim Training.

Eine typische Aussage aus dem GPT-3-Paper lautet ungefähr so: Sofern genügend Daten vorhanden sind, sollte der Validierungsverlust im Verhältnis zur Modellgröße einer annähernd glatten Potenzgesetz-Beziehung folgen. Die praktische Bedeutung ist, dass die Anzahl der Parameter und der Testverlust auf messbare Weise miteinander verbunden sind. Vergrößern Sie das Modell und halten Sie die anderen Bedingungen konstant (genügend Daten, ausreichende Rechenleistung), dann sinkt der Verlust um einen Faktor, den Sie im Voraus vorhersagen können.

Eine nützliche Eigenschaft hier ist die Skaleneinheitlichkeit. Wenn Sie die Eingabe mit einem konstanten Faktor multiplizieren, wird auch die Ausgabe mit einem festen Faktor multipliziert – unabhängig davon, wo Sie auf der Kurve starten. Genau das macht Potenzgesetze für Prognosen attraktiv: Die Beziehung, die Sie zwischen einem Modell mit 10 M und einem mit 100 M Parametern messen, gibt Ihnen konkrete Hinweise auf den Übergang von 10 B zu 100 B.

Standard- und umgekehrte Formen

Die grundlegende Form lautet y = a * x^p, wobei x und y die beiden Größen sind und a sowie p Konstanten sind, die aus den Daten bestimmt werden. Bei einem positiven Exponenten wächst y mit dem Wachstum von x. Auf herkömmlichen Achsen biegt sich die Kurve nach oben; auf Logarithmus-Achsen wird sie zu einer Geraden, denn das Nehmen von Logarithmen verwandelt log y = log a + p * log x in eine lineare Gleichung mit Steigung p. Aus diesem Grund verwenden wissenschaftliche Publikationen fast immer Logarithmus-Skalen zur Darstellung.

Die Kurven, die in Arbeiten zu großen Sprachmodellen zu sehen sind, verlaufen jedoch in die andere Richtung: Der Verlust nimmt ab, wenn die Ressourcen zunehmen. Das ist ein umgekehrtes Potenzgesetz, y = a * x^(-p), also dieselbe Gleichung mit einem negativen Exponenten. Wenn man das Vorzeichen des Exponenten ändert, ändert sich auch das Diagramm, und auf Logarithmus-Logarithmus-Achsen erhält man die charakteristische gerade Linie, die nach unten und rechts verläuft. Wenn eine Arbeit den Verlust in Abhängigkeit von Rechenleistung, Daten oder Parametern als klare abfallende Linie darstellt, wird genau diese Beziehung dargestellt. Denken Sie daran, dass die Geradlinigkeit der Linie ein Artefakt der logarithmischen Achsen ist, und viele Verwirrungen bezüglich der Skalierung entstehen durch das Vergessen dessen.

Die erste systematische Studie: Der Verlust skaliert mit Parametern, Daten und Rechenleistung

Die offenen Fragen vor 2020

Als das ursprüngliche GPT erschien, war nicht klar, wie wichtig die Skalierung war. Sprachmodelle versprachen viel, waren aber begrenzt, und es gab kein klares Rezept zur Verbesserung. Mehrere Fragen hatten keine endgültigen Antworten. Spielt die Struktur des Netzwerks – also die Anzahl der Schichten und die Breite jeder Schicht – eine große Rolle? Leistet ein größeres Modell zuverlässig bessere Ergebnisse? Wie viel Daten benötigt ein größeres Modell?

Die 2020 veröffentlichte OpenAI-Studie „Scaling Laws for Neural Language Models“ versuchte, diese Fragen zu beantworten, indem sie untersuchte, wie sich der Testverlust auf die Modellgröße, die Modellstruktur, die Größe des Datensatzes, die Rechenleistung beim Training sowie die Batch-Größe auswirkt. Die zentrale Erkenntnis war, dass der Verlust einer Potenzgesetz folgt, und zwar in Bezug auf drei Faktoren, wobei einige Trends über mehr als sieben Größenordnungen hinweg bestehen blieben:

1. Anzahl der Modellparameter.
2. Größe des Datensatzes.
3. Rechenleistung beim Training.

Der wichtige Qualifikator ist, dass jede Beziehung nur dann gilt, solange die anderen beiden Größen nicht der begrenzende Faktor sind. Ein riesiges Modell, das auf einem winzigen Datensatz trainiert wurde, folgt nicht der Parameterkurve, weil die Daten zum Engpass geworden sind.

Wie die Experimente durchgeführt wurden

Die Forscher haben Modelle mit bis zu 1,5 Milliarden Parametern auf Teilmengen des WebText2-Korpus mit 22 Millionen bis 23 Milliarden Tokens vorgetrainiert. Jedes Modell nutzte einen Kontext von 1.024 Tokens sowie das übliche Ziel der Vorhersage des nächsten Tokens, welches eine Kreuzentropieverlustfunktion über das Vokabular darstellt. Derselbe Kreuzentropieverlust, der an nicht verwendeten Texten gemessen wurde, diente als Hauptleistungsmetrik. Nichts davon ist außergewöhnlich; es handelt sich im Grunde um die Standardvorgehensweise beim Vorgetrainieren, die für die meisten großen Sprachmodelle verwendet wird, weshalb die Ergebnisse so gut generalisieren konnten.

Wie die angepassten Gesetze aussehen

Der Testverlust bei WebText2 verbesserte sich stetig, je mehr Parameter, Daten und Rechenleistung zur Verfügung standen. Die Trends umfassten acht Größenordnungen bezüglich der Rechenleistung, sechs bezüglich der Modellgröße und zwei bezüglich der Größe des Datensatzes. Die angepassten Gleichungen ähneln dem oben beschriebenen umgekehrten Potenzgesetz, sind jedoch etwas anders formuliert: Die führende Konstante wird auf eins gesetzt, und eine Skalarkonstante befindet sich innerhalb der Klammern. Für die Modellgröße lautet die Formel beispielsweise L(N) = (N_c / N)^alpha_N, wobei N die Anzahl der Parameter, N_c eine angepasste Konstante und alpha_N der angepasste Exponent ist. Ähnliche Ausdrücke gelten für die Größe des Datensatzes D und die Rechenleistung C.

Um saubere Anpassungen zu erzielen, war ein Detail notwendig: Die Parameter in den Tabellen für die Positions- und Token-Embedding-Werte werden bei der Zählung ausgeschlossen. Ihre Einbeziehung macht die Trends störanfälliger, während die Zählung nur der nicht-embedding-basierten Parameter ordentliche, gerade Linien ergibt. Wenn Sie jemals versuchen, ein Skalierungsdiagramm zu erstellen, ist dies eine solche Entscheidung hinsichtlich der Berechnungsmethode, die Ihre Ergebnisse heimlich verändern kann.

Da jede Regel voraussetzt, dass die anderen Faktoren keine Engpässe darstellen, lautet die praktische Regel, alle drei Faktoren gemeinsam zu skalieren. Wenn man nur einen von ihnen beeinflusst, tritt schnell ein Rückgang der Effekte ein.

Lesen der Kurven ohne Logarithmus-Skala

Die Log-Log-Diagramme erscheinen wunderbar linear, was zu einer übermäßig optimistischen Interpretation verleitet. Zeichnen Sie dieselben angepassten Gesetze auf gewöhnliche Achsen um – die Form ändert sich völlig: Die Kurve fällt zunächst steil ab und flacht anschließend ab, wodurch sie stark an eine exponentielle Abnahme erinnert.

Dies ist wichtig, weil viele populäre Kommentare die entgegengesetzte Intuition vermitteln, als würde die Modellqualität exponentiell steigen, während die Rechenleistung nur logarithmisch zunimmt. Die Mathematik sagt etwas viel Bescheideneres: Jede weitere Verringerung des Verlusts erfordert eine multiplikative Erhöhung der Ressourcen, sodass es mit jedem Schritt immer teurer wird, Verbesserungen zu erzielen – und zwar zunehmend und recht dramatisch. Eine Gerade in einem Log-Log-Diagramm bedeutet „zehnmal so viel Rechenleistung bringt eine feste, geringe Verbesserung“, nicht „eine etwas größere Rechenleistung bringt eine deutlich bessere Qualität.“

Die Form spielt kaum eine Rolle, die Skala hingegen sehr

Ausserhalb der drei Potenzgesetze stellte die Studie fest, dass architektonische Entscheidungen wie Tiefe gegenüber Breite im Vergleich zur reinen Skala nur einen geringen Einfluss auf den Verlust hatten. Mehr Parameter, mehr Daten und mehr Rechenleistung führten zu glatten, zuverlässigen Verbesserungen; das Herumfummeln an den Proportionen des Netzwerks bewirkte hingegen kaum eine nennenswerte Veränderung.

Die Forscher stellten außerdem fest, dass größere Modelle effizienter mit Beispielen umgehen. Ein größeres Modell erreicht einen bestimmten Verlustwert nach dem Verarbeiten weniger Token als ein kleineres Modell. Aus rein rechenintensiver Sicht deutet dies auf eine ungewöhnliche Strategie hin: Ein sehr großes Modell wird mit einer relativ geringen Menge an Daten trainiert und bereits lange vor der Konvergenz gestoppt. Das ist zwar rechenoptimal für das Training, ignoriert jedoch das, was nach dem Training geschieht. Ein großes Modell ist für jede beantwortete Anfrage teuer in der Bereitstellung, weshalb Teams in der Praxis in der Regel das Gegenteil tun und kleinere Modelle mit mehr Daten trainieren, da diese deutlich günstiger zu hosten sind.

Die Studie untersuchte außerdem, wie die Größe des Datensatzes im Einklang mit der Größe des Modells wachsen sollte, und kam zu dem Schluss, dass die Daten langsamer wachsen können als die Parameter. Im Großen und Ganzen erforderte es, das Modell um das Achtfache zu vergrößern, nur etwa das Fünffache an zusätzlichen Daten, um ein Überanpassen zu vermeiden. (Dieses Verhältnis ergibt sich aus der gefundenen Beziehung, bei der der Datenaufwand wie die Größe des Modells hoch einer etwas unter eins liegenden Potenz wächst.) Behalten Sie diese Empfehlung im Hinterkopf, denn die späteren Arbeiten zu Chinchilla widerlegten sie.

Schließlich galten dieselben Gesetzmäßigkeiten auch für mehrere andere Bewertungsdatensätze, nachdem ein fester Offset zur Verlustfunktion hinzugefügt worden war, um die unterschiedliche Datenverteilung zu berücksichtigen. Insgesamt liefern diese Ergebnisse einen überzeugenden Nachweis dafür, dass das Sprachmodellieren schrittweise und vorhersagbar verbessert wird, wenn Modellgröße, Datenmenge und Rechenkapazität angemessen skaliert werden, und dass größere Modelle sowohl leistungsfähiger als auch effizienter im Umgang mit Daten sind. Genau dieser Nachweis rechtfertigte die umfangreichen Vortrainingsprozesse, die anschließend durchgeführt wurden.

Wie Labore die Skalierungsgesetze tatsächlich nutzen

Der Vorteil des großangelegten Vortrainings hat einen unangenehmen Nachteil: Die besten Ergebnisse erfordern riesige Modelle und Datensätze, wofür erhebliche Kosten anfallen. Stellen Sie sich vor, man gibt etwa zehn Millionen Dollar für einen einzigen Durchlauf aus – nur um festzustellen, dass das Modell enttäuschend ist. Bei diesem Preis bleibt kein Raum für fehlerbasiertes Tuning am vollständigen Modell; man benötigt bereits im Voraus die Gewissheit, dass die Konfiguration funktionieren wird.

Skalengesetze sind das Werkzeug, das diese Gewissheit bietet. Neben der Nachweisbarkeit von Zusammenhängen liefern sie den Forschern einen konkreten Arbeitsablauf:

• Trainieren Sie eine Reihe viel kleinerer Modelle unter verschiedenen Einstellungen.
• Passen Sie Skalengesetze an die Leistung dieser kleinen Modelle an.
• Extrapolieren Sie die angepassten Gesetze, um vorherzusagen, wie sich ein weitaus größeres Modell verhalten wird.

Dieser Prozess ist nicht fehlerfrei. Die Extrapolation von kleinen Tests auf größere Tests kann ungenau sein, und einige Verhaltensweisen ändern sich mit der Skalierung auf Weise, die ein kleines Modell nicht aufzeigt. Es wurden Techniken wie Transferverfahren für Hyperparameter entwickelt, um die Extrapolation von kleinen zu großen Tests zuverlässiger zu gestalten, und das Anwenden von Skalierungsgesetzen an günstigen Tests ist heute gängige Praxis. Neben der Verringerung des technischen Risikos macht eine zuverlässige Prognose es außerdem viel einfacher, demjenigen, der die Kosten trägt, den Haushaltsbedarf für größere Tests zu rechtfertigen.

Es gibt eine praktische Faustregel, wann man einer Extrapolation nicht trauen sollte: Wenn Ihre kleinen Tests nicht mindestens ein paar Größenordnungen abdecken oder wenn Sie zwischen den kleinen und den großen Tests die Datenkombination, den Tokenisierer oder die Architektur ändern, gelten die angepassten Konstanten möglicherweise nicht mehr. Der Wert eines Skalierungsgesetzes ergibt sich ausschließlich daraus, dass alles andere konstant bleibt.

Skalierung im Zeitalter des Vortrainings – von GPT-3 bis GPT-4

Sobald die Skalierungsgesetze festgestellt waren, wurde das Rezept für Fortschritte fast peinlich einfach: Größere Modelle mit größeren und saubereren Datensätzen trainieren. OpenAI folgte diesem Ansatz bei der GPT-Reihe, und auch die meisten anderen bedeutenden Modelle taten es ihm nach. Ilya Sutskever beschrieb diese Periode später als das „Zeitalter des Vortrainings“, das durch sehr große Netzwerke gekennzeichnet sei, die auf sehr großen Datensätzen trainiert wurden.

Die GPT-Familie als Skalierungsversuch

Die GPT-Reihe ist die bekannteste Anwendung dieser Ideen. Die hierige Diskussion konzentriert sich auf die Modelle bis GPT-3 aus zwei Gründen: Ihre Details wurden öffentlich veröffentlicht, und die späteren Modelle verdanken ihren Fortschritt größtenteils Fortschritten nach dem Training und nicht allein der Größe des Vortrainings. Wenn Sie eine generationenweise Übersicht darüber erhalten möchten, was jede Version für Anwendungsentwickler geändert hat, sehen Sie sich unseren Leitfaden von GPT-1 zu Reasoning-Modellen an; hier liegt der Fokus darauf, was jeder Schritt über Skalierung aussagt.

GPT war nach heutigen Maßstäben klein: 12 Schichten und 117 Mio. Parameter. Zunächst wurde es auf dem BooksCorpus vorgetrainiert, dem Rohtext von etwa 7.000 Büchern, und anschließend für jede nachgelagerte Aufgabe separat feingetuned, wobei für jede Aufgabe ein überwachtes Ziel sowie ein spezieller Klassifizierungshead verwendet wurden. Es handelte sich dabei um eine der ersten Demonstrationen des großangelegten selbstüberwachten Vorgetrainierens eines ausschließlich aus einem Dekoder bestehenden Transformers, und es wurden einige Erkenntnisse gewonnen:

• Das selbstüberwachte Vorgetrainieren mit reinem Text funktioniert außergewöhnlich gut.
• Das Training mit langen, zusammenhängenden Textabschnitten ist wichtig.
• Ein auf diese Weise vorgetrainiertes Modell kann feingetuned werden, um in einer breiten Palette von Aufgaben eine state-of-the-art Genauigkeit zu erreichen.

Das Modell an sich war nicht bemerkenswert, doch es legte die beiden Grundelemente fest – einen ausschließlich aus einem Dekoder bestehenden Transformer sowie das selbstüberwachte Vorgetrainieren –, die in späteren Arbeiten auf viel größere Skalen ausgebaut wurden.

GPT-2 folgte kurz darauf als eine Reihe von Modellen mit bis zu 1,5 Milliarden Parametern. Die Architektur und das Trainingsziel waren identisch mit denen von GPT, doch es gab zwei Veränderungen:

• Beim Vortrainieren wurde WebText verwendet, ein aus dem Internet gesammeltes Datensatz, der deutlich größer als BooksCorpus ist.
• Es fand kein task-spezifisches Feintuning statt. Die Aufgaben wurden ohne zusätzliche Anpassungen gelöst, indem das bereits vortrainierte Modell direkt angesprochen wurde.

GPT-2 erreichte auf den meisten Benchmarks keine Spitzenleistungen, doch seine Ergebnisse verbesserten sich kontinuierlich, je größer das Modell wurde – was ein klares Zeichen dafür war, dass das Hinzufügen von Parametern sich auszahlte. Ebenso wichtig war, dass selbst das größte GPT-2-Modell scheinbar nicht ausreichte, um WebText angemessen zu verarbeiten. Das deutete darauf hin, dass noch Verbesserungsmöglichkeiten bestanden: Eine weitere Erweiterung sowohl des Modells als auch der Daten sollte weiterhin helfen. In der Veröffentlichung zu GPT-2 wurde außerdem argumentiert, dass ein Sprachmodell mit ausreichender Kapazität anfangen wird, die in der natürlichen Sprache gezeigten Aufgaben selbstständig abzuleiten und auszuführen – schlicht weil dies dabei hilft, den Text besser vorherzusagen. Dieses Argument zusammen mit den gemessenen Trends verlieh den Forschern das Vertrauen, weiterzumachen.

GPT-3 war der Wendepunkt, der die Frage klärte, ob großangelegtes Vortrainieren lohnenswert ist. Mit 175 Milliarden Parametern war es mehr als 100 Mal größer als der größte GPT-2. Die Architektur war erneut ein reiner Dekodier-Transformer, ähnlich wie seine Vorgänger, doch die Trainingsdaten waren deutlich umfangreicher: ein auf CommonCrawl basierendes Korpus, das etwa zehnmal so groß war wie WebText, kombiniert mit mehreren anderen Quellen zu einer Datenmischung.

GPT-3 wurde hauptsächlich durch Few-Shot-Prompting bewertet, was von früheren Ansätzen unterschieden werden sollte:

• GPT nutzte Feintuning, indem es die Gewichte für jede Aufgabe anpasste.
• GPT-2 verwendete Zero-Shot-Prompting, indem es die Aufgabe ohne Beispiele beschrieb.
• GPT-3 nutzte Few-Shot-Prompting, indem es einige bearbeitete Beispiele im Prompt einfügte.

Der Artikel zu GPT-3 bezeichnete dies als In-Context-Lernen. Der Name ist etwas irreführend, denn im üblichen Sinne wird nichts gelernt: Die Gewichte ändern sich überhaupt nicht. Die Beispiele in der Anfrage dienen lediglich als Kontext, der das Modell zu einer besseren Ausgabe lenkt. GPT-3 erwies sich dabei als sehr gut, was darauf hindeutet, dass In-Context-Lernen eine Fähigkeit ist, die mit der Skalierung entsteht.

In den Benchmarks zur Sprachverständnisleistung stieg die Genauigkeit bei wenigen Beispielen mit der Größe des Modells an. Größere Modelle nutzten die Informationen in ihrem Kontextfenster besser und effizienter als kleinere Modelle, und bei mehreren Aufgaben übertrafen die Ergebnisse von GPT-3 die bisherige State-of-the-Art-Lösung, wobei sich die Leistung weiterhin mit der Modellgröße verbesserte. Es war damals bemerkenswert, dass ein einziges Modell dies bei so vielen Aufgaben allein durch eine Änderung des Prompts erreichen konnte. GPT-3 wurde zu einem der ersten echten Foundation Models und führte das Prompting als Hauptmethode ein, mit der Menschen mit großen Sprachmodellen interagieren können.

Nach GPT-3: Der Anteil des Nachtrainings nimmt zu

GPT-3 löste eine Welle des Interesses an großen Sprachmodellen aus, die sich hauptsächlich auf umfangreichere Vortrainingsprozesse konzentrierten. OpenAIs weitere Veröffentlichungen, InstructGPT, ChatGPT und GPT-4, kombinierten großangelegtes Vortraining mit neuen Nachtrainingsmethoden, nämlich überwachtem Feintuning sowie Lernen durch menschliche Rückmeldungen (RLHF). Der dadurch erzielte Qualitätszuwachs brachte KI in den Fokus der Öffentlichkeit. Der technische Bericht zu GPT-4 beschreibt es als ein Transformer-Modell, das auf der Vorhersage des nächsten Tokens vortrainiert wurde, wobei das Nachtrainingsverfahren die Genauigkeit sowie die Einhaltung des gewünschten Verhaltens verbessert.

Um diese Zeit begann OpenAI, deutlich weniger zu veröffentlichen. Modelle wurden über die API bereitgestellt, ohne detaillierte wissenschaftliche Arbeiten. Dennoch sind einige Informationen noch verfügbar. InstructGPT, der direkte Vorgänger von ChatGPT, weist eine ausführliche wissenschaftliche Arbeit auf, die seinen Nachtrainingsprozess detailliert beschreibt, und in dieser Arbeit wird angegeben, dass GPT-3 das Basismodell ist. Es ist vernünftig anzunehmen, dass die Verbesserungen von InstructGPT hauptsächlich durch das Nachtraining statt durch ein umfangreicheres Vortrainingsverfahren erzielt wurden.

GPT-4 war eindeutig leistungsfähiger als ChatGPT, doch sein technischer Bericht enthüllte nur sehr wenig. Er bestätigt lediglich Folgendes:

1. Das Modell ist ein Transformer.
2. Es wurde mit der Vorhersage des nächsten Tokens vortrainiert.
3. Die Daten stammen sowohl aus öffentlichen als auch aus lizenzierten Quellen Dritter.
4. Es wurde mithilfe von RLHF feingetuned.

Trotzdem steht die Skalierung im Mittelpunkt dieses Berichts. Ein wichtiges ingenieurtechnisches Ziel war ein Trainingsframework, das sich über verschiedene Skalen hinweg vorhersagbar verhält, sodass Ergebnisse aus kleinen Trainingsläufen auf die großen und sehr kostspieligen Endtrainingsläufe übertragen werden können. Der Bericht besagt, dass der endgültige Verlust von ordnungsgemäß trainierten großen Modellen gut durch Potenzgesetze bezüglich der Trainingsrechenleistung approximiert werden kann.

Das ist der praktische Arbeitsablauf aus früheren Zeiten, der nun an der Spitze angewandt wird. Da ein vollständiges Vortrainingsverfahren so kostspielig ist, gibt es im Grunde nur einen Versuch ohne Raum für modellspezifische Anpassungen. Stattdessen trainierte das Team Modelle mit 1.000 bis 10.000 Mal weniger Rechenleistung, fügte ihnen Potenzgesetze zu und nutzte diese Gesetze, um das Verhalten des großen Modells vorherzusagen. Der GPT-4-Bericht zeigt genau das – ein Potenzgesetz zwischen Rechenleistung und Verlust, das zur Vorhersage des endgültigen Verlusts von GPT-4 verwendet wurde.

Die angepasste Gleichung weist im Vergleich zu den vorherigen Ergebnissen eine Ergänzung auf: einen nicht reduzierbaren Verlustterm, der eine Form wie L(C) = a * C^b + c ergibt. Die Konstante c spiegelt die Tatsache wider, dass der Verlust niemals null erreichen wird, da natürlicher Text echte Zufälligkeiten enthält, die kein Modell vorhersagen kann. Bei Anwendung des Gesetzes auf kleine Datensätze erwies sich die Vorhersage des endgültigen Verlusts von GPT-4 als sehr genau. Beachten Sie außerdem, dass diese spezielle Darstellung lineare Achsen verwendet, wodurch die abnehmenden Erträge deutlich sichtbar sind: Die Verbesserung pro Rechenleistungseinheit schrumpft mit zunehmender Rechenleistung deutlich.

Der Bericht räumte außerdem ein, dass rohe Verlustwerte schwer zu interpretieren sind, und versuchte, aussagekräftigere Metriken vorherzusagen. Ein Beispiel hierfür ist die Bestehensrate im HumanEval-Programmier-Benchmark. Die Aufgaben wurden nach Schwierigkeitsgrad in Kategorien eingeteilt, und es wurde ein Skalengesetz angepasst, um die Bestehensrate pro Kategorie vorherzusagen. Mithilfe von Berechnungen, bei denen etwa 1.000 Mal weniger Rechenleistung benötigt wurde, konnte das Team die Bestehensrate von GPT-4 im HumanEval-Test genau vorhersagen.

Die Lehre aus dieser Entwicklung bleibt konstant: Größere Vortrainings-Berechnungen lohnen sich zwar, sind aber kostspielig. Skalengesetze machen sie jedoch ausreichend vorhersehbar, sodass man vermeidet, Rechenleistung in Berechnungen zu verschwenden, die keine Ergebnisse liefern werden.

Chinchilla: Die Modelle bekamen zu wenig Daten

Die Studie von 2020 empfahl, die Wachstumsparameter schneller zu erhöhen als die Datenmenge. Eine Zeit lang folgte das Feld nach GPT-3 hauptsächlich diesem Rat – mit mäßigem Erfolg. Modelle, die weitaus größer als GPT-3 waren, wie das 530B-Parameter-Modell MT-NLG, wurden mit Datensätzen von etwa der Größe von GPT-3 trainiert und konnten dieses nicht übertreffen. Modelle hingegen, die sowohl Parameter als auch Datenmenge erhöhten, wie DeepMinds Gopher, zeigten deutlich bessere Ergebnisse.

Diese Beobachtungen inspirierten das Paper „Training Compute-Optimal Large Language Models“ sowie Chinchilla, in denen die Skalierung von Grund auf mit weitaus größeren Experimenten neu untersucht wurde: Modelle mit 70 Mio. bis 17 Milliarden Parametern wurden mit Datensätzen trainiert, die eine Billion Token überschritten. Durch das Trainieren vieler Kombinationen aus Modellgröße und Datenvolumen konnten die Forscher ein Gesetz ableiten, das den Verlust durch beide Faktoren gleichzeitig vorhersagte. Anhand dieses Gesetzes lässt sich für jedes feste Rechenbudget die beste Allokation ermitteln.

Ihre Schlussfolgerung war, dass ein rechenoptimales Training die Größe des Modells sowie die Datenmenge in gleichem Verhältnis erhöhen sollte. Nach diesem Standard waren die meisten vorhandenen LLMs für ihre Größe untertrainiert; sie würden von weitaus mehr Daten profitieren. Die ermittelten Gesetzmäßigkeiten deuteten beispielsweise darauf hin, dass Gopher mit einem etwa 20 Mal größeren Datensatz trainiert werden sollte. Das Paper wies zudem darauf hin, dass die dabei anfallende Datenmenge bei weitem über dem lag, was damals verwendet wurde.

Um diese Behauptung zu überprüfen, trainierte das Team Chinchilla, ein 70B-Parameter-Modell, das mit 1,4 Billionen Tokens trainiert wurde. Es nutzte dieselben Daten und die gleiche Bewertungsmethode wie Gopher, war jedoch viermal kleiner und mit weitaus mehr Daten trainiert worden; es übertraf Gopher konsequent in der Leistung.

Chinchillas Skalierungsgesetze blieben jahrelang der Referenzpunkt. Der Begriff „Chinchilla-optimal“ gelangte in den alltäglichen Sprachgebrauch des Fachgebiets, und die Veröffentlichung wird bis heute ständig zitiert, obwohl seitdem zahlreiche weitere Studien zur Skalierung erschienen sind.

Es ist wichtig, präzise zu definieren, was „Chinchilla-optimal“ bedeutet, denn dieser Begriff wird oft falsch verwendet. Er beschreibt den besten Verlustwert bei einem festgelegten Trainingsbudget. Er sagt nichts über die Kosten bei der Inferenz aus. Ein Team, das plant, ein Modell Milliarden von Malen zu nutzen, kann absichtlich ein kleineres Modell trainieren – auch weit über dem Chinchilla-Verhältnis hinaus – und dabei auf eine weniger effiziente Trainingsphase verzichten, um im Produktivbetrieb ein günstigeres Modell zu erhalten. Dieser Kompromiss wird weiter unten erneut thematisiert.

Die Debatte darüber, dass die Skalierung nach GPT-4o an ihre Grenzen stößt

Da die Freigabeverfahren für Modelle sowie die sichtbaren Verbesserungen in der zweiten Hälfte von 2024 langsamer wurden, wurde das Thema Skalierung zu einem umstrittenen Gegenstand. Nach Jahren, in denen die Skalierung fast jeden Fortschritt vorangetrieben hatte, deuteten zahlreiche Berichte darauf hin, dass sie möglicherweise ins Stocken geraten sei:

• Reuters berichtete, dass OpenAI seine Produktstrategie anpassen würde, nachdem mit den aktuellen Methoden eine Plateau-Phase eingetreten sei.
• The Information berichtete, dass das Tempo der Verbesserungen bei GPT-Modellen abnehme.
• Bloomberg beschrieb mehrere Spitzenforschungslabore, die Schwierigkeiten hätten, signifikant leistungsfähigere Systeme zu entwickeln.
• TechCrunch argumentierte, dass die Skalierung immer geringere Erträge liefere.
• Time veröffentlichte einen ausgewogeneren Artikel über die verschiedenen Faktoren, die hinter der Annahme eines verlangsamten Fortschritts stehen.
• Ilya Sutskever sagte in seiner Rede zum Test-of-Time-Preis bei NeurIPS 2024, dass das bisher bekannte Prinzip des Vortrainings ende.

Andere einflussreiche Stimmen waren anderer Meinung. Der CEO von Anthropic, Dario Amodei, sagte, das Skalieren werde voraussichtlich weitergehen, während Sam Altman von OpenAI betonte, es gäbe keine Grenze. Anstatt sich für eine Seite zu entscheiden, ist es nützlicher, zu verstehen, was die Forschung tatsächlich unterstützt, denn beide Lager haben teilweise recht.

Verlangsamt sich das Skalieren? Das hängt davon ab, was man misst

Nathan Lambert fasste die Situation prägnant zusammen: Technisch gesehen kann das Skalieren weiterhin funktionieren, während die Geschwindigkeit der Verbesserungen, die die Nutzer wahrnehmen, abnimmt. Die ehrliche Antwort auf die Frage „Verlangsamt sich das Skalieren?“ hängt von der Definition ab, und sowohl „ja“ als auch „nein“ lassen sich begründen. Deshalb ist es produktiver, anstatt ein Urteil aufzuzwingen, einige separate Aspekte zu betrachten.

Abnehmende Erträge sind in der Mathematik bereits enthalten

Erinnern wir uns daran, was ein Skalierungsgesetz eigentlich besagt: eine Potenzgesetzesbeziehung zwischen der Rechenleistung beim Training (oder der Größe des Modells oder der Daten) und dem Testverlust. Es verspricht keine exponentiellen Vorteile durch geringfügig mehr Rechenleistung. Auf normalen Achsen sieht die Kurve wie ein exponentieller Abfall aus, und jede weitere Verbesserung kostet mehr als die vorherige.

Anders ausgedrückt: Skalierungsgesetze flachen durch ihre Konstruktion ab. Die Verlangsamung, die die Leute bemerken, ist in hohem Maße genau das, was die Gleichungen vorhersagen. Wenn man mit einem Skalierungsgesetz plant, sollte man erwarten, dass jede neue Generation einen multiplikativen Anstieg der Ressourcen erfordert, um einen geringeren absoluten Gewinn zu erzielen.

Der Verlust ist nicht das, was jemanden interessiert

Es gibt auch eine Unstimmigkeit bei den Messungen. Skalengesetze werden an den Testverlust während des Vortrainings angepasst, doch was ein geringerer Verlust für die Leistungsfähigkeit bedeutet, ist unklar. Führt das zu höherer Genauigkeit bei nachgelagerten Aufgaben? Erzeugt es neue Fähigkeiten? Forschungen zum Übertrainieren weisen darauf hin, dass Praktiker Modelle in der Regel anhand der Genauigkeit bei nachgelagerten Benchmarks beurteilen und nicht anhand der Perplexität bei ausgeschlossenen Texten. Somit besteht ein Unterschied zwischen diesen beiden Ansätzen:

• Skalengesetze besagen, dass längere Vortrainingsphasen den Testverlust schrittweise senken werden.
• Was die Menschen wollen, ist ein „besseres“ Modell – egal wie sie dieses definieren.

Diese Definition variiert erheblich. Alltägliche Nutzer beurteilen in der Regel die Qualität von Chats. Praktiker legen Wert auf Genauigkeit bei den spezifischen Aufgaben, für die sie sie einsetzen. Forscher in Spitzlaboren haben oft sehr hohe und sehr spezifische Anforderungen, wie zum Beispiel die Erstellung einer Doktorarbeit oder die Lösung mathematischer Probleme auf Forschungsebene wie jene im FrontierMath-Benchmark. LLMs sind so vielfältig, dass es viele gültige Ansätze zur Bewertung gibt – keiner von ihnen umfasst jedoch alles.

Angesichts dieses Unterschieds wird jede Behauptung, dass das Skalieren „funktioniert“ oder nicht, stets in Frage gestellt. Eine klarere Definition von Erfolg hilft dabei. Wenn die Wissenschaft einen geringeren Verlust bei größeren Modellen vorhersagt, bedeutet das nicht, dass jedes neue Modell jedes Publikum zufriedenstellen wird. Das Nichterreichen eines AGI oder das NichtÜbertreffen preisgekrönter Mathematiker zeigt nicht, dass das Skalieren im technischen Sinne aufgehört hat zu funktionieren. Ein großer Teil der wahrgenommenen Verlangsamung ist vermutlich eher ein Problem der Erwartungen und Wahrnehmung als ein Versagen der zugrundeliegenden Gesetze.

Die Datenversorgung ist begrenzt

Der stärkste Einwand gegen eine weitere Erweiterung der Skalierung beim Vortrainieren betrifft die Daten. Die Skalierung des Vortrainings erfordert eine Vergrößerung sowohl des Modells als auch des Datensatzes. Frühe Arbeiten aus dem Jahr 2020 deuteten darauf hin, dass Daten weniger wichtig seien als Parameter, doch Chinchilla zeigte, dass sie genauso wichtig sind. Darüber hinaus weisen spätere Forschungen zum Übertrainieren darauf hin, dass es mittlerweile üblich ist, kleinere Modelle weit über die für Chinchilla optimale Datensatzgröße hinaus zu trainieren – gerade weil größere Modelle bei der Inferenzzeit kostspielig sind. Diese Praxis erfordert noch mehr Daten pro Parameter.

All das führt zu einem Schluss: Eine weitere Erweiterung der Skalierung beim Vortrainieren benötigt größere Datensätze. Und die meisten aktuellen Vortrainingsdaten stammen aus dem Crawlen im Internet. Es gibt nur ein Internet, und es ist schwierig, in diesem Umfang völlig neue Quellen für hochwertigen Text zu finden.

Sutskever hat genau diesen Argument vorgebracht: Die Rechenleistung wächst rasant, doch die Daten nicht, da sie von Web-Scraping abhängen. Aus dieser Sicht kann das Vortrainieren nicht unbegrenzt skaliert werden, und das Feld benötigt neue Ansätze für Fortschritte. Seine Beschreibung der Situation war, dass wir den „Datenhöhepunkt“ erreicht hätten.

Wege, auf denen das Vortrainieren weiter skaliert werden kann

Abnehmende Rückgewinne sind real, und der Argumentationspunkt bezüglich der Daten ist stichhaltig. Dennoch können mehrere Forschungsrichtungen das Vortrainieren weiter verbessern.

Synthetische Daten und intelligenteres Datenmanagement

Ein weiteres Anwachsen des Vortrainings um mehrere Größenordnungen wird voraussichtlich synthetische Daten erfordern. Es bestehen berechtigte Bedenken, dass eine zu starke Abhängigkeit von generiertem Text die Vielfalt verringert, doch synthetische Daten werden bereits zunehmend für LLMs eingesetzt, wobei die Ergebnisse positiv erscheinen. Neben diesem Ansatz haben kurrikulumsbasierte Herangehensweisen sowie kontinuierliches Vortrainings durch Änderungen der Daten statt des Modells – beispielsweise durch Anpassung der Datenkombination oder Hinzufügen von instruktionsbasierten Daten gegen Ende des Vortrainings – solide Verbesserungen erzielt.

Skalengesetze für von Menschen verständliche Metriken

Gesetze, die auf Verlustwerten beruhen, sind schwer umzusetzen, weshalb neuere Arbeiten Gesetze an interpretierbarere Ziele anpassen. Die zuvor erwähnte Studie zum Übertrainieren verwendet Gesetze, deren Ziele die Bewertungsergebnisse aus dem mit LLM Foundry gelieferten Evaluationsset sind und nicht der Rohverlust. Damit ist es weitaus einfacher umzugehen. Nur wenige wissen, was ein um 5 Prozent niedrigerer Testverlust in der Praxis bedeutet, doch ein Anstieg der Genauigkeit von 85 Prozent auf 90 Prozent bei einem für einen relevanten – ist sofort verständlich. Andere Arbeiten haben diese Idee erweitert, um die Leistung nach dem Nachtrainieren und Quantisieren vorherzusagen sowie zu modellieren, wie sich die Leistung während des eigentlichen Vortrainings entwickelt.

DeepSeek-V3 als Beweis dafür, dass Skalierung weiterhin lohnt

Trotz des Pessimismus führt das Skalieren des Vortrainings weiterhin zu periodischen Sprüngen. DeepSeek-V3 ist ein 671B-Parameter-modell vom Typ Mixture-of-Experts (MoE), das mit 14,8 Tillionen Token trainiert wurde und mit offenen Gewichten veröffentlicht wurde. Sein technischer Bericht zeigt, dass es in den getesteten Benchmarks GPT-4o und Claude 3.5 Sonnet übertrifft. Zum Vergleich wurden Metas Llama 3-Modelle mit mehr als 15 Tillionen Token trainiert.

Den Sieg gegen GPT-4o zu erringen, war ein bedeutender Meilenstein für Modelle mit offenen Gewichten – ein Ziel, das selbst die größten Llama-Modelle noch nicht erreicht hatten. DeepSeek-V3 kombiniert mehrere Techniken:

• Eine optimierte MoE-Architektur, die aus DeepSeek-V2 übernommen wurde.
• Eine Lastausgleichsstrategie für die Experten, die nicht auf einem zusätzlichen Verlustfunktion beruht.
• Ein Trainingsziel für die Vorhersage mehrerer Token auf einmal.
• Die Destillation der Schlussfolgerungsfähigkeit aus einem Modell mit langer Gedankenkette, im Geiste von OpenAI’s o1.

Es durchläuft außerdem ein Nachtrainingsverfahren, das überwachtes Feintunen sowie RLHF umfasst, um es mit menschlichen Präferenzen in Einklang zu bringen. Der Bericht weist darauf hin, dass das Vortrainieren mit 14,8 Tillionen Tokens außergewöhnlich stabil verlief, ohne unkorrigierbare Anstiege des Verlusts und ohne Notwendigkeit von Rollbacks.

Trotzdem liegt der Hauptgrund für seine Stärke in der reinen Größenordnung: ein sehr großes Modell, das auf einem entsprechend großen Datensatz trainiert wurde. Solch große Trainingssitzungen sind aus vielen Gründen schwierig, darunter Hardwarefehler und Anstiege des Verlusts, weshalb ein stabiler Ablauf zu Kosten, die nach den Standards von LLMs angemessen sind, an sich bemerkenswert ist. Dies deutet darauf hin, dass sehr große Vortrainingsaufgaben im Laufe der Zeit einfacher zu verwalten und effizienter werden. Betrachten Sie die spezifischen Benchmark-Vergleiche als Momentaufnahme, da sich die Rangliste seitdem weiterentwickelt hat.

Eine weitere Größenordnung ist ein Ingenieurprojekt

Eine echte Weiterentwicklung der Skalierungsgesetze bedeutet, Modelle in mehreren Größenordnungen über denen der heutigen Modelle zu trainieren. Unabhängig davon, was man vom Wert dessen hält, gibt es strenge praktische Einschränkungen. Dafür sind folgende Dinge erforderlich:

• Größere Rechencluster.
• Mehr und bessere Hardware.
• Sehr große Mengen an elektrischer Energie.
• Neue Algorithmen, beispielsweise für das verteilte Training in größerem Maßstab, möglicherweise über mehrere Rechenzentren hinweg.

Die nächste Generation entsteht nicht einfach dadurch, dass man mehr GPUs kauft. Es handelt sich dabei um eine interdisziplinäre Ingenieurleistung, die Zeit in Anspruch nimmt. Zur Orientierung: GPT-4 erschien im März 2023, fast drei Jahre nach GPT-3. Es ist vernünftig, mit einem ähnlichen oder längeren Zeitraum zwischen jedem weiteren Zehn- bis Hundertfach-Anstieg der Skalierung zu rechnen. Ege Erdil von Epoch AI hat diese Dynamik gut zusammengefasst: Jeder Anstieg um eine Größenordnung erfordert eigene Innovationen.

Woher kommt Fortschritt, wenn das Vortrainieren ins Stocken gerät: Verstärkungslernen und Rechenleistung zur Testzeit

Nehmen wir rein zum Argumentationszweck an, dass die Fortschritte beim Vortrainieren morgen aufhören würden. Die KI-Forschung hätte dennoch viel Raum, schnell voranzukommen. Synthetische Daten sind bereits ein beschriebener Ansatz. Zwei weitere sind derzeit besonders aktiv:

1. LLM-Systeme und -Agenten.
2. Reasoning-Modelle.

Mehr aus bestehenden Modellen mit LLM-Systemen herausholen

Jenseits des Paradigmas der einzelnen Anfrage

Die meisten heutigen LLM-Anwendungen folgen dem Muster eines einzigen Modells: Die Aufgabe wird an ein Modell gesendet und dessen Ausgabe direkt als Antwort verwendet. Wenn man möchte, dass dieses System schwierigere Aufgaben genauer bewältigt, ist die offensichtliche Lösung ein besseres zugrundeliegendes Modell – doch das bedeutet, auf die nächste Generation warten zu müssen. Eine Alternative besteht darin, ein System zu entwickeln, das mehrere LLM-Aufrufe oder andere Komponenten kombiniert, um die Aufgabe zu lösen.

Zerlegung und Kettung

Die Kernidee eines LLM-Systems besteht darin, eine komplexe Aufgabe in Teile aufzuteilen, die für ein Modell oder ein anderes Modul leichter zu handhaben sind. Es gibt zwei Hauptstrategien:

1. Aufgabenzerlegung: Die Aufgabe wird in Unteraufgaben aufgeteilt, jede wird unabhängig gelöst und die Ergebnisse zu einer endgültigen Antwort zusammengeführt.
2. Kettung: Eine Aufgabe oder Unteraufgabe wird durch eine Abfolge von LLM-Aufrufen statt durch einen einzigen Aufruf gelöst.

Sie können einzeln oder zusammen verwendet werden. Nehmen Sie ein System, das Bücher zusammenfasst. Sie können die Aufgabe durch das Zusammenfassen jedes Kapitels zuerst aufteilen. Von dort aus können Sie entweder:

• Weiter aufteilen, indem Sie Kapitel in kleinere Textabschnitte zerlegen – das ist die Idee hinter rekursivem oder hierarchischem Zusammenfassen.
• Aufrufe hintereinander schalten, zum Beispiel indem ein erster Aufruf die wichtigsten Fakten aus einem Kapitel extrahiert und ein zweiter Aufruf den Kapitelsatz aus diesen Fakten erstellt.

Schließlich fasst ein weiterer Aufruf die zusammengefügten Kapitelsätze zu einem Zusammenfassung des gesamten Buches zusammen. Die komplexesten Aufgaben können auf diese Weise in einfache Teile zerlegt werden, was LLM-Systeme so mächtig macht. Je ausgefeilter die Aufteilung und Verknüpfung der Aufrufe werden, desto anspruchsvollere Softwarekomponenten entstehen, und ihre gute Gestaltung stellt ein eigenständiges, bedeutendes Feld der angewandten KI dar.

Produkte entwickeln, die Menschen tatsächlich nutzen

Trotz all der Aufmerksamkeit, die Large Language Models erhalten, bleibt die Anzahl praktischer, weit verbreiteter Anwendungsfälle noch gering. Die größten heute sind die Codegenerierung und der Chat – beides recht offensichtliche Einsatzmöglichkeiten für diese Technologie.

Es gibt viele Bereiche, in denen Large Language Models nützlich sein könnten, es aber noch nicht tun, weshalb die Entwicklung wirklich hilfreicher Produkte, die auf Large Language Models basieren, an sich ein wichtiges Forschungs- und Ingenieurproblem darstellt. Fähige Modelle existieren bereits; sie in etwas zu verwandeln, das Menschen nutzen möchten, ist eine andere Herausforderung, die darin besteht, zuverlässige, leistungsstarke Systeme um diese Modelle herum zu entwickeln.

Agenten: Werkzeuge und Aktionen

Die Grenze zwischen einem LLM-System und einem Agenten ist verschwommen, teilweise weil „Agent“ zu einem überbelasteten Begriff geworden ist. Entscheidend ist, dass LLM-Systeme in vielen nützlichen Richtungen erweitert werden können. Ein Modell kann dazu trainiert werden, beim Lösen eines Problems Tools wie einen Taschenrechner oder eine Suchmaschine aufzurufen. Es kann Code ausführen, den es selbst geschrieben hat, oder im Auftrag eines Benutzers Aktionen ausführen, wie zum Beispiel ein Hotel zu buchen oder eine E-Mail zu senden. Die Vielfalt an Tools und Modulen, die man an ein Modell anhängen kann, bietet nahezu unbegrenzte Möglichkeiten, leistungsfähigere Systeme zu entwickeln. Wenn Sie ein konkretes Bild davon haben möchten, wie der Agentenzyklus strukturiert ist, behandelt unser Leitfaden zu Zielen, Tools, Speicher und dem Agentenzyklus dieses Thema ausführlich.

Robustheit ist das eigentliche Engpassproblem

Die Zuverlässigkeit ist eines der größten Hindernisse für leistungsfähigere Systeme, und die Mathematik erklärt, warum. Angenommen, ein System führt zehn Aufrufe an LLMs durch, wobei jeder Aufruf zu 95 % erfolgreich ist, und alle zehn müssen erfolgreich sein, damit das Endergebnis korrekt ist. Das System als Ganzes ist nur zu etwa 60 % erfolgreich, da 0,95^10 ungefähr 0,60 beträgt. Jeder einzelne Bestandteil scheint für sich genommen zuverlässig zu sein, doch der gesamte Prozess scheitert viermal in zehn Fällen.

Das Hinzufügen weiterer Schritte verschlimmert die Situation multiplikativ, wodurch eine Obergrenze für die Komplexität eines Systems festgelegt wird, bevor es unbrauchbar wird. Um größere Systeme zu erstellen, ist es daher notwendig, jede Komponente deutlich zuverlässiger zu machen. Einige Hinweise deuten darauf hin, dass die Skalierung selbst die Robustheit verbessert. Ein weiterer Hebel sind bessere Meta-Generierungsalgorithmen. Anstatt nur eine einzige Ausgabe des Modells zu verwenden, wenden diese Methoden Techniken wie paralleles Dekodieren, schrittweises Überprüfen sowie Kritiken an, um eine präzisere und genauere Ausgabe zu erzielen. Eine umfassende Übersicht zu diesem Bereich ist der Artikel „From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models.“

Diese Forschungsrichtung entwickelt sich rasant und wird voraussichtlich ein wichtiger Treiber für Fortschritte sein. Mit der Verbesserung der Meta-Generierung werden Modelle zuverlässiger, und komplexere LLM- sowie Agentensysteme werden praktikabel.

Eine praktische Folgerung für alle, die solche Systeme entwickeln: Bevor man einen weiteren Schritt in einen Pipeline-Prozess einfügt, sollte man die Gesamterfolgsrate durch Multiplikation der Erfolgsraten der einzelnen Schritte schätzen und prüfen, ob ein Überprüfungs- oder Wiederholungsschritt das schwächste Glied kostengünstiger stärken kann als die Hinzufügung von Funktionen an anderer Stelle.

Reasoning-Modelle und eine neue Skalierungsachse

Frühe LLMs wurden oft als Mustererkennungsprogramme abgetan, die Daten auswendig lernten und nicht wirklich reasoning fähig waren. Diese Kritik wurde in den letzten Jahren größtenteils widerlegt. Das neuere Bild zeigt, dass diese Modelle vermutlich von Anfang an über eine latente Reasoning-Fähigkeit verfügten und dass die richtige Anleitung oder Trainingsmethode diese Fähigkeit hervorbringt.

Chain of Thought

Chain-of-thought (CoT)-Anreize waren eine der ersten Techniken, die dies zeigten. Es handelt sich dabei rein um eine Methode des Anregens: Man bittet das Modell, seine Überlegungen vor der Abgabe der endgültigen Antwort zu erläutern. Wenn das Modell vor der Antwort schrittweise seine Begründung darlegt, verbessert sich seine Fähigkeit zur logischen Schlussfolgerung erheblich. Ein zusätzlicher Vorteil ist, dass die Begründung für Menschen lesbar ist, was die Interpretation der Ausgabe erleichtert.

Die Idee ist einfach und allgemeingültig und hat sich zu einem zentralen Element bei der Verbesserung der logischen Schlussfolgerungsfähigkeit von LLMs entwickelt. Sie wurde in vielen Formen wiederverwendet:

• LLM-as-a-judge-Bewerter schreiben in der Regel eine Begründung für die Bewertung, bevor sie ihre endgültige Punktzahl festlegen.
• Es wurden methodische Ansätze des überwachten Feintunings sowie des Anweisungstunings entwickelt, um kleinere oder offene Modelle dazu zu bringen, bessere Gedankenketten zu erzeugen.

Modelle werden oft aufgefordert, über ihre eigenen Ergebnisse nachzudenken, sie zu kritisieren oder zu überprüfen und diese anschließend anhand dieser Rückmeldungen zu überarbeiten.

Komplexe Reasoning-Verfahren bleiben ein dynamisch entwickeltes Forschungsfeld. Trainingsmethoden, die Modelle lehren, Schritt-für-Schritt-Überprüfungen in ihr Reasoning einzubeziehen, haben vielversprechende Ergebnisse gezeigt, und es ist wahrscheinlich, dass weitere Fortschritte erzielt werden, sobald bessere Trainingsstrategien auftauchen.

o1: Vor dem Antworten nachdenken

OpenAI’s o1 war ein wichtiger Schritt bei der Schlussfolgerungsleistung von LLMs, und sein Ansatz basiert auf Ketten des Denkens. Genau wie ein Mensch vor dem Beantworten einer schwierigen Frage nachdenkt, verbringt o1 Zeit damit, „nachzudenken“, bevor es antwortet. Konkret handelt es sich bei seinen Gedanken um lange Ketten des Denkens, in denen das Modell das Problem durchdenkt, es in einfachere Schritte unterteilt, verschiedene Ansätze ausprobiert und seine eigenen Fehler korrigiert. OpenAI beschreibt es als ein mit Verstärkungslernen trainiertes Modell zur Schlussfolgerung, das vor der Antwort eine lange interne Kette des Denkens erzeugen kann.

Das genaue Trainingsverfahren wurde nicht veröffentlicht. OpenAI gibt an, dass o1 durch einen „großskaligen Verstärkungslernalgorithmus“ lernt, der „sehr dateneffizient“ ist und darauf abzielt, die Fähigkeit des Modells zu verbessern, nützliche Gedankenketten zu erzeugen. Offizielle Stellungnahmen von OpenAI-Forschern deuten darauf hin, dass das Modell ausschließlich mit Verstärkungslernen trainiert wird, was früheren Spekulationen widerspricht, wonach o1 zur Inferenzzeit eine Art Baumsuche durchführt.

Bei Aufgaben, die viel logisches Denken erfordern, übertrifft o1 fast in allen Bereichen GPT-4o. Unter den von OpenAI veröffentlichten Ergebnissen zeigt das Modell:

• Eine Leistung im 89. Perzentil bei Wettbewerbsprogrammierproblemen von Codeforces.
• Eine Leistung auf dem Niveau der besten 500 US-Studenten bei der AIME, einer Qualifikationsprüfung für die USA Math Olympiad.
• Übertreffen Sie die Genauigkeit menschlicher Experten auf Doktorebene bei Fragen zu Physik, Biologie und Chemie auf Graduiertenniveau gemäß dem GPQA-Benchmark.

Von o1 zu o3: Skalierung der Trainings- und Inferenzrechenleistung

Eine der interessantesten Eigenschaften von o1 ist, dass man mit mehr Inferenzrechenleistung eine höhere Denkfähigkeit erlangen kann. Um schwierigere Probleme zu bewältigen, erstellt das Modell einfach längere Gedankenketten, und der Einsatz mehr Rechenleistung während der Inferenzzeit für diese längeren Ketten führt zu einer kontinuierlichen Verbesserung der Denkleistung. Laut OpenAI verbessert sich o1 durch zwei unabhängige Faktoren: die Menge an Verstärkungslernen während des Trainings (Rechenleistung zum Trainieren) sowie die Länge der Überlegungszeit pro Frage (Rechenleistung zum Testen).

Dasselbe gilt für das Training: o1 wird mit zunehmender Rechenleistung im Rahmen des Verstärkungslernens stetig besser. Das ist offenbar der Weg, der zu o3 führte. OpenAI präsentierte Ende 2024 die Bewertungsergebnisse von o3 und gab nur wenige Details preis, doch da es erst etwa drei Monate nach o1 erschien, handelt es sich höchstwahrscheinlich um eine erweiterte Version von o1 mit mehr Rechenleistung für das Verstärkungslernen.

Zu Zeit dieser Vorstellung war o3 noch nicht veröffentlicht, und die vorläufigen Werte waren beeindruckend:

• 87,5 % im ARC-AGI-Benchmark, während GPT-4o nur 5 % erreichte. Dadurch wurde o3 das erste Modell, das die 85-%-Marke auf dem Niveau eines Menschen im ARC-AGI-Benchmark überschritt – einem als „North Star“ für AGI bezeichneten Benchmark, der seit mehr als fünf Jahren ungeschlagen geblieben war. Dieser Spitzenwert entstand durch eine Konfiguration mit hoher Rechenleistung.
• 71,7 % bei der SWE-Bench-Überprüfung sowie eine Codeforces-Elo-Wertung von 2727, was es zu einem der 200 besten Wettbewerbsprogrammierer der Welt machen würde.
• 25,2 % beim FrontierMath-Benchmark von Epoch AI, was eine Verbesserung gegenüber dem bisherigen Rekord von 2,0 % darstellt. Terence Tao beschrieb diesen Benchmark als äußerst schwierig und erwartete, dass er künstlichen Intelligenzsystemen mindestens einige Jahre lang standhalten würde.

Gleichzeitig wurde eine vereinfachte Variante namens o3-mini vorgestellt, die mit deutlich besserer Recheneffizienz starke Ergebnisse zeigte. Es handelte sich dabei um Vorabwerte aus einer einzigen Ankündigung; prüfen Sie die aktuelle Dokumentation sowie unabhängige Bewertungen, um zu erfahren, wie sich die veröffentlichten Modelle vergleichen.

Warum dies ein neues Skalierungsparadigma ist

Falls die Diagramme o1 und o3 Ihnen jetzt vertraut vorkommen, liegt das daran, dass es sich um denselben Diagrammtyp handelt, um den es in diesem gesamten Artikel geht: eine Berechnung im logarithmischen Maßstab auf der x-Achse sowie ein gleichmäßiger, gerader Anstieg der Leistung. Mit anderen Worten zeigen diese Reasoning-Modelle eine klare Potenzgesetzesbeziehung zwischen Leistung und zwei Größen:

• Die für das Reinforcement Learning aufgewendete Rechenleistung während des Trainings.
• Die für das Denken aufgewendete Rechenleistung während der Inferenz.

Das unterscheidet sich von klassischen Skalengesetzen. Anstatt die Vortraining-Leistung zu skalieren, wird die für das Nachtraining und die Inferenz aufgewendete Rechenleistung skaliert. Es handelt sich dabei um eine wirklich neue Skalenachse, und die bisherigen Ergebnisse sind überzeugend. Sie zeigen, dass es Möglichkeiten gibt, über das Vortraining hinaus zu skalieren, und dass das Feld bereits den nächsten Hügel zum Besteigen gefunden hat. Die Form mag sich ändern, doch die Skalierung bleibt weiterhin der Motor des Fortschritts.

Eine ingenieurtechnische Folge ist es wert, klar dargelegt zu werden. Wenn die Qualität mit der Rechenleistung für Schlussfolgerungen zunimmt, werden die Kosten und die Latenz pro Anfrage zu anpassbaren Einstellmöglichkeiten für die Qualität anstelle zu festen Eigenschaften eines Modells. Das verändert die Art und Weise, wie man Budgets festlegt und Anwendungen entwirft: Komplexere Abfragen können an einen längeren Berechnungsprozess weitergeleitet werden, während einfachere Abfragen kostengünstig bleiben.

Was man beim Lesen eines Skalierungsdiagramms beachten sollte

• Ein Skalierungsgesetz ist ein Potenzgesetz zwischen einer Ressource (Parameter, Daten oder Rechenleistung) und dem Testverlust. Die Gerade in einem Log-Log-Diagramm verdeckt eine rasch abnehmende Effizienz, sodass jede weitere Verbesserung multipel mehr kostet.
• Die Gesetze gelten nur dann, wenn andere Faktoren nicht zum Engpass werden – deshalb müssen Daten, Parameter und Rechenleistung gemeinsam wachsen.

Chinchilla hat den früheren Rat umgekehrt: Bei einem festen Trainingsbudget sollten Größe des Modells und Datenmenge proportional zunehmen, und viele frühere Modelle waren stark untertrainiert. Die Kosten für den Betrieb zwingen Teams oft dazu, kleinere Modelle mit noch mehr Daten zu trainieren.

Der Hauptpraktische Nutzen von Skalierungsgesetzen besteht in der Risikoreduzierung: Man wendet sie bei günstigen Berechnungen an, um die Ergebnisse für teure Berechnungen vorherzusagen, wie es der GPT-4-Bericht sowohl für den Verlustwert als auch für die Bestehensrate bei HumanEval getan hat.

Die wahrgenommene Verlangsamung resultiert aus drei Faktoren: den von der Mathematik vorhergesagten abnehmenden Erträgen, dem Unterschied zwischen dem Verlustwert und dem, was Nutzer wertschätzen, sowie der langen Entwicklungszeit für Modelle der nächsten Größenordnung. Die begrenzte Verfügbarkeit von Webdaten ist die größte Einschränkung beim Vortrainieren.

Der Fortschritt hängt nicht allein vom Vortraining ab. Gut konzipierte LLM-Systeme benötigen vor allem Robustheit, da sich die Fehlerraten pro Schritt summieren, und Reasoning-Modelle zeigen, dass das Reinforcement Learning während des Trainings sowie das Denken während der Inferenz ihre eigenen Skalierungskurven haben.

Die wichtige Frage ist nicht mehr, ob die Skalierung weitergeht, sondern welche Ressource skaliert wird und ob die Vorteile in den Metriken zum Ausdruck kommen, die für Sie wirklich relevant sind.