Von GPT-1 zu Reasoning-Modellen: Was jede Generation für Entwickler verändert hat
Verfolgen Sie die Entwicklung der GPT-Familie vom Vortraining im Jahr 2018 bis zu den Reasoning-Modellen, erkennen Sie, welche Ideen jede Generation hinzugefügt hat, und bezeichnen Sie GPT-4o Vision sowie Structured Outputs von Python.
Quellen: The GPT Timeline: How OpenAI Built the Brains of Modern AI
Jeder API-Aufruf, den Sie an ein modernes Sprachmodell senden, beruht auf einer Handvoll Konzepten, die schrittweise entwickelt wurden: generatives Vortraining, Skalierbarkeit, Lernen im Kontext, Ausrichtung an menschlichen Rückmeldungen, native Multimodalität sowie zusätzliche Rechenleistung während der Inferenz. Zu wissen, aus welcher Quelle jedes Konzept stammt, macht es viel einfacher zu verstehen, was ein Modell kann, warum es versagt und welche API-Funktionen man nutzen sollte. Diese Übersicht verfolgt die Entwicklung der GPT-Reihe von ihren Anfängen im Jahr 2018 bis zu den auf logisches Denken ausgerichteten Modellen und schließt mit zwei praktischen Python-Beispielen für GPT-4o ab.
Vor GPT: Warum der Transformer wichtig war
Bis etwa 2018 beruhte die Mehrheit der Verarbeitung natürlicher Sprache auf rekurrenten neuronalen Netzen sowie deren LSTM-Variante. Diese Modelle lasen den Text Token für Token, was eine Parallelisierung des Trainings erschwerte und dazu führte, dass Informationen aus frühen Teilen langer Texte bereits vor dem Ende verloren gingen.
Im Jahr 2017 präsentierte ein Forschungspapier von Google mit dem Titel „Attention Is All You Need“ die Transformer-Architektur. Dabei wurde die Rekursion durch Selbstaufmerksamkeit ersetzt, wodurch jede Position in einer Sequenz direkt auf jede andere reagieren konnte. OpenAI baute seine GPT-(Generative Pre-trained Transformer)-Reihe auf dieser Architektur auf und veröffentlichte im Juni 2018 das Paper „Improving Language Understanding by Generative Pre-Training“, das zu dieser Zeit nur wenige als den Beginn eines bedeutenden Wandels in der Informatik erkannten.
2018 bis 2019: Vortraining und die Vorteile der Skalierung
GPT-1: Zuerst Vortraining, anschließend Feintuning
Das erste Modell war nach heutigen Maßstäben bescheiden:
- 117 Millionen Parameter
- ein rein dekodierender Transformer mit 12 Schichten
- getrainiert auf BooksCorpus, etwa 5 GB an Text
Ihr Beitrag bestand aus einem zweistufigen Ansatz. Zunächst ermöglichte das unüberwachte Vortraining am Rohtext dem Modell, Grammatik, faktenbezogene Zusammenhänge sowie die Sprachstruktur einfach durch das Vorhersagen des nächsten Tokens zu erlernen. Anschließend reichte eine geringe Menge an überwachtem Feintuning für eine bestimmte Aufgabe, wie beispielsweise die Sentimentanalyse oder Klassifizierung, aus, um state-of-the-art Ergebnisse zu erzielen – ohne für jede Aufgabe eine eigene Architektur entwerfen zu müssen.
GPT-2: Erscheinen von Zero-Shot-Fähigkeiten
Der nächste Schritt betraf hauptsächlich die Größe:
- 1,5 Milliarden Parameter, etwa zehnmal so viel wie bei GPT-1
Durch ausreichende Größenordnungen wurde die Feinabstimmung für viele Aufgaben überflüssig. GPT-2 zeigte Zero-Shot-Lernen: Ein Prompt wie „Übersetzen ins Französische:“ konnte es dazu bringen, eine Aufgabe zu bewältigen, für die es nicht explizit trainiert worden war – allein weil die Fortsetzung des Textes vermutlich eine Übersetzung erforderte.
GPT-2 ist auch wegen der Art und Weise bekannt, wie es veröffentlicht wurde. OpenAI hielt das vollständige Modell zunächst zurück, aus Sorge, es könnte zur Massenproduktion von Fake News und Spam genutzt werden, und veröffentlichte es in Etappen. Diese Entscheidung löste eine anhaltende öffentliche Debatte über die Sicherheit künstlicher Intelligenz sowie darüber aus, ob leistungsstarke Modelle offengelegt werden sollten.
2020 bis 2022: In-Context-Lernen und Ausrichtung
GPT-3: Beispiele im Prompt
GPT-3 brachte das Modell vom Forschungsbereich in den kommerziellen Produktbereich:
- 175 Milliarden Parameter, mehr als hundertmal so viele wie bei GPT-2
- trainiert mit einer Mischung aus gefiltertem Webtext, Büchern und Wikipedia, basierend auf etwa 45 TB Rohdaten vor dem Filtern
Ihre herausragende Fähigkeit war das skalierte Lernen anhand weniger Beispiele. Wenn man zwei oder drei funktionierende Beispiele in die Anfrage gab, setzte das Modell das Muster fort – egal ob beim Schreiben von Code, Gedichten oder beim Extrahieren von Feldern aus unstrukturierten Daten. Dies ist Lernen im Kontext: Das Modell passt sich allein anhand der Anfrage an, ohne Gewichtsanpassungen.
Die Basisversion von GPT-3 hatte jedoch eine ernsthafte Einschränkung. Sie war nur darauf trainiert, Texte fortzusetzen, nicht als hilfreicher Assistent zu fungieren, weshalb sie oft Fakten erfand, vom Thema abkam oder ignorierte, was von ihr verlangt wurde. Das Diagramm unten fasst die anschließende Lösung zusammen: Die Anpassung anhand menschlicher Rückmeldungen verwandelt einen reinen Textvorhersager in ein modell, das Anweisungen befolgt.
[Raw Pre-training] --> Predicts likely text continuations (often rambling or toxic)
│
▼ + RLHF (Human Feedback Alignment)
[InstructGPT Engine] --> Follows instructions safely and concisely
InstructGPT und ChatGPT: Lernen aus menschlichen Präferenzen
Die Lösung bestand aus dem Reinforcement Learning from Human Feedback (RLHF). Menschen bewerteten die Ausgaben des Modells, ein Belohnungsmodell lernte diese Präferenzen und das Sprachmodell wurde anschließend so optimiert, dass es Antworten lieferte, die den Menschen zusagten. Die daraus entstandenen InstructGPT-Modelle befolgten Anweisungen weitaus direkter und nützlicher.
Am 30. November 2022 launchte OpenAI ChatGPT, das auf der GPT-3.5-Serie basiert. Die Kombination aus mehrteiligen Gesprächen und durch RLHF angepasstem Verhalten führte dazu, dass ChatGPT als das am schnellsten wachsende Consumer-Application bis zu diesem Zeitpunkt gelistet wurde – schätzungsweise erreichte es innerhalb von etwa zwei Monaten 100 Millionen Nutzer.
2023 bis 2024: professionelles Denken und Multimodalität
GPT-4: stärkeres Denken, Bilder und Tools
GPT-4, das im März 2023 veröffentlicht wurde, lenkte den Fokus von fließendem Textverarbeitung auf das Denken bei akademischen und beruflichen Aufgaben. OpenAI meldete Ergebnisse wie eine Punktzahl im Bereich des 90. Perzentils bei einem simulierten Uniform Bar Exam sowie starke Leistungen in vielen AP-Prüfungen. Zudem wurde die Bildverarbeitung hinzugefügt, und die GPT-4-Familie erhielt Funktionen, auf die Entwickler heute täglich angewiesen sind: Ausgaben im JSON-Format, Aufruf von Funktionen sowie Nutzung von Werkzeugen wie Codeausführung und Websuche.
Zwei Details werden oft falsch dargestellt. OpenAI hat die Architektur von GPT-4 nicht offiziell veröffentlicht; die weit verbreitete Behauptung, es handele sich um ein Mixture-of-Experts-Modell, stammt aus unbestätigten Berichten. Zudem kam das 128k-Token-Context-Fenster erst mit GPT-4 Turbo Ende 2023 hinzu, nicht bereits bei der ursprünglichen Veröffentlichung im März, die deutlich kleinere Fenster bot.
GPT-4o: ein Netzwerk für Text, Bild und Audio
Zuvor bestanden Sprachsysteme aus mehreren Komponenten: Ein Modell transkribierte die Sprache, ein Sprachmodell erzeugte den Text und eine separate Engine synthetisierte das Audio. GPT-4o, wobei das „o“ für „omni“ steht, verarbeitet Texte, Bilder und Audio in einem einzigen end-to-end-Netzwerk. Durch das Wegfallen dieser Zwischenschritte sank die Sprachverzögerung auf etwa 200 ms, und das Modell konnte nicht nur Wörter, sondern auch den Tonfall wahrnehmen und erzeugen.
Reasoning-Modelle: Rechenleistung während der Inferenz
Da es immer schwieriger wurde, Vorteile durch immer längere Trainingsläufe zu erzielen und hochwertige Trainingsdaten zunehmend zur Beschränkung wurden, richtete sich die Aufmerksamkeit auf die Rechenleistung zum Zeitpunkt der Auswertung: Dabei wird dem Modell erlaubt, vor der Antwort zu überlegen. Der Kontrast ist einfach: Eine klassische GPT-Antwort beginnt bereits beim Eintreffen der Anfrage mit dem Ausgeben von Tokens, während ein reasoningfähiges Modell zunächst eine interne Gedankenkette durchläuft und erst danach seine endgültige Antwort liefert.
Traditional GPT Response: Prompt ──> Immediate Word-by-Word Streaming
o-Series Response: Prompt ──> Internal Chain-of-Thought (Deliberation) ──> Final Answer
OpenAI’s o1- und o3-Serien sind auf diese Weise konzipiert. Anstatt sofort zum nächsten Wort überzugehen, verwendet das Modell zusätzliche Rechenleistung, um Randfälle zu untersuchen, Zwischenschritte zu überprüfen und seinen eigenen Code zu debuggen – was insbesondere bei mathematischen Aufgaben, Wettbewerbsprogrammierung und mehrschrittiger Logik Vorteile bringt. Der Preis dafür sind höhere Latenzzeiten und Kosten, weshalb sie für Probleme reserviert sein sollten, die Überlegung erfordern.
Arbeiten mit GPT-4o in Python
Die Geschichte erklärt, warum GPT-4o die tägliche Entwicklung verändert hat: Anstelle einer Kombination aus einem Vision-Modell, einem Sprachmodell und einem Sprachsynthesizer kann eine einzige API-Aufrufung gemischte Eingaben entgegennehmen. Zwei Beispiele zeigen die nützlichsten Funktionen für Entwickler.
Senden von Bild und Text in einer Anfrage
Mit GPT-4o können Sie Text und Bilder nebeneinander im content-Array einer einzigen Benachrichtigung platzieren. Ein Bild kann entweder über eine öffentliche URL oder als base64-kodierte Daten übermittelt werden. Das untenstehende Beispiel verwendet die offizielle Python-SDK, liest den API-Schlüssel aus einer Umgebungsvariable ab, bittet das Modell, ein Foto von Beton auf Risse zu überprüfen und deren Schweregrad einzuschätzen, begrenzt die Antwort mit max_tokens und gibt den Text der ersten Auswahl aus.
import os
from openai import OpenAI
client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))
# Sending a visual inspection query directly to GPT-4o
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Analyze this image for architectural structural damage. Identify any cracks and rate severity."
},
{
"type": "image_url",
"image_url": {
"url": "https://upload.wikimedia.org/wikipedia/commons/e/e1/Concrete_crack_example.jpg"
},
},
],
}
],
max_tokens=500,
)
print(response.choices[0].message.content)
Der Inhalt besteht aus einer Liste von typisierten Elementen (text und image_url), wodurch Sie mehrere Bilder und Anweisungen auf einmal kombinieren können. Betrachten Sie die Ausgabe als Bewertung zum Überprüfen; alles, was mit Sicherheit zu tun hat, benötigt weiterhin einen Experten.
Schema-korrektes JSON mit Strukturierten Ausgaben erhalten
Zuvor bedeutete das zuverlässige Extrahieren von JSON aus einem Modell sorgfältiges Formulieren der Anfragen sowie defensives Parsen mit regulären Ausdrücken. Strukturierte Ausgaben lösen dieses Problem bereits in der Dekodierungsphase: Die Sampling-Prozesse des Modells werden eingeschränkt, sodass die Ausgabe dem von Ihnen bereitgestellten JSON-Schema entsprechen muss. Mit strengen Schemata beschreibt OpenAI dies als Garantie für Konformität mit dem Schema, was stärker ist als der ältere „JSON-Modus“, der nur syntaktisch korrektes JSON garantierte.
In Python ist der praktischste Ansatz Pydantic. Das Beispiel definiert ein Entity-Modell sowie ein ArticleAnalysis-Modell mit einem Titel, einer Zusammenfassung, einer Sentiment-Wert zwischen -1,0 und 1,0 sowie einer Liste von Entitäten, gibt anschließend die Klasse als response_format an den parse-Hilfsfunktion des SDKs weiter. Die Hilfsfunktion wandelt die Klasse in ein JSON-Schema um, sendet es zusammen mit der Anfrage und gibt ein typisiertes Objekt in message.parsed zurück.
from openai import OpenAI
from pydantic import BaseModel, Field
from typing import List
client = OpenAI()
# Define the exact JSON schema required by your database
class Entity(BaseModel):
name: str
category: str = Field(description="Person, Organization, Location, or Date")
class ArticleAnalysis(BaseModel):
title: str
summary: str
sentiment_score: float = Field(description="Score between -1.0 and 1.0")
key_entities: List[Entity]
# Pass the schema directly into the completion request
completion = client.beta.chat.completions.parse(
model="gpt-4o",
messages=[
{"role": "system", "content": "You are an automated intelligence parser."},
{"role": "user", "content": "OpenAI CEO Sam Altman announced new developer tooling in San Francisco today."}
],
response_format=ArticleAnalysis,
)
# Extract type-safe output directly as a Python object
result: ArticleAnalysis = completion.choices[0].message.parsed
print(f"Summary: {result.summary}")
print(f"Entities: {result.key_entities}")
Zwei praktische Hinweise. Der Helper befand sich bei Einführung dieser Funktion unter client.beta, und neuere SDK-Versionen stellen ihn auch außerhalb des Beta-Namensraums zur Verfügung – überprüfen Sie daher die SDK-Version, die Ihr Projekt verwendet. Obwohl das Schema garantiert ist, gilt das nicht für die Werte: Ein Sentiment-Score ist zwar eine Zahl, doch ob es sich um eine sinnvolle Zahl handelt, bleibt eine Entscheidung des Modells. Behandeln Sie Ablehnungen und überprüfen Sie Geschäftsregeln wie bei jeder externen Eingabe.
Ein Überblick über die GPT-Familie
- GPT-1 (2018): 117 Mio. Parameter; zeigte, dass generatives Vortrainieren in Kombination mit leichter Feinabstimmung funktioniert.
- GPT-2 (2019): 1,5 Mrd. Parameter; Leistung bei Aufgaben ohne Vorbereitung sowie schrittweiser, sicherheitsorientierter Release.
- GPT-3 (2020): 175 Mrd. Parameter; skalierbares Lernen im Kontext mit wenigen Beispielen.
Was diese Entwicklung für Ihr Technologiestack bedeutet
- Allein die Skalierung ist nicht mehr entscheidend. Die frühen Fortschritte resultierten aus der Anzahl der Parameter (117 Mio., dann 1,5 Mrd., anschließend 175 Mrd.); spätere Fortschritte kamen vor allem durch Anpassungstechniken wie RLHF, multimodale Vereinigung sowie Überlegungen während des Tests.
- Modelle, die von der Autocomplete-Funktion in die Aktionsoberfläche verschoben wurden. Die aktuellen Modelle planen, rufen Funktionen auf und koordinieren mehrschrittige Werkzeugworkflows – weshalb das Design von Agenten heute ein zentrales Thema in der Ingenieurwissenschaft ist.
- Prognostizierbarkeit ist eine Eigenschaft, die Sie nutzen können. Structured Outputs ermöglichen es Ihnen, die Ausgabe eines Modells in kodierte Codepfade mit einem festen Schema einzubinden, anstatt freien Text zu analysieren.
- Effizienz konkurriert nun mit der reinen Größe. Kleinere Varianten wie GPT-4o mini sowie gezielte Reasoning-Modelle übertrumpfen oft die größten Modelle hinsichtlich Kosten und Latenzzeit für eine bestimmte Aufgabe – wählen Sie daher je nach Arbeitslast statt nach den generellen Leistungsmerkmalen.
Die Entwicklung mit diesen Modellen dreht sich zunehmend darum, Systeme aus Modellen, Werkzeugen und Schemata zusammenzustellen, anstatt nur einen einzigen Prompt zu senden.