Wofür GPT wirklich steht und warum KI-Engineering immer noch Engineering ist

Viele Entwickler können sagen, was GPT tut, ohne sagen zu können, was es ist. Man benutzt jahrelang die Wörter "GPT", "LLM", "Transformer", "Embeddings" und "RAG", und das fühlt sich nach Verständnis an, bis man einen strukturierten Kurs zu KI-Engineering durchläuft und merkt, dass unter jedem dieser Wörter ein ganzer Keller liegt. Ein siebentägiger Sprint reicht, um das herauszufinden.

Generative, pre-trained, transformer

Die Abkürzung GPT steht für Generative Pre-trained Transformer. Das klingt einfach, bis man fragt, was jedes einzelne Wort leistet.

Generative heißt, dass das Modell Inhalte erzeugt. Bei einem Sprachmodell ist das Text, der entsteht, indem es anhand früher gelernter Muster vorhersagt, was als Nächstes kommen sollte. Pre-trained heißt, dass man es nicht mit einem leeren Modell zu tun hat: Ein großes Training auf riesigen Datenmengen ist schon vor dem ersten Prompt gelaufen.

Transformer ist das Wort, bei dem viele ins Stocken geraten. Es klingt wie ein Produktname, bezeichnet aber eine ganze Architektur, und eine ihrer zentralen Ideen ist Attention.

Attention und das Händeschüttel-Problem

Ein Rätsel ums Händeschütteln liefert ein brauchbares erstes Bild von Attention. Man stellt fünf Personen in einen Raum, und jede schüttelt jeder anderen die Hand. Person 1 schüttelt vier Hände, Person 2 ebenfalls vier und so weiter, das ergibt:

5 × 4 = 20

Diese Zahl zählt jeden Händedruck doppelt, also halbiert man sie:

20 / 2 = 10

Allgemein lautet die Anzahl N(N - 1) / 2. Das ist eine Übung in Kombinatorik, modelliert aber auch etwas Größeres, nämlich die Zahl der Beziehungen zwischen Tokens. Ein Attention-Mechanismus läuft nicht von links nach rechts durch einen Satz und behandelt jedes Wort als Insel. Er muss entscheiden, welche Teile der Eingabe für welche anderen Teile wichtig sind.

Hier kommen Query, Key und Value ins Spiel. Man kann sie sich als grobes Nachschlagesystem vorstellen:

• Query ist das, wonach man sucht.
• Key ist die verfügbare Information.
• Value ist das, was tatsächlich zurückgegeben wird.

Die echte Mathematik ist deutlich schwerer, aber dieses Bild gibt einen Einstieg. Es führt auch zu einer Gewohnheit, die sich lohnt: Wenn man nicht sagen kann, was ein Stück Code oder eine Formel tut, hat man es wahrscheinlich noch nicht verstanden.

Was ein siebentägiger Sprint abdeckt

Der Stoff geht weit über Transformer hinaus: Datenstrukturen in Python, Pandas, fehlende Werte, Ausreißer, Vorverarbeitung, Machine-Learning-Modelle, Bewertungsmetriken, APIs, Deployment und RAG. Code, den man früher einfach so eingetippt hat, bekommt plötzlich Konsequenzen. Nehmen wir diese Zeile:

model.fit(X_train, y_train)

Dieses Muster hat man wahrscheinlich schon hundertmal gesehen. Es bedeutet, dass das Modell auf den übergebenen Trainingsdaten trainiert wird und seine Parameter aus diesen Beispielen lernt. Die nächste Zeile ist eine ganz andere Operation:

model.predict(X_test)

Hier bittet man das trainierte Modell, das Gelernte anzuwenden und Vorhersagen für Daten zu liefern, auf denen es nie trainiert wurde. Beide Zeilen wirken fast trivial. Schwierig ist, zu wissen, wofür sie stehen.

KI-Engineering ist immer noch Engineering

Die wichtigste Lektion betrifft keine Bibliothek. Ein Modell macht gutes Softwaredesign nicht überflüssig, und man hat es weiterhin zu tun mit:

• dem Prüfen und Bereinigen der Eingaben und der Qualität der Daten selbst
• APIs und der Frage, wie Fehler behandelt werden
• Geschwindigkeit, Tests und Deployment
• Monitoring und Sicherheit
• einem stetigen Strom von Abwägungen

Manchmal ist die richtige technische Entscheidung, gar keine KI einzusetzen. Dass ein LLM ein Problem lösen kann, macht es noch nicht zum richtigen Werkzeug. Wenn eine deterministische Regel den Fall zuverlässig, günstig und nachvollziehbar abdeckt, macht ein darübergeschraubtes probabilistisches Modell das System meist nicht besser, sondern schwerer verständlich.

Bessere Fragen schlagen Buzzwords

Sieben Tage machen niemanden zum Experten. Sie liefern aber bessere Fragen, und die sind mehr wert als eine weitere Vokabelliste:

• Was macht diese Codezeile wirklich?
• Warum enthält das Design genau diese Komponente?
• Wie verhält sich das System bei schlechter Eingabe?
• Wo landen meine Daten am Ende?
• Was lernt das Modell aus seinen Beispielen?
• Könnte normaler Code das auch ohne Modell erledigen?

Das Ziel ist nicht, so zu klingen, als würde man KI verstehen. Es geht darum, genug zu verstehen, um verantwortungsvoll damit zu bauen, und der erste Schritt ist die unspektakuläre Erkenntnis, dass GPT für Generative Pre-trained Transformer steht.