Wie ein Transformer „The cat sat on the mat“ liest – Schritt für Schritt
Ein Satz auf dem Weg durch eine Transformer-Schicht: Tokens, Embeddings, Positionen, Self-Attention, Residual-Verbindungen, Normalisierung und Feed-Forward-Netz.
Ein großes Sprachmodell ist ein Deep-Learning-Modell auf Basis der Transformer-Architektur, das mit riesigen Textmengen trainiert wurde, um menschliche Sprache zu verstehen und zu erzeugen. Gibt man ihm einen einfachen Satz wie „The cat sat on the mat“ („Die Katze saß auf der Matte“), liest es ihn ganz anders als ein Mensch. Das Modell wandelt die Wörter in Zahlen um, hängt Informationen darüber an, wo jedes Wort steht, lässt jedes Wort auf alle anderen schauen, um Kontext zu sammeln, und verfeinert diese Zahlen dann immer wieder, bis jedes Wort eine reichere, aussagekräftigere Darstellung trägt.
All das passiert im Inneren eines Transformers, und für die Grundidee braucht man keine schwere Mathematik. Es reicht, dem Satz zu folgen – vom rohen Text bis zu einem finalen Satz Zahlen, in dem Bedeutung, Beziehungen und Kontext stecken. Hier ist der Weg, den „The cat sat on the mat“ durch eine Transformer-Schicht nimmt.
Vier Ideen zum Festhalten
- Attention: Tokens reden miteinander.
- Feed-Forward-Netz (FFN): Jedes Token verarbeitet, was es aufgeschnappt hat.
- Residual-Verbindung: Alte Information wird nicht weggeworfen.
- Normalisierung: Die Zahlen bleiben stabil.
Was in den Block hineingeht
1. Text
Die Eingabe ist der schlichte englische Satz. Unterwegs werden aus Wörtern keine anderen Wörter. Was sich bei jedem Schritt ändert, ist die Vektordarstellung jedes Tokens.
2. Tokens
Der Satz wird in kleine Einheiten zerlegt, sogenannte Tokens – oft ganze Wörter oder Wortteile: „The“, „cat“, „sat“, „on“, „the“, „mat“.
3. Embeddings
Jedes Token wird zu einer Liste von Zahlen, seinem Embedding, das als grober erster Fingerabdruck der Wortbedeutung dient. Schon jetzt haben „cat“ und „mat“ unterschiedliche Fingerabdrücke, aber keines der beiden weiß etwas über den Rest des Satzes. Jede Token-ID wird in einen Vektor umgewandelt:
The → [vector]
cat → [vector]
sat → [vector]
on → [vector]
the → [vector]
mat → [vector]
4. Position
Die Reihenfolge zählt, also bekommt jedes Token zusätzlich eine Markierung für seinen Platz: erstes, zweites und so weiter. „Cat“ weiß jetzt, dass es das zweite Wort ist, und „mat“, dass es das letzte ist. Die Fingerabdrücke werden etwas reicher.
5. Self-Attention
Hier fragt der Transformer für jedes Token, welche anderen Tokens im Satz relevant sind. Das Modell lässt die Tokens einander betrachten und kann starke Verbindungen lernen, etwa dass „The“ zu „cat“ gehört und „sat“ eine Handlung beschreibt, an der „cat“ beteiligt ist. Jedes Token schaut auf alle anderen und entscheidet, wie viel Aufmerksamkeit jedes verdient. „Sat“ stützt sich stark auf „cat“, das Sitzende, und auf „mat“, den Ort. Das „the“ vor „mat“ achtet vor allem auf „mat“.
Nach der Attention hat jedes Token nützliche Informationen aus dem Rest des Satzes aufgesogen. „Cat“ ahnt jetzt vage, dass es diejenige ist, die sitzt, und „mat“ hat einen Hinweis, dass etwas auf ihr sitzt. Anders gesagt:
- cat wird zu „cat plus Information über seinen Kontext“
- sat wird zu „sat plus Information darüber, wer sitzt“
- mat wird zu „mat plus Information über seine Beziehung zu 'on'“
Die Tokens sind von isolierten zu kontextbewussten Darstellungen übergegangen.
6. Residual-Verbindung
Die ursprüngliche Token-Information soll nicht verloren gehen, deshalb wird das Attention-Ergebnis darauf addiert. Für „cat“:
Original: "cat"
+Attention
information: "cat is related to The and sat"
Updated : "cat + its contextual information"
7. Normalisierung
Als Nächstes werden die Darstellungen normalisiert:
Updated representations
↓
Normalize
↓
Well-scaled representations
Konzeptionell für den ganzen Satz:
cat + context
↓
normalized cat + context
sat + context
↓
normalized sat + context
Was hat sich also geändert? Die Bedeutung soll sich hier nicht ändern. Die Zahlen werden neu skaliert, damit das Netz stabiler ist und sich leichter trainieren lässt.
8. Feed-Forward-Netz
Nun arbeitet jedes Token an seiner eigenen aktualisierten Darstellung. Ein kleines neuronales Netz, das Feed-Forward-Netz, untersucht die Zahlen jedes Tokens einzeln und transformiert sie erneut: Es schärft Bedeutungen, verbindet Ideen oder bereitet den Vektor auf die nächste Schicht vor. „Cat“ kommt vielleicht mit einem klareren Gespür heraus, ein sitzendes Tier zu sein, und „mat“ mit einem klareren Gespür, eine Fläche zu sein. Diese Aufgabe unterscheidet sich von der der Attention:
In Attention "Which other tokens are useful?"
In FNN "Now that I have this information, how should I transform it?"
9. Zweite Residual-Verbindung
Die vorherige Information bleibt erneut erhalten – dieselbe Idee wird auf jedes Token angewendet:
Before FFN:
"cat + context"
+
FFN output:
"refined representation"
↓
After residual:
"cat + context + refined information"
Was sich geändert hat:
Previous representation
+
FFN's new information
↓
Richer representation
10. Zweite Normalisierung
Die aktualisierten Darstellungen werden zur Stabilität noch einmal normalisiert:
Richer representations
↓
Norm
↓
Stable richer representations
11. Eine reichere Darstellung
Was als grobe Wort-Fingerabdrücke begann, ist jetzt ein deutlich vollständigerer Satz von Zahlen. Jedes Token trägt seine eigene Bedeutung, seine Position und seine Beziehung zu den anderen Wörtern. Diese Darstellung geht in die nächste Transformer-Schicht oder in die finale Ausgabestufe, wo sich der Zyklus wiederholt und das Verständnis des Modells für „The cat sat on the mat“ tiefer wird.
Vor dem Block enthält jedes Token vor allem Informationen über sich selbst:
The → mostly information about "The"
cat → mostly information about "cat"
sat → mostly information about "sat"
on → mostly information about "on"
the → mostly information about "the"
mat → mostly information about "mat"
Nach dem Block:
The
↓
"The + information from its context"
cat
↓
"cat + information about its relationships"
sat
↓
"sat + information about cat and the sentence"
on
↓
"on + relationship information"
the
↓
"the + contextual information"
mat
↓
"mat + information about its relationship with on"
.
↓
". + sentence-ending context"
Danach folgt ein weiterer Transformer-Block:
Block 1
──────────────
The → contextual representation
cat → contextual representation
sat → contextual representation
on → contextual representation
the → contextual representation
mat → contextual representation
↓
Block 2
──────────────
The → more refined representation
cat → more refined representation
sat → more refined representation
on → more refined representation
the → more refined representation
mat → more refined representation
Derselbe Prozess läuft dann über viele Schichten hinweg erneut ab. Ein Transformer formt die Token-Darstellungen schrittweise um: von einfacher Token-Information über kontextuelle Information bis hin zu sehr reichen Darstellungen, mit denen das finale Modell das nächste Token vorhersagt.
Worauf es hinausläuft
Ein Transformer versteht Sprache nicht wie ein Mensch. Er nimmt einen Satz wie „The cat sat on the mat“, zerlegt ihn in Tokens und macht aus jedem Zahlen, ergänzt um Positionsinformation. Attention lässt jedes Wort Kontext von den anderen sammeln, Residual-Verbindungen und Normalisierung mischen und verfeinern die Zahlen, und ein Feed-Forward-Netz transformiert sie weiter. Nach vielen Wiederholungen hat das Modell ein weit reicheres numerisches Bild des Satzes, in dem Bedeutung, Beziehungen und Reihenfolge still kodiert sind. Genau dieses Bild erlaubt es großen Sprachmodellen, Texte so flüssig fortzusetzen, Fragen zu beantworten oder neue Ideen zu entwickeln.