Wie ein LLM funktioniert: Tokens, Attention und Next-Token-Vorhersage

Tippen Sie einen kurzen Satz wie "The cat is sleeping." („Die Katze schläft.“) in ein Chatfenster, und einen Augenblick später antwortet das Modell mit einer Zeile, einer Erklärung oder einem ganzen Absatz. Von außen wirkt das mühelos. Aber was passiert eigentlich dazwischen?

Wer sich mit KI beschäftigt hat, ist auf einen Haufen Begriffe gestoßen: Tokens, Embeddings, Transformer, Attention, Q/K/V, Next-Token-Vorhersage. Zusammen lassen sie Sprachmodelle viel schwieriger klingen, als sie sind. Die gute Nachricht: Für die Grundarchitektur braucht man die zugrunde liegende Mathematik nicht. Man muss nur verstehen, wie eine Handvoll Bausteine zusammenpassen.

Ein einziger Satz dient als durchgehendes Beispiel: "The cat is sleeping." Verfolgen wir ihn durch die Maschinerie.

Das große Ganze

Aus der Ferne betrachtet verarbeitet ein LLM Text in Stufen:

Text
 ↓
Tokens
 ↓
Embeddings
 ↓
Transformer
 ↓
Attention
 ↓
Next-token prediction
 ↓
Next token
 ↓
Repeat

Unter alldem liegt ein großes neuronales Netz, dessen Parameter im Training festgelegt wurden. Jede Stufe verdient einen genaueren Blick.

1. Neuronale Netze, das Fundament

Ein großes Sprachmodell ist im Kern ein einziges, sehr großes neuronales Netz. Das ist ein Machine-Learning-System, das Muster aus Daten aufnimmt, indem es numerische Parameter, meist Gewichte genannt, anpasst.

Das einfachste Bild ist eine Box, die eine Eingabe in eine Ausgabe verwandelt:

Input
  ↓
Neural Network
  ↓
Prediction

Im Training rät das Netz, misst, wie weit es danebenlag, und justiert seine Parameter, um beim nächsten Mal besser zu raten. Nach genügend Daten hat es Regelmäßigkeiten der Sprache verinnerlicht. Bei "The cat is ___" lernt es, dass Wörter wie "sleeping", "hungry", "running" oder "outside" plausible Fortsetzungen sind.

Das sollten Sie sich merken: Ein LLM ist ein großes neuronales Netz, das Muster aus Daten gelernt hat. Die Mathematik neuronaler Netze können Sie überspringen und trotzdem dem Rest folgen.

2. Tokens, die Art, wie ein Modell liest

Sie lesen Wörter. Das Modell geht mit Wörtern anders um als Sie. Der Text wird zuerst in kleinere Einheiten zerlegt, die Tokens heißen. Konzeptionell sieht das so aus:

"The cat is sleeping."
          ↓
["The", " cat", " is", " sleeping", "."]

Welche Stücke dabei herauskommen, hängt vom Modell und seinem Tokenizer ab. Ein Token kann ein ganzes Wort sein, ein Wortfragment, ein Satzzeichen oder ein anderer Textschnipsel. Jedes Token wird dann einer Zahl zugeordnet, seiner Token-ID, sodass die Pipeline bisher so aussieht:

Text
 ↓
Tokens
 ↓
Token IDs

An dieser Stelle kann das Modell den Text als Zahlen verarbeiten.

Warum Tokens in der Praxis zählen

Tokens sind keine Fußnote. Für alle, die KI-Produkte nutzen, erklären sie einige alltägliche Dinge:

• warum Modelle ein Kontextlimit haben
• warum lange Prompts mehr Tokens verbrauchen
• warum API-Nutzung meist pro Token abgerechnet wird
• warum unnötiges Material im Prompt die Rechnung erhöht

Für alle, die Anwendungen bauen, beeinflussen Tokens Prompt-Design, Kontextverwaltung und Kostenkontrolle.

Eine nackte ID reicht aber nicht. Das Modell braucht für jedes Token etwas Reichhaltigeres.

3. Embeddings, Bedeutung in Zahlen

Nehmen Sie das Token "cat". Seine ID könnte etwa 582 lauten, aber diese Zahl sagt nichts über Katzen. Sie ist ein Etikett, sonst nichts.

Deshalb ersetzt das Modell jede ID durch ein Embedding, einen Vektor mit vielen Zahlenwerten:

"cat"
  ↓
Token ID
  ↓
Embedding
  ↓
[0.21, -0.73, 0.44, ...]

Ein Embedding ist eine numerische Darstellung eines Tokens, mit der das neuronale Netz rechnen kann. Den Unterschied sollte man sich merken: Die Token-ID benennt ein Token, das Embedding beschreibt es in Zahlen. Diese Embeddings werden in den Transformer eingespeist.

4. Transformer, wo die Verarbeitung passiert

Bis hierher hat der Satz diesen Weg zurückgelegt:

Text
 ↓
Tokens
 ↓
Token IDs
 ↓
Embeddings

Die Embeddings gelangen in den Transformer, eine neuronale Architektur, die für Sequenzen gebaut ist und, vor allem bei Sprache, Beziehungen zwischen Tokens erfasst. Vereinfacht:

Embeddings
    ↓
Transformer layer
    ↓
Transformer layer
    ↓
Transformer layer
    ↓
...
    ↓
Prediction

Echte Modelle stapeln viele Transformer-Schichten. Aber wie findet eine Schicht heraus, welche Wörter füreinander wichtig sind? Durch Self-Attention.

5. Self-Attention, Kontext nutzen

Nehmen Sie einen längeren Satz: "The cat climbed onto the couch because it was tired." („Die Katze kletterte aufs Sofa, weil sie müde war.“) Um das Wort "it" zu verarbeiten, muss das Modell sich umsehen und entscheiden, worauf es verweist. Self-Attention erlaubt es, andere Tokens zu prüfen und zu beurteilen, welche relevant sind:

The  cat  climbed  onto  the  couch  because  it  was  tired
      ↑                              ↑       ↑
      └──────── relevant context ────┘

Man kann den Mechanismus als Frage formulieren, die jedes Token stellt: Welche anderen Tokens sollte ich mir ansehen, um mich selbst zu verstehen? Das Modell berechnet Beziehungen zwischen Tokens und baut daraus kontextbewusste Darstellungen. Diese Fähigkeit ist ein wesentlicher Grund, warum Transformer so gut mit Sprache umgehen.

6. Q, K und V: wie Attention das Wichtige auswählt

Attention stützt sich auf drei Rollen:

• Query (Q): Wonach sucht dieses Token?
• Key (K): Was bietet jedes Token als Etikett zum Abgleichen an?
• Value (V): Welchen Inhalt gibt ein Token weiter, wenn es ausgewählt wird?

Als Ablauf:

Query
  ↓
Compare with Keys
  ↓
Determine relevance
  ↓
Use relevant Values
  ↓
Updated representation

Eine Bibliothek ist ein guter Vergleich. Ihre Frage ist die Query. Jedes Buch hat einen Katalogeintrag, der Ihnen sagt, ob es passt, und das ist sein Key. Haben Sie die relevanten Bücher gefunden, lesen Sie ihren Inhalt, das sind die Values. Attention macht etwas Ähnliches. Die Formel braucht man nicht, um die Idee zu verstehen: Q, K und V helfen dem Modell zu entscheiden, welche Informationen in anderen Tokens relevant sind.

7. Multi-Head-Attention, viele Blickwinkel

Sprache enthält mehrere Arten von Beziehungen zugleich: Grammatik, Bedeutung und welche Wörter auf welche zurückverweisen. Deshalb lassen Transformer mehrere Attention-Heads parallel laufen:

Input
                   ↓
          ┌────────┼────────┐
          ↓        ↓        ↓
        Head 1   Head 2   Head 3
          ↓        ↓        ↓
       Pattern   Pattern   Pattern
          └────────┼────────┘
                   ↓
                Combined

Jeder Head kann sich auf eine andere Art von Beziehung spezialisieren. Ein Head liefert einen Blickwinkel, mehrere Heads liefern mehrere. Um das Gesamtdesign zu verstehen, muss man das Verhalten der einzelnen Heads nicht kennen.

8. Kausales Maskieren, kein Vorausschauen

Verbinden wir nun Attention mit der Textgenerierung. Angenommen, das Modell sieht "The cat is" und soll das nächste Token vorhersagen. Es darf die Antwort nicht vorher lesen. Kausales Maskieren stellt das sicher:

The → can see The

cat → can see The, catis → can see The, cat, issleeping → can see The, cat, is, sleeping

Jede Position darf nutzen, was vorher kam, aber nichts, was danach kommt. Das ist vor allem für autoregressive Modelle im GPT-Stil wichtig, aus einem einfachen Grund: Das Modell muss die Zukunft vorhersagen, ohne sie gezeigt zu bekommen.

9. Next-Token-Vorhersage, wie Text entsteht

Das ist die zentrale Idee von Modellen im GPT-Stil. Ein LLM schreibt, indem es vorhersagt, welches Token als Nächstes kommt. Bei einem Anfang wie:

"The cat"
    ↓
Predict next token
    ↓
"is"

wird der Kontext zu:

"The cat is"

und es sagt erneut voraus:

"The cat is"
       ↓
Predict next token
       ↓
"sleeping"

dann noch einmal:

"The cat is sleeping"
       ↓
Predict next token
       ↓
"."

und so weiter. Eine Antwort entsteht in der Regel nicht in einem Zug. Das Modell arbeitet in einer Schleife:

Read the available context
        ↓
Predict the next token
        ↓
Add that token to the context
        ↓
Predict again
        ↓
Repeat

Deshalb ist die Next-Token-Vorhersage die Idee, an der man festhalten sollte. Alles andere in der Architektur existiert, um diese Vorhersagen besser zu machen.

10. Training und Inferenz

Eine letzte Unterscheidung: Lernen gegenüber Anwenden.

Im Training legt das Modell seine Parameter fest. Im Überblick:

Input
 ↓
Prediction
 ↓
Compare with expected result
 ↓
Calculate error
 ↓
Adjust parameters
 ↓
Repeat

Das läuft über riesige Datenmengen, und mit der Zeit wird das Modell besser darin, Tokens vorherzusagen, und sammelt nützliche Sprachmuster.

Inferenz ist das, was jedes Mal passiert, wenn Sie ein trainiertes Modell nutzen. Sie geben ihm "The cat is", und es wendet seine gelernten Parameter an, um das nächste Token vorherzusagen:

Your prompt
 ↓
Model
 ↓
Next-token prediction
 ↓
Next token
 ↓
Predict again
 ↓
Response

Kurz zum Merken: Training ist Lernen, Inferenz ist das Anwenden des Gelernten.

Alles zusammen

Zurück zum Satz vom Anfang. Sein Weg sieht so aus:

"The cat is sleeping."
          ↓
      Tokenization
          ↓
       Token IDs
          ↓
       Embeddings
          ↓
      Transformer
          ↓
    Self-Attention
          ↓
       Q, K, V
          ↓
  Multi-Head Attention
          ↓
     Causal Mask
          ↓
 Next-Token Prediction
          ↓
       Next Token
          ↓
         Repeat

Unter allem läuft ein großes neuronales Netz mit gelernten Parametern. Das ist die Grundarchitektur.

Warum es hilft, das zu wissen

Um ChatGPT zu nutzen, muss man sein Innenleben nicht kennen. Ein grobes mentales Modell verrät trotzdem, was solche Systeme können und was nicht. Normalen Nutzern macht es klar, warum Kontext zählt, warum lange Prompts Tokens fressen, warum ein Modell sicher klingen und trotzdem falsch liegen kann und warum relevante Informationen bessere Ergebnisse bringen.

Für Entwickler zahlt sich jedes Konzept direkt aus:

• Tokens erklären Kontextgrenzen und Kosten.
• Embeddings führen zu semantischer Suche und RAG.
• Transformer und Attention zeigen, wie Modelle mit Kontext umgehen.
• Next-Token-Vorhersage erklärt Generierung und Verhalten.
• Die Trennung von Training und Inferenz markiert die Grenze zwischen dem Nutzen eines Modells, dem Fine-Tuning und dem Training von Grund auf.

Sie müssen die Mathematik neuronaler Netze nicht beherrschen, bevor Sie mit KI bauen. Die Architektur zu kennen hilft aber dabei, Modelle auszuwählen, zu entscheiden, welche Informationen man mitgibt, die Anwendung zu gestalten und Grenzen vorherzusehen.

Die Version in einem Absatz

Wenn eine Sache hängen bleibt, dann diese: Ein LLM zerlegt Text in Tokens, verwandelt die Tokens in numerische Darstellungen, schickt sie durch Transformer-Schichten mit Attention und sagt immer wieder das nächste Token voraus.

Text
 ↓
Tokens
 ↓
Embeddings
 ↓
Transformer
 ↓
Attention
 ↓
Next-token prediction
 ↓
Repeat

Ist dieser Ablauf klar, werden Themen wie RAG, Vektordatenbanken, Fine-Tuning, Agenten, Evaluierung und Anwendungsentwicklung leichter, weil man sieht, wo jedes davon ins Bild passt.