Von Regeln zu Transformern: Wie NLP lernte, mit Kontext umzugehen

Computer arbeiten mit Nullen und Einsen, also darf man sich fragen, wie eine Maschine am Ende mit Englisch, Griechisch, Hindi und vielen anderen menschlichen Sprachen zurechtkommt. Chatbots, Sprachassistenten, Übersetzer und Empfehlungssysteme gehören inzwischen zum Alltag. Sie beantworten Fragen, übersetzen, bieten Hilfe an und schreiben sogar Antworten, die menschlich klingen. Wir können mit Maschinen in gewöhnlicher Sprache reden und müssen uns nicht auf Code oder feste Befehle beschränken. Das Fachgebiet dahinter heißt Natural Language Processing, kurz NLP.

Was NLP ist

NLP ist ein Teilgebiet der künstlichen Intelligenz, des maschinellen Lernens und der Computerlinguistik. Ziel ist es, Computer menschliche Sprache verarbeiten, analysieren, verstehen und erzeugen zu lassen. Die Arbeit begann um die 1950er-Jahre mit frühen Forschungen zur maschinellen Übersetzung und zu rechnergestützten Ansätzen für Sprache, und seitdem hat das Feld mehrere große Phasen durchlaufen.

Eine beliebte Kurzbeschreibung lautet, NLP verwandle menschliche Sprache in eine Form, die ein Computer verarbeiten kann. Das stimmt teilweise, mit einem wichtigen Haken: Sprache computerlesbar zu machen, ist nicht dasselbe, wie sie zu verstehen. Ein Satz in Binärcode verrät der Maschine nichts darüber, was er bedeutet.

Nehmen wir „Thank you“. Eine sehr einfache regelbasierte Maschine ließe sich so einrichten:

IF input = "Thank you"
THEN response = "You're welcome"
ELSE search for another rule

Für eine kleine Zahl vordefinierter Situationen funktioniert das. Stellen Sie sich nun vor, Regeln für jeden Satz zu schreiben, den ein Mensch überhaupt äußern könnte. Das wäre langsam, verworren und unrealistisch, denn menschliche Sprache ist weit reicher als ein Vorrat fester Sätze.

Warum Sprache für Maschinen schwierig ist

Wer einen Satz versteht, betrachtet nicht einzelne Wörter isoliert. Nehmen Sie den englischen Satz „She saw a bat“. Geht es um das Tier (eine Fledermaus) oder um das Sportgerät (einen Schläger)? Nur der Kontext entscheidet.

Ein System, das mit Sprache arbeitet, muss womöglich mit Wörtern, Phrasen, Wortstellung, Grammatik, Wortarten, Satzbau, Kontext, Bedeutung, Beziehungen zwischen Wörtern, Mehrdeutigkeit, Absicht, Pronomen und Bezügen sowie verschiedenen Sprachen und Dialekten umgehen. Menschen eignen sich all das als Kind ganz natürlich an: Sie hören ständig Sprache, beobachten Situationen, reden mit anderen, erkennen Muster und verknüpfen Wörter mit Erfahrungen. Eine Maschine lernt Sprache nicht auf diese Weise, also entwickelten Forscher rechnergestützte Methoden, die Sprache darstellen und Muster daraus lernen.

1. Regelbasiertes und heuristisches NLP

Ein früher Ansatz war regelbasiertes NLP. Programmierer und Linguisten legten von Hand fest, wie Sprache verarbeitet werden sollte, statt das System aus großen Datenmengen lernen zu lassen. Zum Werkzeugkasten gehörten Wörterbücher, Grammatikregeln, Mustererkennung, reguläre Ausdrücke, Syntaxregeln und einfache If-else-Bedingungen. Ein paar Beispiele:

IF sentence contains "hello"
THEN classify it as a greeting

IF word ends with "ing"
THEN it may represent a verb

Solche Systeme taugten für enge, klar umrissene Aufgaben, aber Sprache steckt voller Ausnahmen. „He is going to the bank“ verweist auf ein Geldinstitut, während „He sat beside the river bank“ das Ufer meint. Eine feste Regel tut sich schwer, beides ohne genügend Kontext auseinanderzuhalten. Diese Grenze trieb Forscher zu Methoden, die Sprachmuster aus Daten lernen und nicht ganz von handgeschriebenen Regeln abhängen.

2. Statistisches NLP und maschinelles Lernen

Danach kamen statistische Methoden und maschinelles Lernen. Statt jede sprachliche Regel explizit zu programmieren, nutzten Forscher große Textsammlungen, sogenannte Korpora, um statistische Muster zu lernen. Das Rezept: der Maschine Beispiele geben, sie Muster finden lassen und diese Muster dann für Vorhersagen nutzen.

Das ähnelt der Art, wie Menschen eine Sprache lernen. Niemand lernt jeden möglichen Satz auswendig. Muster werden nach und nach verinnerlicht. „She is eating food“ klingt natürlich, „Food eating is she“ klingt im Standardenglisch seltsam. Eine Maschine kann auf dieselbe Weise lernen, dass bestimmte Wörter und Strukturen gern zusammen auftreten.

N-Gramm-Modelle

Ein zentraler statistischer Ansatz ist das N-Gramm-Modell, das ein Wort aus den vorangehenden Wörtern vorhersagt. Bei „She is going to “ sind wahrscheinliche Fortsetzungen school, college, market und work. Das Modell berechnet Wahrscheinlichkeiten aus Mustern in seinen Trainingsdaten. Ein Bigramm betrachtet zwei Wörter, ein Trigramm drei:

I am
am going
going to
to school

Daraus kann es Wahrscheinlichkeiten wie diese lernen:

P(school | going to)

Das heißt nicht, dass die Maschine „school“ so versteht wie ein Mensch. Sie hat eine statistische Beziehung zwischen Wörtern gelernt.

3. Markov-Modelle und Sequenzmodellierung

Eine weitere Idee im statistischen NLP ist die Markov-Annahme: Der nächste Zustand oder das nächste Wort lässt sich aus einer begrenzten Menge vorheriger Information vorhersagen.

Word 1 → Word 2 → Word 3 → Word 4

Statt die gesamte Vorgeschichte zu gewichten, betrachtet ein Modell vor allem die letzten Wörter. Daraus entstanden Markov-Modelle, Hidden-Markov-Modelle (HMMs) und N-Gramm-Sprachmodelle. HMMs wurden besonders wichtig für Wortart-Tagging, Spracherkennung, Named Entity Recognition und Sequenz-Labeling. Nehmen wir diesen Satz:

Sonal is learning NLP.

Ein POS-Tagger könnte ihn so annotieren:

Sonal → Proper Noun
is    → Verb
learning → Verb
NLP   → Noun

Das Modell lernt die Wahrscheinlichkeit jedes Tags aus den umgebenden Wörtern.

4. Von Wörtern zu Zahlen

Ein tieferes Problem blieb. Eine Maschine kann mit Wörtern wie diesen nicht rechnen:

king
queen
man
woman

Sprache musste mathematisch dargestellt werden, und so entstanden Vektordarstellungen. Ein Wort wird zu einem Zahlenvektor:

king  → [0.21, 0.73, -0.12, ...]
queen → [0.24, 0.71, -0.10, ...]

Vektoren erlauben es Machine-Learning-Algorithmen, mathematisch mit Sprache zu arbeiten, und aus dem Ansatz wurden Word Embeddings. Ein berühmtes Beispiel ist Word2Vec, das zeigte, dass Wörter, die in ähnlichen Kontexten vorkommen, ähnliche Vektoren erhalten. Das war ein echter Umbruch: Statt die Bedeutung jedes Wortes von Hand festzulegen, kann ein Modell nützliche Darstellungen aus Sprachdaten lernen.

5. Neuronale Netze halten Einzug

Mit wachsender Rechenleistung und größeren Datensätzen wandten Forscher neuronale Netze auf NLP an. Diese Netze lernen nützliche Darstellungen und Muster automatisch aus Daten, was die Abhängigkeit von handentworfenen statistischen Merkmalen verringerte. Die wichtigsten Architekturen waren Feed-forward-Netze, rekurrente neuronale Netze (RNNs), Long Short-Term Memory (LSTMs) und Gated Recurrent Units (GRUs).

RNNs passten zur Aufgabe, weil Sprache sequenziell ist. Sie lesen einen Satz Schritt für Schritt und behalten dabei Informationen aus früheren Wörtern:

I → am → learning → NLP

LSTMs und GRUs wurden entwickelt, um längere Abhängigkeiten besser zu bewältigen als einfache RNNs.

6. Das Kontextproblem

Kontext reicht oft weit über die letzten paar Wörter hinaus. In „Sonal went to the restaurant because she was hungry“ muss das Modell „she“ mit „Sonal“ verbinden. Und wenn ein Pokal nicht in einen Koffer passt, weil „it is too big“ – wer von beiden ist „it“? Um solche Bezüge aufzulösen, muss man auf verschiedene Teile des Satzes achten.

Attention

Dieses Bedürfnis führte zu einer der wichtigsten Entwicklungen im modernen NLP. Der Attention-Mechanismus lässt ein Modell entscheiden, welche Teile der Eingabe bei der Verarbeitung eines bestimmten Wortes am wichtigsten sind, und gibt verschiedenen Wörtern unterschiedliche Gewichte, statt alle vorherigen Wörter gleich zu behandeln. Bei „The cat sat on the mat because it was tired“ muss für „it“ geklärt werden, welches frühere Wort relevant ist, und Attention bietet einen Weg, solche Beziehungen zu lernen.

7. Transformer

2017 stellte das Paper „Attention Is All You Need“ die Transformer-Architektur vor. Sie veränderte NLP, weil sie Beziehungen zwischen Wörtern über Attention erfasst und nicht wie RNNs auf schrittweise Rekurrenz angewiesen ist. Der Gesamtablauf sieht so aus:

Input Text
     ↓
Tokenization
     ↓
Token Embeddings
     ↓
Positional Information
     ↓
Self-Attention
     ↓
Transformer Layers
     ↓
Contextual Representation
     ↓
Prediction / Generation

Self-Attention ist die zentrale Idee. Jedes Token betrachtet die anderen Tokens der Sequenz und beurteilt, wie stark sie mit ihm zusammenhängen. So können Modelle Beziehungen über viel längere Kontexte erfassen.

8. Von Transformern zu großen Sprachmodellen

Transformer wurden zur Grundlage vieler moderner NLP-Systeme. Modelle wie BERT, GPT und T5 sowie viele weitere auf Transformer-Basis zeigten immer stärkere sprachliche Fähigkeiten. Mit riesigen Datensätzen, großen neuronalen Netzen und reichlich Rechenleistung lernen sie eine enorme Zahl sprachlicher Muster – so entstanden Large Language Models (LLMs).

Ein LLM speichert nicht einfach eine Liste vorgefertigter Antworten. Im Training lernt es statistische und semantische Muster aus gewaltigen Textmengen. Bei „The capital of India is...“ kann es „New Delhi“ vorhersagen. Bei einer Frage kann es eine Folge von Tokens erzeugen, die eine passende Antwort ergibt.

9. Vom Wortabgleich zum Kontextverständnis

Die Entwicklung lässt sich gut in einem Bild zeigen:

Rule-Based NLP
      ↓
Statistical NLP
      ↓
Machine Learning
      ↓
Word Representations
      ↓
Neural Networks
      ↓
RNN / LSTM / GRU
      ↓
Attention
      ↓
Transformers
      ↓
Large Language Models

Die Geschichte von NLP ist also nicht bloß menschliche Sprache, die in Binärcode umgewandelt wird. Der Weg führt von handgeschriebenen Regeln zu statistischen Mustern, dann zu Vektoren, gelernten Darstellungen, kontextbewussten Modellen, Attention und schließlich zu großen Sprachmodellen. Moderne Systeme verstehen Sprache noch immer nicht genau so wie Menschen. Sie lernen aber hochkomplexe Muster und setzen sie praktisch ein: Sie übersetzen, fassen zusammen, beantworten Fragen, ordnen Texte Klassen zu, extrahieren Informationen, verarbeiten Sprache und erzeugen Text. Das Ganze ist ein Versuch, eine Brücke zwischen menschlicher Sprache und maschineller Berechnung zu schlagen, und der Weg von einfachen Regeln zu Modellen mit Milliarden gelernter Parameter gehört zu den faszinierendsten in der KI.