Erklärung zu Context Rot: Warum lange Eingaben die Genauigkeit von LLMs verringern.

Wenn man einem der im Jahr 2025 getesteten Spitzendmodelle einen langen Prompt gibt, sinkt die Qualität der Antwort – selbst dann, wenn das Thema des Fragen direkt im Text enthalten ist. Eine Studie von Chroma aus dem Jahr 2025 an 18 solchen Modellen zeigte, dass die Genauigkeit bei Fakten, die mitten im Eingabetext versteckt sind, um mehr als 30 % abnahm. Der Grund hat wenig mit irgendeiner unklaren „Aufmerksamkeitsdauer“ zu tun; er liegt vielmehr darin, wie Transformer-Modelle bestimmen, wo ein Token im Text positioniert ist.

Menschen bezeichnen diesen Kontextzustand als „rot“, und er unterscheidet sich von einem Überschreiten der Kontextgrenze. Ein Experiment der Stanford University aus dem Jahr 2023 zeigt, warum das so ist. Geben Sie einem Modell 20 abgerufene Dokumente mit etwa 4.000 Tokens – das ist im Vergleich zu den heutigen Grenzwerten unbedeutend. Wenn die relevante Information an erster Stelle steht, trifft das Modell 70–75 Prozent der Zeit die richtige Entscheidung. Wenn dieselbe Information in die Mitte verschoben wird, sinkt die Genauigkeit auf 55–60 Prozent. Die Information ist weiterhin vorhanden und korrekt – das Modell verleiht ihr nur weniger Gewicht.

Ursprung des Rückgangs

Die meisten Wechselstromwandler verwenden Rotary Position Embeddings (RoPE), um die Reihenfolge der Token zu kennzeichnen. RoPE weist eine bekannte langfristige Abnahme auf: Je weiter zwei Token voneinander entfernt sind, desto niedriger schrumpft (theoretisch) die Obergrenze dafür, wie stark man sich auf das eine Token konzentrieren kann – unabhängig von der tatsächlichen Bedeutung beider Token. Softmax verschärft diese Situation noch. Es lenkt die Aufmerksamkeit auf Tokens, die bereits hohe Werte aufweisen, was den Anfang und das Ende des Kontexts bevorzugt und zu der U-förmigen Kurve führt, die Forscher als „Verlust in der Mitte“ bezeichnen.

Man kann die Form dieser Abnahme mit einem kleinen Skript veranschaulichen. Es basiert ausschließlich auf der Frequenzstruktur von RoPE und nicht auf den Gewichten eines echten Modells, daher sollte es als Illustration verstanden werden. Die einzige Abhängigkeit, die es benötigt, ist numpy:

import numpy as np

Und hier ist die Funktion, die misst, wie sich die Ähnlichkeitsgrenze mit zunehmender Entfernung verringert:

def rope_similarity_decay(distances, dim=64, base=10000):
    freqs = 1.0 / (base ** (np.arange(0, dim, 2) / dim))
    decays = []
    for d in distances:
        bound = np.mean(np.cos(freqs * d))
        decays.append(bound)
    return np.array(decays)

Wenn man die Abstände zwischen den Tokens immer größer macht, erhält man Folgendes:

Token distance | Relative similarity bound
             1 |  0.9662
            10 |  0.6579
            50 |  0.4898
           100 |  0.5586
           500 |  0.2006
          1000 |  0.2789
          5000 | -0.1309
         10000 |  0.0494
         50000 | -0.0898

Tokens, die 1 bis 10 Positionen voneinander entfernt sind, behalten einen Wert nahe 1,0. Bei einigen tausend Token Abstand ist dieser Wert bereits auf Null gefallen und fällt an manchen Stellen sogar darunter, sodass die Beziehung zwischen weit voneinander entfernten Tokens nicht mehr zuverlässig als „verbunden“ angesehen werden kann. Man bemerkt außerdem, dass es sich dabei nicht um einen gleichmäßigen Abfall handelt – es gibt eine abnehmende Kurve mit echten Oszillationen darin. All dies dient nicht dazu, ein bestimmtes Modell zu bewerten, erklärt aber, warum das Problem strukturell ist und nicht einfach verschwindet, wenn man ein größeres Modell trainiert.

Ein größeres Fenster löst das Problem nicht

Forscher unterscheiden heute zwischen dem beworbenen Kontextfenster und dem Maximum Effective Context Window (MECW), also der Länge, bei der die Leistung eines Modells tatsächlich erhalten bleibt. Laut Forschungen aus dem Jahr 2025 zu diesem Unterschied kann bei komplexen Aufgaben die tatsächliche Grenze bis zu 99 Prozent unter der Angabe auf der Spezifikationsseite liegen. Ein Fenster mit einer Kapazität von einer Million Token bedeutet lediglich, dass das Modell vor Erreichen dieser Anzahl an Tokens nicht fehlerhaft wird – es sagt jedoch nichts darüber aus, ob es all diese Token effektiv nutzen kann.

Warum Code-Agenten am stärksten betroffen sind

Für Koding-Agenten gilt der Kontextverlust als Hauptversagensmodus – es handelt sich dabei eher um ein Problem durch fehlerhafte Eingaben als um einen Mangel an Fähigkeiten. Bei einer langen Aufgabe durchsucht der Agent, erkundet und geht zurück; jeder Sackgassenzustand hinterlässt „Rauschen“ in der Historie. Dieses Rauschen beeinträchtigt jede nachfolgende Schritt, obwohl dasselbe Modell die Aufgabe aus einem frischen Kontext problemlos lösen würde. Somit kann eine lange Sitzung fehlschlagen, ohne dass die Token ausgehen: Die Anweisungen aus dem ersten Schritt sind zwar weiterhin im Gespräch beim fünfzigsten Schritt enthalten, doch die Aufmerksamkeit des Modells reicht möglicherweise nicht mehr zu ihnen aus.

Was hilft

RAG und lange Fenster sind nicht austauschbar. Die Informationsabrufung ist nützlich, weil sie eine große Menge an Inhalten auf den relevanten Teil reduziert – schließlich führt das Einfügen aller Informationen auf einmal direkt zum oben beschriebenen Positionierungsverfall. Nach dem Informationsabruf sagen alle Lösungsansätze dasselbe: Halten Sie den Arbeitskontext klein und übersichtlich statt groß und vollständig.

• Zusammenfassen oder verwerfen Sie veraltete Konversationshistorien.
• Platzieren Sie alles, worauf die Entscheidung ankommt, entweder am Anfang oder am Ende der Anfrage – niemals in der Mitte.
• Vergessen Sie nicht, dass „es passt“ und „das Modell wird es verwenden“ zwei getrennte Aussagen sind.

Kurze Antworten

Was ist Kontextverfall? Die Ausgabequalität nimmt mit zunehmender Länge der Eingabe ab – selbst dann, wenn das Fenster noch nicht voll ist und die benötigten Informationen vorhanden sind.

Warum ist die Mitte am schlimmsten? RoPE schwächt aus Designgründen die Verbindung zwischen entfernten Token, und softmax konzentriert anschließend die Aufmerksamkeit auf Positionen, die bereits hohe Werte aufweisen – meist die ersten und letzten.

Löst ein größeres Limit das Problem? Nein. Der nutzbare Kontext ist oft deutlich kleiner als angegeben, insbesondere bei komplexen mehrschrittigen Aufgaben.

Liegt es einfach daran, dass der Speicher ausläuft? Nein. Die Genauigkeit sinkt bereits bei einigen tausend Token messbar, was weit unter den Hunderttausenden liegt, die moderne Modelle verarbeiten können.

Eine Einschränkung zum obigen Code: Es handelt sich um ein vereinfachtes Frequenzmodell. Das tatsächliche Verhalten hängt von den trainierten Aufmerksamkeitsgewichten ab, die auf dieser geometrischen Grundlage liegen; daher erklärt die Grundlage nur einen Teil des Effekts und nicht den gesamten.