Startseite / Artikel

Zerbrechliche Token und stille Substitution: Eine geometrische Erklärung einiger Halluzinationen

Einige Halluzinationen entstehen durch beschädigte oder zerbrechliche Token, die vor Beginn der Berechnung durch nahegelegene Token ersetzt werden. Beispiele, modellbezogene Raten sowie ein einfacher Test.

Verlag: REACTAPP.TOP7 Min. Lesezeit1671 Wörter

Quellen: Hallucinations Related to Glitch and Fragile Tokens

Nutzer von Open-Source-Modellen, darunter Qwen3.8, berichten über weniger Halluzinationen, besseres Befolgen von Anweisungen sowie eine stabilere Zuverlässigkeit bei Aufgaben. Es gibt keine veröffentlichten Metriken, die die Halluzinationsraten zwischen den verschiedenen Modellgenerationen isoliert darstellen. In den meisten Diskussionen fällt eines besonders auf: Es werden selten geometrische Mechanismen vorgeschlagen. Halluzinationen werden in der Regel als eine einzige, diffuse Eigenschaft betrachtet, die sich durch mehr Training verbessert, anstatt als eine Reihe separater Fehlermuster, die einzeln gemessen und zugeordnet werden können.

Zumindest ein solches Fehlermuster kann im Voraus gefunden und quantifiziert werden.

Eine Halluzination, die direkt überprüft werden kann

OLMo-2-7B erhielt eine Liste mit vier Elementen und sollte das zweite Element nennen, wobei nur das jeweilige Element als Antwort angegeben werden sollte. Die Liste enthielt die Wörter „Lanterne“, ein russisches Wort, das „welches“ bedeutet, „Hafen“ sowie „Kompass“. Das Modell antwortete mit bort, einem russischen Wort, das ungefähr „Seite“ oder „Bord“ bedeutet.

Im Prompt selbst findet sich dieses Wort nicht; es handelt sich dabei einfach um einen russischen Begriff, der keinerlei Verbindung zur Liste hat. Es wurde ohne Zögern auf eine Frage gegeben, bei der lediglich einfaches Zählen erforderlich war. Qwen3.8-27B erhielt dieselbe Aufgabe mit einem anderen russischen Wort an zweiter Stelle und antwortete mit „oxtend“, einem Wort, das in keiner Sprache existiert – abgesehen von einem Stoff, der in klinischen Studien getestet wird. Das war vermutlich nicht das, was das Modell meinte, doch bei einer agierenden Aufgabe könnte das katastrophale Folgen haben.

Das ist Halluzination im strengsten Sinne: eine selbstsichere, präzise und falsche Aussage über Informationen, die das Modell aus seinen eigenen Eingaben hätte überprüfen können. Im Gegensatz zu den meisten Halluzinationen lässt sich der Ursprung des Fehlers identifizieren.

Das Muster beschränkt sich nicht auf Anfragen zu Spielzeugen. In einer Anfrage zur Rechtschreibkorrektur bezüglich des Einreichens eines Formulars vor Freitag war der Name des Formulars durch ein seltenes chinesisches Zeichen ersetzt worden. Qwen2.5-7B antwortete, dass die richtige Schreibweise waiver und nicht :numel sei. Beide Begriffe waren erfunden: „:numel“ tauchte nie in der Eingabe auf, und „waiver“ ebenfalls nicht. In einem weiteren Test erhielt dasselbe Modell ein hebräisches Verb mit der Bedeutung „anzeigen“ und wurde nach seiner Bedeutung gefragt; stattdessen erklärte es ein chinesisches Wort für „Zeiger“. Qwen3-1.7B wurde eine ungewöhnliche koreanische Silbe gezeigt, kopierte sie korrekt auf dem Bildschirm ab und bezeichnete sie anschließend als chinesisches Zeichen mit der Bedeutung voll oder reichlich.

In keinem dieser Fälle zögert das Modell, weicht aus oder bittet um Klarstellung. Die Antworten sind fließend und ausführlich, beziehen sich jedoch nie auf die gestellte Frage.

Was die Fälle gemeinsam haben

Das übliche Bild einer Halluzination zeigt ein Modell, das über den Rand seines Wissens hinausgeht und etwas erfindet, um die Lücke zu füllen. Das kommt zwar vor, ist aber nicht das, was hier geschieht.

In jedem Beispiel interpretierte das Modell seine Eingabe falsch und handelte anschließend auf dieser falschen Interpretation korrekt weiter. Es kam weder zu einer Fälschung noch zu einem Wissenslimit. Dem Modell wurde nach einem bestimmten Gegenstand gefragt, es erhielt einen anderen und reagierte darauf angemessen. Von außen lässt sich dieses Verhalten nicht von einer Erfindung unterscheiden. Im Inneren registriert das Modell keinen Fehler, was erklärt, warum seine Ausgabe keinerlei Unsicherheit aufweist.

Die vorgeschlagene Erklärung ist, dass ein kleiner Teil des Wortschatzes jedes Modells aus beschädigten Token besteht. Einige davon können nicht einmal allein reproduziert werden, wie die Fehler-Token, die nach der Entdeckung des SolidGoldMagikarp in GPT-2 auftraten. Andere scheinen für sich genommen in Ordnung zu sein, brechen aber in normalen Sätzen zusammen, und die jüngsten Messungen konzentrieren sich auf diese zweite Art. Wenn ein fragiles oder beschädigtes Token vorliegt, erzeugt das Modell nicht einfach nur Rauschen. Stattdessen neigt es zu einer Vollendung, die zuverlässig und variationsarm ist: ein naher Nachbar, eine verkürzte Form oder eine Übersetzung. Ein chinesischer Token für „Query“ wird als englisches „QUERY“ zurückgegeben. Italienisches „realtà“ wird als französisches „réalité“ zurückgegeben. Eine abgeschnittene russische Form von „Chairman“ wird zum polnischen „Przewodniczacy“, was zufällig eine korrekte Übersetzung ist.

Naher-Nachbar-Ersatz als Mechanismus

Wenn ein Modell einen Vervollständigungsprozess durchläuft, kann es auf einem empfindlichen oder beschädigten Token entlang seiner Embedding-Bahn stoßen. Die Auswertung ersetzt dieses Token durch ein intaktes Nachbar-Token, und jede weitere Transformation verläuft, als hätte der Benutzer dieses Nachbar-Token eingegeben. Die Substitution ist kein Fehler, aus dem sich das Modell befreien muss – sie wird zum Eingang, über den das Modell weiter arbeitet.

Jeder Schritt in dieser Kette muss erläutert werden, denn jeder davon ist etwas, das das Modell korrekt bewältigt:

  • Ein beschädigtes Token beeinflusst den Vervollständigungsprozess.
  • Ein substituiertes Token tritt in die Sequenz ein und ist nicht von dem zu unterscheiden, was der Benutzer eingegeben hat.
  • Jeder weitere Schritt wird auf Basis dieses substituierten Tokens berechnet.
  • Es wird nichts als Problem markiert, da aus Sicht des Modells nichts schiefgelaufen ist.
  • Die Ausgabe klingt sinnvoll, obwohl die Qualität der Aufgabe stillschweigend nachgelassen hat, und das Modell bleibt zuversichtlich, da nie Unsicherheit auftrat.
  • Eine Halluzination ist überzeugend, weil sie fließend, zuversichtlich und präzise ist – in diesem Fall erfüllen alle drei Eigenschaften direkt die Anforderungen der Embedding-Geometrie.

    Bei der Liste-Frage ergibt sich dadurch eine Antwort wie „bort“, was letztendlich nur eine Kuriosität ist. Die Folgen für agierende Systeme sind gravierender. Qwen3-32B erhielt eine Forschungsaufgabe sowie ein Set an Forschungstools. Es startete eine Suche, doch die Abfragen enthielten fehlerhafte oder veränderte Token, wodurch die Ergebnisse irrelevant waren; das System zitierte anschließend diese irrelevanten Quellen mit Zuversicht. In fünfzig Versuchen tauchten die betreffenden Token weder in der Suche noch in der Antwort auf, während stabile Token ohne fragile Nachbarn in etwa 96 Prozent der Fälle in beiden auftauchten.

    Auch alltägliche Wörter sind betroffen

    Wäre die Auswirkung auf seltene, extrahierte Zeichenketten beschränkt, wäre ihr praktischer Einfluss gering. Sie erstreckt sich jedoch auf häufige Wörter.

    Nehmen Sie die bekannten fehlerhaften Token eines Modells und bewerten Sie alle anderen Token danach, wie nah sie dieser Region im Ausgabe-Embedding liegen. Die Bewertung sagt voraus, welche scheinbar einwandfreien Token in gewöhnlichen Sätzen versagen werden – bei sechs der acht untersuchten Modelle liegt der AUC-Wert zwischen 0,72 und 0,83. Eine zufällig gewählte Referenzregion derselben Größe ergibt Werte zwischen 0,41 und 0,55.

    Kranke Token müssen überhaupt nicht im Prompt vorkommen – nahegelegene Token reichen aus. Das deutlichste Beispiel ist das englische Wort „according“. Bei OLMo-2-7B wird es allein mit einer Wahrscheinlichkeit von 0,999 erzeugt, bricht jedoch in 44 von 48 normalen Sätzen zusammen. Wenn eine Aufgabe gestellt wird, in der es darum geht, den Begriff „according“ vor Freitag in einem Formular einzutragen und die Rechtschreibung zu korrigieren, liefert das Modell eine Version mit „correct“ anstelle dessen, wodurch ein gängiges englisches Wort entfernt und die Lücke ausgeglichen wird.

    Wie viel des Wortschatzes ist gefährdet?

    Der Maßstab ist der Anteil der ansonsten einwandfreien Token, die in mindestens einem von zehn Kontexten versagen:

    Bei dieser Messmethode liegt Qwen3.8-Flash-Next bei 0,4 Prozent und Qwen3-32B bei 0,9. Qwen3.8-27B erreicht 1,5, Qwen3-1,7B 2,4 und OLMo-2-7B 2,7. Die älteren und größeren Modelle sind deutlich schlechter, wobei Qwen2.5-7B bei 7,0, Qwen2.5-72B bei 10,5 und Qwen3-235B bei 10,9 Prozent liegt.

    Das bedeutet einen Unterschied von etwa fünfundzwanzig Mal. Ein Modell weist etwa 1 von 250 Tokens auf, während ein anderes 1 von 10 Tokens aufweist.

    Die Größe des Wortschatzes ist keine Erklärung dafür. Man betrachte nur die Token-IDs, die in beiden Modellen Qwen3-32B und Qwen3-235B vorhanden sind und von jedem Modell als sauber eingestuft wurden. Bei dieser identischen Menge versagt das 235B-Modell in 4,3 Prozent der Fälle und das 32B-Modell in 0,8 Prozent – ein Fünffachunterschied.

    Eine Karte des Embedding-Raums macht den Kontrast sichtbar: Jeder Punkt stellt ein Token dar, und Tokens, die vom Modell gleich behandelt werden, liegen in der Nähe voneinander. Betroffene Tokens sind rot markiert. Das sauberste Modell in der Gruppe, Qwen3.8-Flash-Next, weist fünfzehn solcher Fälle auf, während Qwen3-235B 682 aufweist.

    Die Hypothese

    Diese Art von Halluzinationen resultiert nicht aus einem Wissensdefizit. Ein Token befindet sich in einem beschädigten Bereich des Embedding-Raums und wird bereits vor Beginn jeglicher Logikbearbeitung ersetzt, wodurch das Modell auf eine Frage antwortet, die niemand gestellt hat. Die Fehlerquote sollte anzeigen, wie viel des Wortschatzes sich in diesem Bereich befindet, und die oben genannten Zahlen zeigen, dass dieser Anteil bei den aktuellen Modellen um mehr als das Zehnfache variiert.

    Falls das zutrifft, könnte die geringere Halluzination bei neueren Modellen auf ein saubereres Vokabular und eine solideere Embedding-Geometrie hindeuten – nicht auf besseres Wissen. Qwen3.8 belegt die beiden niedrigsten Plätze in der Liste. Veröffentlichte Halluzinationsmetriken, die diese Generationen unterscheiden, existieren bisher nicht, weshalb diese Annahme unüberprüft bleibt.

    Eine weitere Messung, die in dieselbe Richtung weist

    PhantomBench, entwickelt von Haeji Jung und Hila Gonen, sammelt über 60.000 erfundene Begriffe und Entitäten und testet 21 Modelle damit. Die durchschnittlichen Fehlerraten bei der Vermeidung von Halluzinationen erreichen bis zu 86,7 Prozent – einschließlich der führenden Modelle.

    Das Studium des Verhaltens gegenüber nicht existierenden Entitäten ähnelt funktional dem Auftreten beschädigter Token. Die Autoren berichten, dass die Reaktionen auf nicht existierende Konzepte denen auf seltene Konzepte folgen, und dass beschädigte Token zur seltenen Gruppe gehören. Zudem weisen sie darauf hin, dass das größte Modell in jeder Familie einen plötzlichen Anstieg an Halluzinationen aufweist, wobei Qwen3-32B und Llama 3-70B schlechter abschneiden als ihre kleineren Pendants. Auch die Messungen der Token zeigen, dass die größten Modelle am stärksten betroffen sind. Dennoch überschneiden sich die Modellgruppen in den beiden Studien zu wenig, um eine Korrelation zu belegen.

    Ein Experiment, das Klarheit schaffen würde

    Ein Teil davon ist Spekulation, doch die Messungen der Tokens machen weitere Tests lohnenswert. Der Test ist einfach: Führen Sie ein Modell zweimal durch einen Halluzination-Benchmark – zunächst mit den Standardanfragen und anschließend, wobei jedes betroffene Token durch ein stabiles Synonym ersetzt wird. Ein niedrigerer Fehleranteil beim zweiten Durchlauf zeigt, wie groß die Auswirkung ist. Ein unveränderter Fehleranteil würde bedeuten, dass der vorgeschlagene Zusammenhang nicht existiert.

    Referenz: Der Artikel PhantomBench von Jung und Gonen, arXiv:2606.11105.

    Verwandte Literatur

  • Auswahl eines Embedding-Modells für RAG: Vergleich von MTEB, BGE, Voyage und OpenAI — Wie Embeddings in einen RAG-Pipeline-Workflow passen, wie man die MTEB-Leaderboard-Daten liest, Hinweise zu sechs Produktionsmodellen, ein Milvus-Pipeline-Workflow in fünf Schritten sowie ein praktisches Entscheidungsframework.
  • Ein Portfolio-Chatbot, der statt zu raten „Ich weiß es nicht“ sagt — Wie ein Portfolio-Chatbot ehrlich bleibt: ein verschlossener Ehrlichkeitsschalter, fünf handschriftliche Notizen im Prompt anstelle von RAG sowie eine feste Ablehnungslinie, die gleichzeitig als Lückenerkennung dient.