Allein kopieren, im Kontext versagen: Kontextuelle Fragilität bei Token, die einen isolierten Kopiervortest bestehen.
Überprüfung von acht Modellen mit offener Gewichtung auf Token, die allein korrekt kopieren, aber im Kontext weggelassen oder verändert werden, wobei auf die Geometrie der Embeddings, die Aufgabenerhaltung und die Nutzung von Werkzeugen geprüft wird.
Das korrekte Wiederholen eines Tokens, wenn es allein steht, sagt wenig darüber aus, ob dasselbe Token in einem längeren Textabschnitt überleben wird. In diesem Beitrag werden Wortschatzeinträge untersucht, die einer isolierten Kopierprüfung standhalten, aber im Kontext versagen. Acht Modelle mit variabler Gewichtung aus den Familien Qwen und OLMo wurden getestet. Festgelegte Token-IDs wurden in gemeinsame Datensätze mit zufälligen Sequenzen häufig vorkommender Wörter eingefügt, die Wahrscheinlichkeit des erwarteten Tokens an seiner Kopierposition wurde aufgezeichnet, und ausgewählte Dekodierfehler wurden manuell überprüft. Ein auf Wahrscheinlichkeiten basierender Filter identifizierte zwischen 0,4 % und 10,9 % der Tokens, die der Isolierungsprüfung standhielten, in mindestens einem Zehntel der getesteten Kontexte. Diese Zahlen zeigen, wie viele Tokens der Filter erfasst, sagen aber nichts darüber aus, wie viele tatsächlich zu verifizierten Dekodierfehlern führen.
Die Scores der Token-basierten Überprüfung stimmen in den beiden Teilen des Kontextsets stark überein, wobei die Korrelationen zwischen 0,82 und 0,95 liegen. Die gespeicherten Beispiele weisen Löschungen, Ersetzungen, Trunkierungen sowie Übersetzungen auf, wobei einige davon entstanden sind, als die Ausgabenverteilung stark konzentriert war. Eine weitere Frage ist, ob die Nähe im Embedding-Raum zu bekannten oder durch den Kontext überprüften Fehler-Token diese Gruppe heraushebt. Die bessere der Eingab-Embedding- und Ausgab-Embedding-Nähe erreicht bei sieben Modellen einen AUROC-Wert zwischen 0,744 und 0,881, obwohl statische Merkmale nur in drei dieser Modelle gegenüber Baselines mit Oberflächenmerkmalen überlegen sind. In mehreren Aufgaben zur Anweisungsverarbeitung und simulierten Werkzeugnutzung werden ausgewählte Kandidaten seltener beibehalten als stabile Kontrollgruppen. Ein separater Test mit natürlichen Entitätsnamen ergab keinen zusätzlichen prädiktiven Wert im Vergleich zu den bereits vorhandenen Kontrollen. Es ergibt sich eine kontrollierte Beschreibung der kontextuellen Anfälligkeit bei Tokens, die eine Isolierungsprüfung bestehen, zusammen mit Belegen für ihre Reproduzierbarkeit, ihre geometrischen Zusammenhänge sowie ihre Auswirkungen auf der Aufgabenebene. Es wird für eine kontextuelle Überprüfung plädiert und lässt sowohl die zukünftige Entdeckung als auch die Vorhersage offen, welcher Kontext zu einem bestimmten Fehler führen wird.
Ein Token, das allein kopiert wird und in Gesellschaft verschwindet
Ein Modell kann ein Token reproduzieren, wenn es aufgefordert wird, es allein zu kopieren, und dieses gleiche Token anschließend ersetzen, wenn es innerhalb einer längeren Sequenz zum Kopieren erscheint. Der Unterschied ist von Bedeutung, sobald eine wörtliche Identität Teil der Anweisung ist: das Zitieren eines Titels, das Beibehalten eines Identifikators, die Rückgabe eines Listeneintrags oder das Einfügen eines Namens in eine Tool-Anfrage. Eine fließende Antwort kann auf den ersten Blick die Aufgabe erfüllen, während gleichzeitig der genaue Gegenstand der Aufgabe geändert wird.
Ein konkreter Fall stammt von OLMo-2-7B und dem Token according mit der ID 4184. Das Dekodieren und Re-Encodieren der Zeichenkette ergibt wieder dieselbe ID. In einem isolierten Wiederholungs-Test hat die korrekte Fortsetzung eine Log-Wahrscheinlichkeit von -0,001. In der Sequenz deliver rel behind according sent floor wrong gibt das Modell jedoch an der Stelle, an der according stehen sollte, sent aus und setzt mit dem folgenden Wort fort. Die falsche Ausgabe hat eine Wahrscheinlichkeit von 1,000 und eine Entropie von 0,00 Bits. In 48 ausgewählten Kontexten lassen die aufgezeichneten Fortsetzungen according in 44 Fällen weg und reproduzieren es mit einer Wahrscheinlichkeit von nahe 0,999 in den anderen vier Fällen. Modell, Token-ID und Kopieranweisung bleiben dabei unverändert, nur die Umgebung unterscheidet sich.
Zuvorige Arbeiten zu Glitch-Tokens befassten sich mit der Unfähigkeit, bestimmte Wortschatzeinträge zu reproduzieren oder zu manipulieren, wobei dabei Methoden wie die Erkennung anhand von Embeddings, Klassifikatoren für Aktivierungen, Prompt-Variationen sowie Mehraufgabenevaluierungen eingesetzt wurden (zum Beispiel Land und Bartolo, 2024, anschließend Li et al., 2024 und Zhang et al., 2024, sowie kürzlich Wu et al., 2026 zusammen mit Tang et al., 2026). Hier wird eine engere Frage gestellt: Bleibt ein Token, nachdem es eine bestimmte Isolierungsprüfung bestanden hat, weiterhin anfällig, wenn es innerhalb eines längeren Textes kopiert wird, und kann diese Schwäche konsistent gemessen werden?
Der Begriff „fragiles Token“ wird für diese bedingte Verhaltensklasse verwendet. Die Zugehörigkeit hängt vom Modell, vom Kopierprotokoll sowie von der Verteilung der Kontexte ab. Die Bezeichnung setzt nicht voraus, dass die Anfälligkeit kontextunabhängig ist, und geht auch nicht davon aus, dass Fehler durch isolierte Tests und Fehler im Kontext dieselbe Ursache haben. In den Hauptexperimenten wird ein Wahrscheinlichkeitsfilter eingesetzt, um Kandidaten für diese Klasse auszuwählen, wobei dieser Filter stets von den nachgewiesenen Dekodierfehlern getrennt bleibt.
Drei Beiträge folgen. Erstens wird die Population isolierter Token mithilfe gemeinsamer Kontextbanken und fester Token-IDs gemessen, damit die Anfälligkeit der Token in verschiedenen Kontexten, unabhängigen Durchläufen sowie Modellkonfigurationen verglichen werden kann. Zweitens werden geometrische Signale, die mit etablierten Glitch-Tokenen verbunden sind, getestet, um herauszufinden, ob sie ebenfalls Kandidaten innerhalb dieser Population voneinander trennen können – im Vergleich zu Oberflächenmerkmalen sowie zufälligen Referenzmengen. Drittens untersucht die Studie, ob die ausgewählten Kandidaten späteren Anweisungen sowie simulierten Werkzeuginteraktionen standhalten, und berichtet ein eindeutig negatives Ergebnis für die Vorhersage natürlicher Entitätsnamen.
Das Ergebnis erweitert die empirische Bewertung von Glitch-Tokens. Es behauptet weder, eine auf Embeddingen basierende Glitch-Erkennung erfunden zu haben, noch dass frühere Arbeiten den Kontext völlig ignoriert hätten. Es zeigt vielmehr, warum ein Isolierungsresultat als eine Messbedingung gelten sollte und nicht als allgemeines Zertifikat dafür, dass ein Token zuverlässig kopiert wird.
Stellung innerhalb früherer Arbeiten
Frühe Berichte beschrieben ungewöhnliches Modellverhalten bei bestimmten Tokens unter unterschiedlichen Anfragen und ordneten einige dieser Tokens ungewöhnlichen Regionen im Embedding-Raum zu (Rumbelow und Watkins, 2023). Spätere Studien entwickelten systematische Detektoren und Bewertungsverfahren, die sowohl die Methode als auch den Vergleichspunkt für anfällige Tokens liefern.
Das Magikarp-Framework von Land und Bartolo (2024) verwendet aus Embeddings abgeleitete Indikatoren, um Kandidaten für untertrainierte Token zu finden, und überprüft diese anschließend mit verhaltensbasierten Tests. Ihre Analyse umfasst alternative Anfragen sowie Beispiele mit kopierten Code-Listen. Li et al. (2024) definieren Glitch-Behavior im weiteren Sinne und prüfen Wiederholung, Rechtschreibung und Länge; ihr GlitchHunter identifiziert problematische Bereiche mithilfe eines Embedding-Graphs und iterativer Clustering-Verfahren. Somit sind weder die Erstellung geometrischer Kandidaten noch die Verwendung des umliegenden Prompt-Textes hier neu.
GlitchProber klassifiziert Token anhand von Attention- und MLP-Eigenschaften und untersucht die Minderung solcher Fehler durch Änderung der Zwischenerregungen (Zhang et al., 2024). GlitchMiner wendet entropiegesteuerte diskrete Optimierung mit lokalen Embedding-Nachbarn an und überprüft Kandidaten unter drei Wiederholungsmustern (Wu et al., 2026). Die Experimente in dieser Studie unterscheiden sich dadurch, dass die Modellgewichte eingefroren werden und die kontextuelle Anfälligkeit erst nach Erfolg in einem Isolations-Test beurteilt wird. Falsche Ausgaben mit niedriger Entropie beeinflussen diese Beurteilung, doch ihr bloßer Vorhandensein zeigt nicht, dass ein entropiegesteuerter Detektor das Token bei jedem Prompt übersehen würde.
Der nächstliegende vergleichbare Ansatz ist die Arbeit von Tang et al. (2026). Ihr GlitchQuiz umfasst acht Aufgaben, darunter Satz- und Absatzbildung sowie Wiederholung und Mehrschritt-Wiederabruf. Sie zeigen ein Token, das einfache Tests bestehen kann, bei einer anderen Aufgabe jedoch versagt, und räumen ein, dass es außerhalb ihrer vollständigen Bewertung weitere Misserfolge geben könnte. Der Beitrag hier besteht in der wiederholten Messung derselben festgelegten Kopiervorgangs in gemeinsamen Kontextbanken innerhalb einer Population, die die Isolationsprüfung besteht, gefolgt von Analysen zur Reproduzierbarkeit und Vorhersagbarkeit. Das Bestehen der Isolationsprüfung in diesen Experimenten bedeutet nicht automatisch das Bestehen des GlitchQuiz, und es wird keine Priorität für die Annahme beansprucht, dass das Versagen eines Tokens von der Aufgabe abhängt.
Die Experimente vergleichen direkt die verfügbaren Magikarp-Labels für drei Modellkonfigurationen. Es handelt sich dabei nicht um einen direkten Vergleich aller fünf Systeme unter einem gemeinsamen kontextuellen Orakel, weshalb keine Aussagen bezüglich des Vergleichs der Erinnerungsleistung oder Effizienz dieser Systeme gemacht werden.
Eine alternative Erklärung ist die Seltenheit. Yu et al. (2022) untersuchen, wie Gradienten, die auf Embeddings seltener Token wirken, zu einer Degeneration der Repräsentationen führen können. Dies motiviert einen Vergleich mit oberflächenbasierten Merkmalen, die mit der Seltenheit zusammenhängen, doch es klärt weder die Trainingsgeschichte noch den kausalen Mechanismus der jeweiligen Token. Das hier verwendete Token-ID-Merkmal ist lediglich ein Ersatz für die Reihenfolge im Wortschatz und misst nicht die Häufigkeit im Vortraining.
Experimentelle Einrichtung
Modelle und Beispiele
Die Hauptkopierungsversuche umfassen acht Modelle mit offener Gewichtung aus zwei Familien: ein OLMo-2-Modell sowie sieben Qwen-Modelle aus drei Generationen. Eine separate Darstellungsstudie verwendet Pythia-1.4B und gilt als Hilfsexperiment; daher sollten die Schlussfolgerungen aus der Studie mit den acht Modellen nicht auf Pythia oder andere Familien übertragen werden.
Die Stichprobenentnahme erfolgt stratifiziert nach dem Token-ID-Bereich innerhalb jedes Wortschatzes. Die Qwen-Modelle verwenden jeweils zwischen 4.200 und 8.400 IDs, während OLMo-2-7B eine anfängliche Stichprobe von 2.098 sowie eine Nachahmungsstichprobe von 6.273 aufweist. Jeder ausgewählte Token wird in jeden Kontext seiner Ausführung aufgenommen. Die Kontexte stammen aus Datensätzen mit zufälligen Sequenzen von häufig vorkommenden Wörtern, wobei jedes Wort allein die Kopierungsprüfung bestehen muss. Die Sequenzlängen betragen 8, 16, 32 und 64, wobei das Zielwort einen zufälligen Platz in der Sequenz einnimmt. Solche Sequenzen sind kontrollierte Wörterlisten und keine grammatikalisch korrekten Texte.
Die Größe des Wortschatzes wird als Anzahl der Embedding-Zeilen gezählt, und die beiden größten Modelle, Flash-Next und 235B, laufen mit FP8-Checkpointen. Das OLMo-Team (2025) sowie das Qwen-Team (2025a, 2025b, 2026a, 2026b) dokumentieren diese Modelle. Tokenisierer, Architektur, Training, Formatierung und Präzision unterscheiden sich in den verschiedenen Konfigurationen, weshalb die Modellhierarchie aus mehreren Varianten besteht und den Einfluss der Parameteranzahl nicht isoliert darstellt.
Kopierprotokoll und Token-Identität
Jeder Kopierbefehl enthält zwei Beispiele sowie anschließend eine Sequenz, die das Zieltext enthalten soll. Der Isolations-Test verwendet dieses Muster erneut, wobei nur der Zieltext als Textinhalt vorhanden ist. Die Befehle werden aus Token-IDs zusammengestellt, wodurch die ID des Zieltextes konstant bleibt, während alles andere sich ändert.
Diese Wahl trennt das Verhalten des Modells von der Neutokenisierung. Das Hinzufügen eines Raums zu einer decodierten Token-String kann verändern, wie dieser vor dem Erreichen des Modells segmentiert wird. Das Direkt-Einfügen von IDs vermeidet dieses Problem, erlaubt aber auch Sequenzen, die ein Tokenisierer normalerweise aus einem gewöhnlichen String nicht erzeugen würde. Die exakte ID-Kopie unterscheidet sich daher von der String-Beibehaltung, und die Aussagen bezüglich der täglichen Textverwendung sind entsprechend eingeschränkt. Das kanonische according-Beispiel zeigt, dass der Effekt nicht auf nicht-kanonische Strings beschränkt ist.
Der zwingende Lehrer liefert das erwartete kopierte Präfix vor dem Lesen der Ausgabe am Zielort. Sei q0(t) die Wahrscheinlichkeit, dass das Modell dem Ziel-ID t in der Isolationsprobe einen Wert zuweist, und q(t,c) die Wahrscheinlichkeit an der entsprechenden Stelle im Kontext c. Ein kleiner Wert zeigt eine schwache Unterstützung für das erforderliche Token – selbst nach einem korrekten Präfix. Er kann nicht zeigen, wie eine freie Fortsetzung aussehen würde, sobald bereits ein früherer Fehler aufgetreten ist.
Die Qwen3.8-Konfigurationen platzieren Anweisungen, Demonstrationen und den Endtext in den Benutzer-Abschnitt des Chat-Vorlagenformats, beginnen den Assistenten-Abschnitt mit Copy: und deaktivieren das Nachdenken. Alle anderen Ausführungen verwenden eine rohe Few-Shot-Sequenz, wobei sich das Formatierungsverhalten innerhalb eines Modells nie ändert. Es ist wichtig zu wissen: Unter der rohen Anweisung beginnen Qwen3.8-Modelle oft eine neue Zeile und ändern die Tokenisierung der führenden Leerzeichen. Bei 2.000 Überprüfungen mit häufig vorkommenden Wörtern gelingen 3 mit der rohen Formatierung, während die Chat-Formatierung beim 27B-Modell 1.921 Mal und beim Flash-Next-Modell 1.925 Mal erfolgreich ist.
Verhaltensanfälligkeit und das Wahrscheinlichkeitsdisplay
Definieren Sie die gierige Vorhersage des Modells an der Kopierposition des Ziels unter Berücksichtigung des vom Lehrer vorgegebenen Präfixes. Der empirische Kopierfehlerquotient für einen Kontextpool mit m Kontexten ist dann der Anteil der Fälle, in denen diese Vorhersage nicht dem Ziel entspricht. Ein verhaltensmäßig anfälliger Token bestehen den genannten isolierten Test zwar, macht aber weiterhin kontextuelle Fehler, und eine quantitative Klassifizierung legt außerdem einen Schwellenwert für die Fehlerquote fest. Ein Versagen der gesamten kopierten Sequenz ist ein anderes Ergebnis, da Fehler vor oder nach der Zielposition auftreten können.
Aggregierte Experimente werden stattdessen auf einem verwandten Wahrscheinlichkeitsbildschirm durchgeführt. Das primäre Isolierungssystem lässt Token durch, deren Isolierungs wahrscheinlichkeit q0(t) über 0,5 liegt, wodurch t allein der einzig mögliche „greedy“-Ausgabewert wird. Diese Bedingung reicht aus, um einen isolierten „greedy“-Vorgang durchzuführen, obwohl einige Vorgänge darunter fallen. Ein strengeres Kriterium, das in der Empfindlichkeitsanalyse von OLMo angewandt wird, erfordert, dass ln q0(t) über -0,1 liegt – oder q0(t) etwa über 0,905 liegt.
Eine Zelle wird vom kontextuellen Bildschirm markiert, wenn ln q(t,c) unter -0,5 liegt, was bedeutet, dass q(t,c) etwa unter 0,607 liegt. Die Anfälligkeitsbewertung eines Tokens ist der Anteil seiner markierten Kontexte. Kandidaten, die das Kriterium erfüllen, erhalten eine Bewertung von 0,10 oder höher; stabile Kontrollgruppen erhalten genau null Punkte, und Tokens dazwischen bilden eine Zwischengruppe. Bei 24 Kontexten benötigen Kandidaten mindestens 3 markierte Zellen, bei 48 Kontexten mindestens 5.
Die Screening-Rate und die Fehlerrate sollten nicht miteinander vermischt werden. Stellen Sie sich einen Token mit einer Wahrscheinlichkeit von 0,55 sowohl einzeln als auch im Kontext vor: Er passiert das Haupttor und wird im Kontext ebenfalls als Fehler markiert, doch seine Wahrscheinlichkeit sinkt nicht, und seine „greedy“-Ausgabe ist korrekt. Die gemeldete Screening-Prävalenz ist daher weder eine Schätzung der Verhaltensprävalenz noch eine Obergrenze dafür. Das strenge Tor beseitigt diese spezielle Überschneidung, doch eine kontextuelle Wahrscheinlichkeit unter 0,607 beweist dennoch nicht, dass der argmax falsch ist. Dekodierte Proben dienen dazu, echte Fehler aufzuzeigen, und die aggregierten Wahrscheinlichkeitswerte bleiben als Screening-Messungen gekennzeichnet.
Referenzklassen und gespeicherte Proben
Für OLMo-2-7B existiert eine unabhängige Referenz mit 442 glitch Tokens, die von Magikarp überprüft wurden. Keiner davon besteht hier die Hauptisolierungsprüfung, und ihre durchschnittliche kontextuelle Bewertung im ursprünglichen Datensatz liegt bei 0,993. Andere Modelle verfügen über solche Kennzeichnungen nicht, weshalb ihre Referenzsets eine schlechte Isolierung mit einer kontextuellen Bewertung von 0,90 oder mehr aufweisen. Die kontextuelle Prüfung ist notwendig, da eine schwache Isolierungsleistung auf das Prompt-Format zurückzuführen sein könnte und nicht auf anhaltende Probleme bei der Kopie.
Jedes überprüfte Token trägt drei seiner schlechtesten kontextuellen Zellen sowie eine Kontrollzelle zum Speicher der Beispiele bei. Ein Datensatz enthält die Kontext-IDs, das Zielfeld, die Wahrscheinlichkeit des erwarteten Tokens, die fünf wahrscheinlichsten Ausgabe-IDs mit ihren Wahrscheinlichkeiten, die Entropie sowie, sofern eine Generierung stattgefunden hat, eine gierige Fortsetzung. Die Herkunftsfelder geben das Modell und die Revision des Checkpoints, die Genauigkeit, Metadaten zur Architektur sowie Softwareversionen an. Solche Datensätze ermöglichen Fallstudien. Da sie nur die schlechtesten Zellen auswählen, können sie nicht zeigen, wie sich das Vertrauen auf alle kontextuellen Fehler verteilt.
Fehler werden beschreibend in Kategorien wie Löschung, Ersetzung, Trunkierung und Übersetzung eingeteilt, wobei bei einer Schriftumwandlung diese angegeben wird. Um etwas als Löschung zu bezeichnen, sind Beweise erforderlich, dass das Modell zum nächsten Text übergeht, da eine isolierte Betrachtung des obersten Tokens nicht zeigt, wie sich die gesamte Fortsetzung entwickelt. Eine Entropie unter 2 Bit dient lediglich als Kennzeichnung für eine konzentrierte gespeicherte Verteilung. Sie ist kein kalibriertes Maß für die Richtigkeit der Aufgabe oder dafür, ob ein Modell Zweifel haben wird.
Wie anfällig sind Isolierungsverfahren?
Prävalenz der Überprüfung
Durch das primäre Filterverfahren liegen die Kandidatenraten bei Flash-Next bei 0,4 %, wobei 15 von 4.047 gefilterten Token qualifiziert sind, und bei Qwen3-235B bei 10,9 %, wobei 684 von 6.277 qualifiziert sind. Das ausgewählte Vokabular, das Filterverfahren, die Kontextverteilung sowie die Schwellenwerte bestimmen diesen Bereich; sie geben weder die Häufigkeit in natürlichen Texten noch den Anteil aller bereitwillig wiederholbaren Token an.
Durch das strenge Filterverfahren weist OLMo-2-7B im ersten Datensatz 14 Kandidaten bei 873 Token auf (1,6 %) sowie 29 Kandidaten bei 1.888 Token im Replikationsdatensatz (1,5 %). Ihre Isolierungsprobabilität liegt weit über dem kontextuellen Schwellenwert, wodurch sie als Überprüfung auf Überschneidungen zwischen den beiden Schwellenwerten dienen. Die Häufigkeit der überprüften argmax-Fehler muss weiterhin direkt gemessen werden.
Durch Einschränkung des Vergleichs auf IDs, die bei verschiedenen Modellen gemeinsam vorkommen, bleibt ein Teil des Unterschieds zwischen den Konfigurationen bestehen. Nehmen wir die 1.592 IDs, die bei Qwen3-1.7B und Qwen3-235B in beiden Modellen verwendet werden können: Bei dem erstgenannten Modell machen sie 2,0 % aus, beim zweiten 6,2 %. Bei den 1.569 IDs, die von Qwen3-32B und Qwen3-235B gemeinsam genutzt werden, liegen die Werte bei 0,8 % bzw. 4,3 %. Dadurch verringern sich die Unterschiede bei der Stichprobenauswahl, doch es lässt sich nicht unterscheiden, ob der Unterschied auf der Skalierung oder auf der Architektur, Präzision oder dem Training beruht.
Reproduzierbarkeit und die Rolle des Kontexts
Die pro Token ermittelten Werte beider Kontexthälften weisen bei allen acht Modellen eine Korrelation von 0,82 bis 0,95 auf. Eine anspruchsvollere Wiederholung mit Qwen3-32B verdoppelt die Stichprobe und verwendet einen neuen Kontextpool. Die Werte für die 4.200 gemeinsamen IDs weisen dann eine Korrelation von 0,984 auf, und 12 der ursprünglichen 15 Kandidaten qualifizieren sich weiterhin. Eine erneute Bewertung der gespeicherten Matrizen für Qwen3-32B und Qwen2.5-72B auf anderer Hardware erzeugt 99,9 % bzw. 99,6 % der Zellen, wobei die Korrelationen auf Token-Ebene bei 0,9999 bzw. 0,9996 liegen.
Durch die Varianzzerlegung der ersten OLMo-Matrix entfallen 95,2 % auf das Token, 0,1 % auf den Kontext und 4,7 % auf den Rest. Bei der Gruppe mit strengen Filtern verteilen sich die Werte auf 71,7 %, fast null und 28,2 %. Dieser starke Rückgang des Anteils am Token ist bedeutsam: In der gesamten Stichprobe trennt die Varianz hauptsächlich stark fehlerhafte Token von zuverlässigen, während innerhalb der gruppierten Kandidaten weiterhin ein erheblicher Anteil unerklärlicher Varianz vorhanden ist.
All das unterstützt eine reproduzierbare Anfälligkeit auf Token-Ebene innerhalb der stochastischen Verteilung und zeigt nicht, dass der auslösende Kontext irrelevant ist. Ein geringer Haupteffekt des Kontexts bedeutet, dass kein Träger für jedes Token besonders schwierig ist, was mit starken Schwankungen von Token zu Kontext übereinstimmt. In Übereinstimmung damit ergibt die Vorhersage der ausgeschlossenen OLMo-Zellen anhand der Score-Werte eines Tokens einen AUROC-Wert von 0,94, im Vergleich zu 0,56, der aus der Schwierigkeit des Trägers für andere Token ermittelt wird. Merkmale zur Ähnlichkeit von Token und Kontext fügen nichts hinzu.
Länge spielt für bestimmte Gruppen eine Rolle. In der Strenge-Gate-OLMo-Stichprobe liegen die Raten der markierten Zellen bei 0,005, 0,008, 0,008 und 0,008 bei Längen von 8, 16, 32 und 64. Bei den Qwen2.5-72B-Kandidaten markieren die kürzesten Träger 33 Prozent der Zellen und die längsten 52 Prozent. Die Rangfolge der Anfälligkeit ist somit klarer als die Bedingungen hinter jedem einzelnen Fehler.
Vergleich mit den veröffentlichten Magikarp-Labels
Verglichen mit den vorhandenen Magikarp-Daten sind keine der Kandidaten in den drei Modellvergleichen als bestätigter Fehlertoken zu identifizieren. Die meisten gelten nach diesem Verfahren als akzeptabel, während einige als undekodierbar eingestuft werden – was jedoch nicht als Nachweis für eine gesunde Struktur interpretiert werden darf. Einige Kandidaten waren bereits in Magikarps geometrischem Kandidatenpool enthalten, bevor ihre Verhaltensprüfung sie ausschloss. Der Qwen2.5-7B-Vergleich verwendet 294 Kandidaten, die Zusammenfassung der Überprüfung hingegen 296, da die beiden Analysen auf unterschiedlichen Datensätzen beruhen.
Daher erkennt die kontextuelle Überprüfung Verhaltensmuster, die außerhalb der verfügbaren, bestätigten Fehlermuster liegen. Dies ist jedoch kein Beweis dafür, dass jeder kontextuelle Kandidat tatsächlich ein echter Kopierfehler ist, noch dafür, dass andere Detektoren solche Fehler bei ihren eigenen Bewertungsaufgaben übersehen würden. Um diese umfassendere Behauptung zu belegen, ist ein Vergleich mit einem gemeinsamen Referenzsystem erforderlich.
Beweisbare Fehler und Konzentration
Der according-Fall belegt bereits einen tatsächlichen Kopierfehler trotz nahezu sicherem isoliertem Erfolg, und andere gespeicherte Fälle zeigen ähnliches Verhalten in verschiedenen Sprachen und Konfigurationen. Die Bewertung eines Exemplars fasst einen Token über seinen gesamten Datensatz zusammen, während die angezeigte Ausgabe nur ein ausgewählter Fall ist; daher haben die beiden unterschiedlichen Gewicht als Beweismittel. Die Exemplare dienen nur zur Veranschaulichung und liefern keine Häufigkeitsangaben für irgendeinen Fehlermodus.
In den sieben Qwen-Konfigurationen liegt der Anteil der ausgewählten gespeicherten fehlerhaften Exemplare mit Entropie unter 2 Bit zwischen 14 % und 74 %. Einige Fehler treten bei stark konzentrierten Verteilungen auf, andere bei diffusen. Die Aufzeichnungen stützen das Vorhandensein zuverlässiger Fehler, doch sie stützen weder die Behauptung, dass kontextuelle Fehler in der Regel zuverlässig seien, noch die Behauptung, dass sie niemals mit Unsicherheit einhergehen.
Embedding-Geometrie und Vorhersage
Werte und ihre Kosten
Die geometrische Analyse prüft, ob Kandidaten messbar mit dem Fehler-Referenz-Set eines Modells in Beziehung stehen. Für ein Token t wird die zugehörige Zeile e(t) in der Eingabematrix oder Ausgabematrix der Embeddings genommen, und es werden die fünf Referenz-Tokens mit der höchsten Kosinusähnlichkeit in diesem Raum ermittelt. Der Näherungswert fasst die Ähnlichkeit zu diesen fünf Tokens zusammen. Ein zweiter Wert projiziert das Eingabemapping auf die Linie vom Mittelwert des Wortschatzes zum Mittelwert der Fehler-Referenz-Embeddings, wodurch die Nähe lokal und die Projektion global ist. Sobald das Referenz-Set sowie die Embeddings vorhanden sind, ist für ein neues Token kein weiterer Berechnungsvorgang notwendig. Die Erstellung eines verhaltensbasiert geprüften Referenz-Setzes erfordert jedoch Modelllaufungen, und diese Kosten sind in jedem Entdeckungsvergleichsvorgang von Anfang bis Ende enthalten.
Die angepasste Vorhersageanalyse vergleicht vier Eigenschaftsebenen:
- Grundlinien der Oberfläche: Token-ID, Zeichenzahl der decodierten Zeichenkette sowie ob es einen führenden Leerzeichen gibt, ob sie aus Buchstaben besteht oder ASCII ist.
- Statisch: Zeilennormen und Abstände zum Schwerpunkt für Eingangs- und Ausgabeparameter, Ähnlichkeiten nach dem Prinzip des nächsten Nachbarn, eine direkte Selbstbewertung von Eingang und Ausgang mit Konkurrenzmarge sowie die Projektion in Richtung des Fehlers. Die Näherkeitsbewertung basierend auf fünf Nachbarn gehört in dieser Bewertungsebene nicht dazu.
- Dynamisch: Zusammenfassungen der Darstellung der Zielposition in der Hälfte der Kontexte, wie beispielsweise ihre Streuung, Norm und Übereinstimmung mit der Ausgabezeile des Ziels.
- Verhaltensbasiert: Messungen zur Kopierpraxis, die aus denselben Kontexten entnommen werden.
Die dynamischen und verhaltensbasierten Ebenen werden verwendet, um die Kandidatenetiketten vorherzusagen, wie sie in der verbleibenden Hälfte der Kontexte auftreten. Die Anpassungen erfolgen mittels L2-regulierter logistischer Regressionen außerhalb des Trainingsdatensatzes im Vergleich zur Baseline durch gepaarte Bootstrap-Verfahren. Da beide Ebenen Vorwärtsberechnungen erfordern, handelt es sich dabei nicht um rein gewichtsbasierte Filter, und die Etiketten der Halbbank liefern positive Zählwerte im Gegensatz zu denen der Vollbank-Filterung.
Link zur Referenzklasse für Fehler
Die Nähe wurde getrennt im Eingabespace und im Ausgabespace gemessen. Durch Auswahl des besseren Raums für jedes Modell ergeben sich AUROCs zwischen 0,744 und 0,881 bei den sieben Konfigurationen mit ungebundenen Embeddings. Dies ist eine beschreibende, modellweise Entscheidung und nicht die Leistung eines vorab festgelegten Scores, der überall auf dieselbe Weise angewendet wird. Die schwächeren Werte bei Qwen3-1,7B werden im Bericht aufgeführt.
Welcher Raum das Signal trägt, hängt vom Modell ab. OLMo-2-7B erzielt 0,846 bei der Eingabennähe und 0,528 bei der Ausgabennähe, während Qwen2.5-72B das Gegenteil zeigt, mit 0,685 gegenüber 0,798. Eine einzige globale Richtung reicht nicht immer aus – bei Qwen2.5-72B erzielt sie nur 0,599, doch bei Qwen3-32B erreicht sie 0,898 und übertrifft beide Näherungswerte. Geometrische Zusammenhänge hängen daher vom Modell ab, und es gibt keine universelle Form.
Durch den Austausch des fehlerbezogenen Referenzsets gegen ein zufälliges, stabiles Set gleicher Größe liegen die durchschnittlichen AUROC-Werte bei zehn Auszügen zwischen 0,41 und 0,55. Willkürliche, stabile Referenzsets reproduzieren daher nicht die gemeldete Rangfolge. Der Vergleich unterscheidet nicht zwischen der Nähe zu Fehlern und anderen Erklärungen wie Seltenheit, lokaler Embedding-Dichte oder der Art und Weise, wie das Referenzset ausgewählt wurde. Eine einfache Token-ID-Baseline erweist sich tatsächlich als leistungsfähiger als beide Näherungswerte sowohl für Qwen2.5-72B als auch für Qwen3-235B.
Die Bewertung der Gewichtsanpassung ist anhand der Daten von Qwen3-1.7B nicht möglich, da dieses Modell die einzige konfigurierte Variante mit angepassten Gewichten in der Studie ist und seine Eingangs- sowie Ausgangsnäherungswerte trotz der Beschreibung als angepasst unterschiedlich sind. Diese Diskrepanz erschwert eine klare architektonische Interpretation der Ergebnisse.
Wo befinden sich die Kandidaten in der Projektion?
Die Kandidaten liegen jenseits der sichtbaren Konzentrationen der Referenzklasse. UMAP-Projektionen der Ausgabeeinbettungsreihen nach dem Kosinusabstand (McInnes et al., 2018) zeigen rote Kandidatenpunkte, die sich über große Flächen der grauen Hintergrundpopulation in Qwen3-1.7B, Qwen3.8-27B und Qwen3-235B verteilen, während die schwarzen Referenzpunkte relativ zusammengefasst bleiben. In Qwen2.5-7B und OLMo-2-7B finden sich Kandidaten sowohl neben den Referenzclustern als auch unter den grauen Punkten. Die Farben kodieren die Screening- und Referenzetiketten und überprüfen nicht jeden eingezeichneten Punkt unabhängig voneinander.
Li et al. (2024) stellen fest, dass Glitch-Tokens dazu neigen, sich im Embedding-Raum zu gruppieren, und diese Beobachtung motiviert die iterative Graph-Clustering-Methode in GlitchHunter. Die hier dargestellten Projektionen werfen die Frage nach dem Anwendungsbereich auf: Kann die Geometrie einer Glitch-Referenzklasse auch auf kontextuelle Kandidaten angewandt werden, die eine solche Isolation nicht aufweisen? Die verstreuten roten Punkte deuten darauf hin, dass die sichtbaren Referenzcluster diese bedingte Population nur teilweise beschreiben.
Tang et al. (2026) stellen ebenfalls ein Clustering fest und stützen dies mit euklidischen Entfernungen sowie Entropievergleichen, die an Llama2-7B-chat und Mistral2-7B-it durchgeführt wurden, und verknüpfen es mit einer schlechten Differenzierung in der Eingabeprozessingschicht. Kosinusbasierte Projektionen der Ausgabeprozesse überprüfen diesen Zusammenhang nicht direkt. Getrennte Modelle erfordern eine eigene Bewertung der Eingangs- und Ausgabematrizen, und eine unstrukturierte Ausgabeprojektion kann nicht zeigen, dass die Eingabeprozesse frei von der beschriebenen Überfüllung sind.
Dies passt zu den oben genannten Ergebnissen bezüglich der Nähe. Eine Population kann sich über mehrere Regionen erstrecken und dennoch lokal in der Nähe von Referenz-Token liegen; daher benötigt eine nützliche Rangierungsquote keinen separaten Kandidaten-Cluster. UMAP verfälscht außerdem die Dichte und kann künstliche Trennungen erzeugen (UMAP-Entwickler, o. J.), weshalb die Darstellungen das Clustern im ursprünglichen Raum nicht ausschließen. Ein direkter Test würde Nachbarschaften sowie den Umfang von Kontextfehlern im ursprünglichen Raum an denselben Kontrollpunkten vergleichen, wobei die Embedding-Räume, Metriken, unabhängig überprüfte Fehler sowie Labels aus jeder Bewertungsmethode übereinstimmen müssen.
Wert jenseits oberflächlicher Merkmale
Bei den nicht berücksichtigten Kontext-Halblebeln übertrumpfen statische Merkmale die Basislinie mit einem positiven Intervall bei Qwen2.5-7B, OLMo-2-7B und Flash-Next, liefern keinen Vorteil bei fünf weiteren Modellen und ein negatives Intervall bei Qwen2.5-72B. Dynamische Merkmale übertrumpfen sie hingegen mit Intervallen, die Null ausschließen, bei fünf Modellen: OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B und Qwen3-235B. Dies verbindet kontextuelle Repräsentationen mit einer Anfälligkeit, die über das hinausgeht, was die Basislinie erfassen kann. Es macht jedoch ein auf Repräsentationen basierendes Verfahren nicht günstiger als das direkte Messen des Kopierverhaltens unter denselben Kontexten.
Die Verhaltensstufe erreicht einen AUROC-Wert von 0,945 bis 1,000. Dies stimmt mit den geteilten-Hälften-Korrelationen überein: Das Beobachten eines Tokens in bestimmten Kontexten ermöglicht die Vorhersage seines Filter-Labels in anderen durch denselben Prozess erstellten Kontexten. Dies zeigt Wiederholbarkeit, doch da Labels und Merkmale dieselbe Kopiervorgangs- und Kontextverteilung teilen, bleibt die Leistung bei neuen natürlichen Textverteilungen unermessen. Die Zielwerte sind Wahrscheinlichkeits-Filter-Labels und keine unabhängig überprüften argmax-Fehler-Labels.
Geometrische Vorfilterung ist geeignet, um zu entscheiden, was zuerst getestet werden soll, doch es wird hier nichts gezeigt, was eine hochpräzise Entdeckung bei festem Budget beweist. AUROC misst die Rangfolge und nicht die Präzision der ausgewählten Kurzliste. Um die praktische Anwendbarkeit der Entdeckungsmethode nachzuweisen, wären zunächst feste Bewertungskriterien und Referenzdatensätze erforderlich, Kandidaten, die sich nicht überschneiden, ein Budget für die Überprüfung der Datensätze sowie ein Vergleich mit zufälligen Werten, wobei die Auswahl der Token-ID und des vorhandenen Detektors anhand desselben Verhaltensergebnisses erfolgen sollte.
Was in der Generierung und bei Aufgaben erhalten bleibt
Kostenlose Generierung
Free-Generation-Proben überprüfen, ob ein Modell ein bereitgestelltes Token bei der Beschreibung oder Beantwortung beibehält. Die OLMo-Exekution verlangt eine genaue Identifizierung sowie eine Erklärung und gibt anschließend das Präfix Let me think about this carefully. aus. Andere Konfigurationen fügen das Token allein in den Benutzer-Abschnitt des Chat-Templates ein. Die Generierung stoppt bei 256 Token. Aufgrund unterschiedlicher Strukturierungen können die Zahlen nicht als vergleichbare Skalen interpretiert werden.
Zwei Replikationsmaßnahmen sind erforderlich. Die eine prüft, ob die Samen-ID irgendwo unter den generierten IDs vorkommt, und die andere, ob die decodierte Samenzeichenkette irgendwo in der Ausgabe auftaucht – auch bei unterschiedlicher Segmentierung. Keine dieser Methoden beweist eine korrekte Identifizierung oder eine zuverlässige Replikation der vollständigen angeforderten Sequenz. Bei Qwen2.5-72B kehrt keines der 32 Samen mit der schlechtesten Isolierung unter seiner ursprünglichen ID zurück, doch 12 kehren als Zeichenketten zurück, weil ein Samen wie _ghost mit mehreren Ausgabetoken geschrieben werden kann.
Durch die verfügbare Generierung fällt die Rate der Kandidaten mit beibehaltenem String in vier von fünf Vergleichen unter die Rate der Kontrollfälle, bei Qwen3-32B gibt es Gleichstand. Die Raten bei Exact-ID sind weniger einheitlich: Bei Qwen2.5-7B gibt es Gleichstand, während bei Qwen3-32B die Kandidaten 8 Mal von 14 Mal und die Kontrollfälle 7 Mal von 14 Mal auftauchen. Ein Kandidat kann sogar dann wieder auftauchen, wenn er falsch identifiziert wurde. Die Anfälligkeit hängt offensichtlich von der Aufgabe ab, und es besteht keine allgemeine Unfähigkeit, den Kandidaten-Token auszusenden.
Die als 32 schlechteste im Alleingang ausgewählten Beispiele für die separaten Generierungsprüfungen sollten nicht mit fehlerhaften Referenzen nach Kontextprüfung verwechselt werden. Durch von einem „Lehrer“ erzwungene Überprüfungen erhält der erwartete Token in 71 % der 768 Flash-Next-Zellen eine Wahrscheinlichkeit von mindestens 0,5, während dies in nur 0,1 % der Qwen3-235B-Zellen der Fall ist. Solche Unterschiede sind ein weiterer Grund, das Verhalten eines Referenzsets im relevanten Kontext zu überprüfen.
Freie Generierung, Aufgabentests sowie Fortsetzungen von Beispielen wurden bei den beiden FP8-Mischungen nicht durchgeführt, da der Bewertungsstack etwa sieben Sekunden pro generiertem Token benötigte und die Rechenleistung aus eigener Tasche bezahlt werden musste. Ihre Beobachtungen zum nächsten Token sollten daher nicht als Ergebnisse der generierten Schlussfolgerungen aufgefasst werden. Auch die generierung ohne Kandidaten fand bei Qwen2.5-72B nicht statt.
Anweisungen, die eine genaue Formulierung erfordern
Fünf Anweisungsvorlagen zwingen das Modell dazu, den Zieltext unverändert beizubehalten: Benennung einer Python-Funktion, Zitieren eines Dokumenttitels, Zurückgeben eines Listeneintrags, Korrektur von Rechtschreibfehlern sowie Zusammenfassung unter Beibehaltung von Eigennamen. Zehn ausgewählte Token pro Klasse, Modell und Aufgabe ergeben 50 Episoden pro Klasse, wobei die Tokens über die Chat-Vorlage per ID eingegeben werden.
Die Hauptmetrik prüft, ob die Antwort den Zielstring enthält, und ist bewusst enger gefasst als die Korrektheit der Aufgabe. Dabei wird ignoriert, ob der Code gültig ist, ob ein Funktionsname ein gültiger Identifikator ist und ob eine Zusammenfassung ansonsten getreu ist. Auch die Rechtschreibaufgabe erlaubt Normalisierungen, wodurch ihr Erfolgsgrad von der Formulierung abhängt.
In allen fünf Konfigurationen überstehen die Kandidaten seltener als die Kontrollgruppen. In vier davon schließen die Episode-Bootstrap-Intervalle Null aus (OLMo-2-7B, Qwen3.8-27B sowie beide Qwen3-32B-Modi), wobei Qwen2.5-7B die Ausnahme darstellt. Die grobe Vervollständigung bleibt bei 0,96 bis 1,00, während die Erhaltung des Strings variiert – daher beweist eine scheinbar abgeschlossene Aufgabe nichts. Jeder Token wird in verschiedenen Aufgaben wieder verwendet, was die Unabhängigkeit einschränkt.
Die Transkripte machen die Lücke konkret. OLMo-2-7B, dem eine Funktion mit dem Namen according abverlangt wird, schreibt sum_list hin, überschreibt according im Rechtschreibvorlage als correct und antwortet mit LocalizableString, wenn der zweite Listeneintrag NSLocalizedString ist. Qwen3-32B wandelt realtà in der Rechtschreibaufgabe in reality um. Die Aufgabenvorlage bleibt in diesen Antworten erhalten, während der zugewiesene Inhalt sich ändert.
Simulierte Tools
Das Tool-Experiment beinhaltet fünf Aufgaben rund um einen Zielbegriff: Die Untersuchung einer Konfigurationsdatei, die Erstellung einer Hintergrundinformation, die Empfehlung, ob eine Technologie übernommen werden soll, die Erklärung eines Begriffs sowie die Überprüfung einer Version. Es sind bis zu sechs Runden mit search, open_page und run_python zulässig, und zehn Token pro Klasse ergeben insgesamt 50 Episoden pro Konfiguration.
Die Umgebung ist an das bereitgestellte Token angebunden. Die Suche nach dem genauen String liefert Dokumentation, Versionshinweise sowie eine Issue-Seite, während jede andere Suche nur unzureichende und allgemeine Seiten ergibt. Dadurch wird getestet, ob der Zielbegriff überhaupt zu einem Toolaufruf führt, wobei ein Versagen bei der Informationsabrufung in einem echten Suchmaschinen-System nicht abgebildet wird. Qwen-Modelle verwenden ihre eigenen Tool-Vorlagen, während OLMo ein textbasiertes Protokoll nutzt, was den Vergleich zwischen den Modellen weiter erschwert.
In Normalmodus hält Qwen3-32B stabile Ziele in 96 % der ersten Abfragen sowie der endgültigen Antworten bei, Kandidaten in 74 % der ersten Abfragen und 68 % der endgültigen Antworten, und Fehlerreferenzziele in keiner der 50 Episoden. Einige Antworten setzen sich aus allgemeinem, abgerufenem Material fort, nachdem der Begriff in der ersten Abfrage verschwunden oder sich geändert hat.
Bei Qwen3.8-27B sieht der Kontrast bei den ersten Abfragen ähnlich aus, während sich das Vervollständigen der Antworten unterschiedlich verhält. Im Normalmodus enden nur 14 % der Fehlerepisoden innerhalb der vorgegebenen Zeit, im Vergleich zu 66 % der stabilen Kontrollfälle und 58 % der Kandidaten. Zudem treten identische Toolaufrufe jeweils in 28 %, 10 % und 14 % der Fälle auf. Im Denkmodus ändern sich diese Raten sowie die stabile Basislage. Das Verlieren des Ziels kann somit je nach Konfiguration entweder in einer fertigen, allgemeinen Antwort oder in wiederholtem Toolgebrauch enden.
Die Daten belegen keine weit verbreitete Erfindung spezifischer abgerufener Fakten. Falsche Versionennummern kommen nur in einem Ausmaß von 0,00 bis 0,02 pro Klasse und Konfiguration vor, wobei es in den Gruppen für Fehler sowie in den kontrollbezogenen Gruppen vereinzelt nicht-null-Werte gibt. Der deutlichere Effekt ist das Verschwinden des ursprünglichen Ziels aus einer Anfrage oder Antwort. Ausgewählte Token-Sete, wiederholte Vorlagen sowie die Umgebungsstruktur begrenzen allein schon die Generalisierung auf autonome Systeme, die natürliche Aufgaben ausführen.
Ein negatives Ergebnis bei Eigennamen
Ein weiteres Experiment verwendet alltägliche Materialien: In einer natürlichen Aufgabe kommen 1.255 echte Code-Identifikatoren sowie Eigennamen vor. Die Bewertung, wie anfällig ihre Bestandteiltokens sind, bringt keinen Vorteil bei der Vorhersage eines falschen Entity-Namens, sobald Seltenheit, Isolationswerte der Bestandteile sowie die Wahrscheinlichkeit des Modells für die gesamte Entity berücksichtigt werden. Die AUROC ändert sich um -0,001, wobei der 95%-Intervall von -0,008 bis +0,006 liegt.
Das beschränkt, inwieweit die synthetischen Erkenntnisse in die Praxis übertragen werden können. Die Belege zeigen weder, dass der kontextuelle Score natürliche Fehler bei Entitätsnamen besser erklärt als bestehende Prädiktoren, noch, dass Seltenheit eines der Ergebnisse verursacht, noch, dass alle möglichen Zusammenhänge zwischen Token-Fragilität und Halluzinationen ausgeschlossen sind. Die zutreffende Schlussfolgerung ist, dass dieses Experiment keine zusätzliche prädiktive Leistung aufweist.
Nebenanalysen
Token-Paare
In einem faktoriellen Kopierversuch wird untersucht, ob Token-Paare mehr Schaden anrichten als ihre einzelnen Bestandteile. Die Träger weisen zwei Slots bei Abständen von 2, 4, 8, 16, 32, 64 und 128 auf, jeweils mit zwei unabhängigen Füllern. Jedes geordnete Paar wird auf vier Arten getestet: mit beiden Zielen vorhanden, mit nur einem davon neben einem Kontrollwert sowie mit nur Kontrollwerten. Der Interaktionskontrast ergibt sich aus dem gemeinsamen Score minus den beiden Einzelziel-Scores plus dem Kontrollwert.
Das Verfahren folgt einem additiven Modell innerhalb jeder Trägergruppe, standardisiert die Residuen, ordnet sie innerhalb der Trägergruppen um und wendet eine Benjamini-Hochberg-Korrektur bei q = 0,05 an (Benjamini und Hochberg, 1995). Sein Zählkriterium legt die Anzahl der abgelehnten Paare in Beziehung zum 95. Perzentil, das aus zwanzig simulierten Datensätzen mit rein additiven Wechselwirkungen ermittelt wird. Keine der Pools bestehen die Prüfung: Jeder OLMo-Pool lehnt 1 von 4.032 Paaren ab, Qwen3-32B lehnt 13 von 1.190 ab und Qwen3-235B lehnt 1 von 2.256 ab.
Das bedeutet nicht, dass es keine Interaktion gibt. Die Tests mit maximalen Statistiken sind für die OLMo-Pools sowie Qwen3-32B signifikant, und bei Qwen3-235B beträgt der p-Wert 0,059. Die Kriterien untersuchen verschiedene Aspekte der Interaktionsverteilung, weshalb beide in dem Bericht enthalten bleiben. Die Vergleiche mit wiederholten Tokenen ergeben im Durchschnitt positive Werte, was auf eine Förderung dieser Träger hindeutet – bei OLMo bei einer Trennung von 2 Werten auf +0,005 und bei 128 Werten auf +0,018. Nichts davon zeigt universelle Additivität, das Fehlen seltener schädlicher Kombinationen oder einen auf Induktion beruhenden Mechanismus, und positive Werte können negative Interaktionen für einzelne Paare verbergen.
In den gemischten Pools verursachen fünf OLMo-Tokene 47 Prozent der fehlerhaften Träger, während fünf Qwen3-32B-Tokene 57 Prozent verursachen. Eine solche Konzentration macht die Angabe der Anfälligkeit auf Token-Ebene zu einer nützlichen Zusammenfassung, wobei Fehler, die sich bei verschiedenen Füllwörtern nicht wiederholen, zeigen, dass diese Zusammenfassung nicht kontextunabhängig ist.
Ist die Identität noch vorhanden?
In dem Pythia-1.4B-Experiment werden jeweils 36 verifizierte Glitch-Tokens sowie 1.088 Kontroll-Tokens am Ende von acht Kontexten platziert (Biderman et al., 2023, beschreiben das Modell). In jeder Schicht versucht das Modell, den kontextuellen Zustand eines Tokens mit seinem Zustand in einem anderen Kontext unter Abzug des innerhalb jedes Kontexts gemeinsamen Bestandteils bei 1.124 Kandidaten abzugleichen. Glitch-Tokens stimmen von der Embedding-Schicht bis zur Schicht 12 perfekt überein, während die Kontroll-Tokens Werte zwischen 0,988 und 1,000 aufweisen. In der letzten Schicht sinkt die Genauigkeit auf 0,880 bzw. 0,874. Damit bleibt eine Menge an Identitätsinformationen wiederherstellbar. Ein Beispiel mit der Logit-Lens-Methode spricht ebenfalls dafür, ein Glitch-Token wie depress gefolgt von ant fortzusetzen, anstatt das Eingabetoken zu reproduzieren.
Die Wiederherstellbarkeit ist keine kausale Lokalisierung des Fehlers. Das Experiment kann nicht zeigen, dass das Kopieren die wiederherstellbaren Informationen verwendet, dass die Identität perfekt erhalten bleibt oder dass allein die Ausgabeschicht schuld ist; es bezieht sich auf unabhängig gekennzeichnete Pythia-Glitch-Tokens und nicht auf die acht-Modell-Kandidaten. Um eine schlechte Auslesung von einer kontextabhängigen Konkurrenz zu unterscheiden, wären kausale Eingriffe erforderlich.
Was die Beweise stützen und wo sie enden
Die zentrale Erkenntnis ist eine wiederholbare Lücke zwischen dem Erfolg isolierter Kopierungen und der Anfälligkeit im Kontext. Gemeinsame Datenbanken ermöglichen es, eine pro-Token-Tendenz abzuschätzen, ohne für jedes Token einen feindlichen Kontext suchen zu müssen. Dekodierte Beispiele zeigen, dass einige Abweichungen reine Kopierfehler sind, und Aufgabenerfahrungen belegen, dass ausgewählte Kandidaten außerhalb des Kopiervorlagenformats ihre Identität verlieren. Embedding-Assoziationen verbinden diese Gruppe mit früheren Arbeiten zu „Glitch-Tokens“, doch ihr ungleichmäßiger Mehrwert schließt es aus, Geometrie als vollständige Erklärung oder als validierten Detektor zu betrachten.
Mehrere Einschränkungen bestimmen den Umfang.
- Probabilistische Klassifizierung. Kandidaten werden anhand eines Wahrscheinlichkeitsschwellenwerts definiert, und der Zusammenhang zwischen diesem Schwellenwert und echten Dekodierfehlern ist nur teilweise vorhanden. Ergebnisse unter strengen Kriterien sowie überprüfte Fortsetzungen stärken die Argumentation, ersetzen jedoch keine Analyse auf Populationsebene mittels Argmax. Eine bessere Schätzung der Häufigkeit muss das Isolationsergebnis sowie die kontextbezogene Ausgabeidentität jeder Zelle berücksichtigen.
- Künstliche Träger. Wortlistenbasierte Träger sind künstlich konstruiert, und modellspezifische Rahmenbedingungen beeinflussen, was gemessen wird. Die direkte Einfügung einer Identifikationsnummer bestimmt zwar die Identität des Ziels, kann aber Eingaben erzeugen, die ein Tokenisierer nicht hervorbringen würde. String-basierte Aufgaben helfen teilweise, und der stärkste Test für natürliche Entitäten ergab nach den vorhandenen Kontrollen ein negatives Ergebnis. Nichts rechtfertigt es, die Häufigkeit auf alltägliche Texte zu extrapolieren oder einen Score als Eigenschaft eines kontextunabhängigen Tokens zu betrachten.
Der direkteste nächste Schritt besteht darin, vier Aspekte im Voraus zu korrigieren (Isolierungsprüfung, Kandidatenwertung, Referenzkonstruktion sowie Kontextverteilung) und anschließend mit unabhängigen Daten zu testen. Die Angabe des Argmax-Fehlers an der Zielposition, der Genauigkeit bei der Vervielfältigung der gesamten Sequenz sowie der Präzision bei der Beibehaltung exakter Zeichenfolgen zusammen mit den Wahrscheinlichkeitswerten würde die Empfindlichkeit der Überprüfung mit den von Menschen beobachtbaren Fehlern verknüpfen. Behauptungen über Entdeckungen würden durch Präzision und Recall bei einem festgelegten Überprüfungsbudget besser untermauert werden als allein durch eine rückblickende AUROC-Berechnung.
Was eine Reproduzierbarkeit erfordert
Eine Replikation erfordert Überarbeiten des Modells und des Tokenisierers, die gesammelten Token-IDs, vollständige Kontext-IDs mit Einfügestellen, Prompt-Strukturierung, Schwellenwerte, numerische Präzision sowie Scoring-Code – zusätzlich zu matrixbasierten Daten spezifisch für den jeweiligen Lauf und Umgebungsmetadaten. Die Gewichte werden niemals geändert. Die Projektionsgrafik benötigt außerdem dargestellte IDs, Klassenmasken, Vorverarbeitung der Embeddings, UMAP-Parameter und -Samen, wobei die Generierung nur auf ausdrücklich angegebene Konfigurationen beschränkt ist.
Die Anzahl der Kandidaten variiert zwischen den Analysen. Die Übersichtsliste gibt für Qwen2.5-7B, Qwen2.5-72B und Qwen3-235B jeweils 296, 418 und 684 an, ein Anhang listet 294, 417 und 682 auf, und jede Analyse verwendet ihre eigenen Zahlen. Auch die Vorhersagezahlen für Halbbank-Modelle unterscheiden sich, da deren Labels andere Kontexte verwenden. Um die verbleibenden Lücken genau zu schließen, sind die Token-Listen sowie Ausschlussmasken erforderlich.
Das aufgezeichnete Protokoll wurde im Laufe der Zeit geändert: Das Isolationsventil, die Stichprobengröße, der druckbare Samenfilter sowie die Bewertung auf Zeichenebene änderten sich alle. Die Stichprobenentnahme erfolgt nach der Anzahl der Einbettungsspalten, wodurch das Paddening die Überschneidung der IDs zwischen den Qwen2.5- und Qwen3-Stichproben verringert; außerdem wurde die Skalierung von abgeglichenen IDs innerhalb von Qwen2.5 nie getestet. Diese Entscheidungen gehören zur experimentellen Spezifikation und begrenzen das Lesen zwischen verschiedenen Modellen.
Prompt-Vorlagen und Tests
Die oben verwendeten kurzen Bezeichnungen enthalten keine Anweisungen sowie Quantisierungs-Suffixe. Genaue Versionen von Checkpoints und Tokenisierern, Änderungen am Lader sowie Umgebungsversionen müssen in den Ausführungsmanifesten aufgeführt werden.
Das Kopiervorlage beginnt mit einer kurzen Anweisung:
Repeat the text exactly.
Danach folgen zwei Demonstrationspaare sowie der finale Textbereich. Das finale kopierte Präfix wird vom Lehrer vorgegeben, und die Zielwahrscheinlichkeit wird an der Position seiner Kopie angezeigt. In Klammern stehende Phrasen im Rohvorlage beschreiben experimentelle Einfügungen und sind kein wörtlicher Prompt-Text:
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Zur Isolierung enthält das letzte Textfeld nur die Ziel-ID. Bei Qwen3.8 befinden sich Anweisungen, Demonstrationen und der endgültige Text im Benutzerzugriff, der Kopiermarkierer leitet zum Assistentenzugriff über und das Nachdenken ist deaktiviert. Die tokenisierten Trennzeichen gehören zur Ausführungsspezifikation, da eine decodierte Prompt-Stringe die ID-Sequenz nicht vollständig bestimmt.
Der Identifizierungs-Prompt von OLMo fragt nach dem Token, um es genau zu identifizieren, und erklärt anschließend Schritt für Schritt, was es bedeutet:
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
Der Assistenten-Präfix lautet Ich denke sorgfältig darüber nach. Getrennte Tests mit reinen Tokens setzen das Ziel in die Benutzer-Runde unter dem Template jedes Modells, und die Einstellungen „einfach“ sowie „nachdenken“ gelten als unterschiedliche Konfigurationen. Eine Replikation ist ein Auftreten irgendwo im Ausgabeinhalt, das jeweils nach der exakten ID sowie der decodierten Zeichenkette bewertet wird, und sie erfordert keine korrekte Erklärung.
Weitere Überprüfungen und geometrische Details
Die Größen der Referenzsets unterscheiden sich je nach Modell: Bei Flash-Next sind es 36 Tokens, bei OLMo-2-7B 442, bei den meisten Qwen-Modellen 100 und bei Qwen3.8-27B 50. Eine zusätzliche Diagnose zählt heraus, wie viele der 100 schlechtesten Isolations-Token auch eine kontextuelle Bewertung von 0,90 oder mehr erreichen. Diese Zahl liegt bei Flash-Next bei 36 und steigt bei Qwen3-32B auf 78. Da diese Zahlen aus verschiedenen Auswahlschritten stammen, reichen sie allein nicht aus, um jedes Referenzset wiederherzustellen; daher muss die vollständige Maskierung der negativen Klasse bei jeder Replikation mitgeliefert werden.
Bei OLMo erreichen sowohl eine Richtungsbewertung aus einem unabhängig gelabelten Referenzdatensatz als auch eine aus einem kontextbasiert ausgewählten, ungelabelten Referenzdatensatz einen AUROC-Wert von 0,879, während die unfiltrierten 100 schlechtesten Isolations-Token einen Wert von 0,642 aufweisen. Die Erstellung der Referenzen ist somit ein empirischer Bestandteil der Methode und kein austauschbarer Detailaspekt.
Die strenge OLMo-Vorhersageanalyse weist 28 positive Halbbank-Labels auf. Statische Merkmale erreichen eine AUROC von 0,911, während surface-basierte Merkmale eine AUROC von 0,711 aufweisen – das entspricht einem Zuwachs von +0,202 mit einem Intervall von +0,096 bis +0,320. Dabei handelt es sich jedoch um eine Sensitivitätsanalyse an einer anderen Population. Kleine Unterschiede zwischen den Bootstrap-Werten und den berechneten, gerundeten AUROCs können aus den verfügbaren Zusammenfassungen nicht aufgelöst werden.
Die Entropiewerte für gespeicherte, fehlerhafte Proben stammen von ausgewählten „schlechtesten“ Zellen und nicht von einer zufälligen Stichprobe an Flaggen oder Fehlern; sie beschreiben die Verteilung an der Zielposition. Für OLMo existiert keine entsprechende Zusammenfassung.
Detaillierte Beschreibung der Erstellungs- und Aufgabeprotokolle
Bei der Erzeugung im Einfachmodus weist Qwen3-1.7B nach dem Seed-Filtern 31 Kandidaten auf und Qwen3-32B 14, wobei bei dem OLMo-Kandidaten-Test das reine Token-Framing verwendet wird, was sich vom Experiment zur instruierten Identifizierung unterscheidet. In diesem instruierten Test wird kein überprüfter Fehler-Token durch die Identifizierung wiedergegeben, während in den Kontrollgruppen 17 und bei den Kandidaten 11 jeweils von insgesamt 32 Tokenn dies der Fall ist; somit verändert die Anpassung des Prompts die Zahlen und fällt in den Bereich ihrer Interpretation.
Die Trajektorien weisen im Vergleich zu den Kontrollgruppen keinen Anstieg der Entropie auf: der Entropieunterschied zwischen „Glitch-Minus-Kontrolle“ beginnt bei +0,27 Bits (Schritt 8) und endet bei -0,29 Bits (Schritt 255). Der mittlere paarweise Kosinus des Endzustands neigt sich in beiden Gruppen gegen Null, sodass kein Anzeichen für einen gemeinsamen Endzustand-Atraktor vorhanden ist. Die „schlechtesten Isolations-Samen“ werden anhand der Isolationsleistung unter Verwendung eines Filterns für druckbare Zeichenketten ausgewählt und sind nicht notwendigerweise die geometrische Referenzklasse. Wo überhaupt Zeichenketten protokolliert wurden, ist die Stichprobe klein: acht Samen und acht Kontrollgruppen, auf Qwen3-1,7B sowie im OLMo-Testlauf.
In jedem Template mit einfachen Anweisungen erhält der Platzhalter die ID des Ziel-Tokens und nicht eine neu tokenisierte, interpolierte Zeichenkette. Die fünf Templates sind:
- Funktionsbenennung: Schreiben Sie eine Python-Funktion, die genau nach dem Token benannt ist, welche die Summe einer Zahlensliste zurückgibt – ausschließlich Code.
- Titelzitat: Zitieren Sie den Titel eines Dokuments in Anführungszeichen und schreiben Sie nichts weiter; der Titel dient als Hinweis zum Token und zu damit verbundenen Themen.
- Listenabruf: In einer nummerierten Liste von Laternen, Token, Häfen und Kompassen nennen Sie nur den zweiten Eintrag.
- Rechtschreibkorrektur: Beheben Sie Fehler in einem Satz bezüglich der Einreichung des Token-Formulars bis Freitag oder geben Sie es unverändert zurück.
- Zusammenfassung: Fassen Sie eine Ausschusssitzung zusammen, in der das Token einen unveränderten Haushaltsplan vorgelegt hat, wobei Eigennamen unverändert beibehalten werden.
Einige Vorlagen erfordern eine genaue Benennung, während die Rechtschreibaufgabe Korrekturen zulässt; daher ist ein Vergleich Aufgabe für Aufgabe wichtig. Jede Zelle basiert auf zehn Episoden pro Klasse.
Die Tool-Zuweisungen verlangen:
- Konfiguration: eine Diagnose in zwei oder drei Sätzen darüber, warum ein Service eine über eine Umgebungsvariable gesetzte Konfigurationsdatei ignoriert, unter Verwendung von Dokumentensuchen, Seitenaufrufen und einer schnellen Überprüfung.
- Hintergrund: eine Anmerkung von unter 80 Wörtern für Neueinsteiger mit einer Definition, zwei Fakten und einer zitierten Seite.
- Verwendung: eine Empfehlung, das Token zu verwenden, auszuprobieren oder zu vermeiden, mit zwei durch Tools ermittelten Gründen.
- Bedeutung: eine Erklärung für englischsprachige Leser, was der Begriff bedeutet und woher er stammt, inklusive eines Beispielsatzes.
- Veröffentlichung: eine Ja-oder-Nein-Antwort mit einem Satz als Begründung dafür, ob die neueste Veröffentlichung die Standardkonfiguration geändert hat.
In der Simulationsumgebung liefert eine Abfrage, die den Zielstring enthält, drei nützliche Ergebnisse, nämlich Dokumentation, Veröffentlichungshinweise für Version 2.4.1 sowie ein offenes Issue, während andere Abfragen allgemeine Seiten anzeigen. Die Seiten öffnen sich normal und der Bibliothekskontrollbericht gibt eine Version an. Es handelt sich dabei um experimentelle Testfälle, die nichts über echte Bibliotheken aussagen, die mit den verwendeten Strings verbunden sind. Ein Lauf ist abgeschlossen, wenn innerhalb von sechs Runden eine endgültige Antwort vorliegt; er wird wiederholt, wenn derselbe Aufruf erneut auftritt, und es kommt zu einer Versionserfindung, wenn eine Version ohne Toolunterstützung angegeben wird. Eine Runde kann mehrere Aufrufe enthalten.
Ziele der Kategorie „Glitch“ überstehen die erste Abfrage mit einem Wert von 0,02 in beiden Qwen3.8-27B-Modi sowie mit 0,00 in den vier anderen Konfigurationen und bleiben auch in der endgültigen Antwort bei 0,02 für Qwen3.8-27B in der einfachen Variante sowie bei 0,00 anderswo erhalten. Die Werte messen die lexikalische Einbeziehung und bewerten nicht die Richtigkeit.
Weitere Literatur
- Praktische Hinweise: Was ist Retrieval-Augmented Generation (RAG)? Ein praktischer Überblick — Schritt-für-Schritt-Anleitung zu den Praktischen Hinweisen: Was ist Retrieval-Augmented Generation (RAG)? Ein praktischer Überblick: Verträge, Überprüfungen sowie Code-Blöcke für Teams, die dieses Muster einsetzen.
- Reranking in RAG: Cross-Encoders gegenüber LLM-Judges und deren Latenz — Wie ein zweistufiger Reranker die Reihenfolge der Ergebnisse in RAG verbessert, Vergleich von Cross-Encodern mit LLM-Judges, Latenzkosten, Fehlermöglichkeiten sowie Methoden zur Bewertung derselben.