Kopiowanie samodzielnie, porażka w grupie: kruchość kontekstowa tokenów, które przechodzą test kopiowania w izolacji.
Przegląd ośmiu modeli o otwartej wadze w celu wybrania tokenów, które poprawnie kopiują się samodzielnie, ale są pomijane lub modyfikowane w kontekście, przy jednoczesnej weryfikacji geometrii embeddingów, zachowania zadania oraz wykorzystania narzędzi.
Prawidłowe powtórzenie tokena, gdy występuje samodzielnie, niewiele mówi o tym, czy ten sam token przetrwa w dłuższym tekście. Niniejszy artykuł analizuje wpisy słownictwa, które przechodzą test kopiowania w izolacji, ale zawodzą w kontekście. Przetestowano osiem modeli o otwartym rozkładzie wag z rodzin Qwen i OLMo. Stałe identyfikatory tokenów zostały umieszczone w wspólnych bazach losowych sekwencji słów powszechnych, zapisywano prawdopodobieństwo wystąpienia danego tokena w jego pozycji kopii, a wybrane błędy dekodowania sprawdzano ręcznie. Filtr oparty na prawdopodobieństwie wskazał od 0,4% do 10,9% tokenów, które przeszły test izolacji, w co najmniej jednej dziesiątej przetestowanych kontekstów. Te wartości pokazują, ile tokenów wykrywa filtr, ale nic nie mówią o tym, ile z nich powoduje potwierdzone błędy dekodowania.
Wyniki analizy na poziomie pojedynczych tokenów wykazują silną zgodność pomiędzy obiema grupami zdań z zestawu kontekstowego, przy korelacjach w zakresie od 0,82 do 0,95. Przechowywane przykłady obejmują usunięcia, podstawienia, skracania oraz tłumaczenia; niektóre z nich powstały w momencie, gdy rozkład wyników był silnie skoncentrowany. Drugim pytaniem jest to, czy bliskość w przestrzeni embeddingów do znanych tokenów błędnych lub tych przeskanowanych w kontekście pozwala wyodrębnić tę grupę. Lepsza z opcji bliskości embeddingu wejściowego i wyjściowego osiąga wartość AUROC w zakresie od 0,744 do 0,881 w siedmiu modelach, chociaż cechy statyczne przewyższają bazowe metody oparte na cechach powierzchniowych tylko w trzech z nich. W kilku zadaniach polegających na wykonywaniu instrukcji oraz symulowanym używaniu narzędzi, wybrane kandydaty są zachowywane rzadziej niż stabilne grupy kontrolne. Odrębny test na naturalnych nazwach entytetów nie wykazał żadnej dodatkowej wartości predykcyjnej poza tą już istniejącą w grupach kontrolnych. W rezultacie otrzymujemy kontrolowany opis podatności kontekstowej wśród tokenów, które przechodzą test izolacji, wraz z dowodami na jej reprodukowalność, jej geometryczne powiązania oraz efekty na poziomie zadania. Tekst opowiada się za weryfikacją kontekstową i pozostawia otwarte zarówno możliwość przyszłych odkryć, jak i przewidywanie, jaki kontekst spowoduje określony błąd.
Token, który kopiuje się sam i znika w grupie
Model może odtworzyć token, gdy zostanie poproszony o jego pojedynczą kopię, a następnie zastąpić właśnie ten token, gdy pojawi się on w dłuższej sekwencji do skopiowania. Różnica ta ma znaczenie, gdy częścią instrukcji jest dosłowna tożsamość: cytowanie tytułu, zachowanie integralności identyfikatora, zwrócenie elementu listy lub umieszczenie imienia w zapytaniu do narzędzia. Sprawna odpowiedź może pozornie spełnić zadanie, jednocześnie zmieniając dokładny element, o którym mowa w zadaniu.
Przykładem jest model OLMo-2-7B oraz token according o identyfikatorze 4184. Dekodowanie i ponowne kodowanie tej sekwencji daje z powrotem ten sam identyfikator. W próbie izolowanej powtórki prawidłowa kontynuacja ma prawdopodobieństwo logarytmiczne -0,001. Jednak w sekwencji deliver rel behind according sent floor wrong model emituje słowo sent w pozycji przeznaczonej dla according i kontynuuje od następnego słowa. Błędna emisja ma prawdopodobieństwo bliskie 1,000 oraz entropię bliską 0,00 bitów. W 48 przetestowanych kontekstach zapisane kontynuacje pomijają according w 44 przypadkach, a w pozostałych czterech odtwarzają je z prawdopodobieństwem bliskim 0,999. Model, identyfikator tokena oraz instrukcja kopiowania pozostają niezmienne przez cały czas, zmieniają się jedynie otaczające je elementy.
Wcześniejsze prace dotyczące glitch-tokenów dotyczyły niemożności odtworzenia lub modyfikacji określonych pozycji słownictwa, przy wykorzystaniu detekcji opartej na embeddingach, klasyfikatorach działających na aktywacjach, zmienności promptów oraz oceny wielozadaniowej (na przykład Land i Bartolo, 2024, następnie Li i in., 2024 oraz Zhang i in., 2024, a ostatnio Wu i in., 2026 wraz z Tang i in., 2026). Tutaj postawiono węższe pytanie: czy token, który przejdzie określoną próbę izolacji, pozostaje podatny, gdy zostanie skopiowany w dłuższym tekście, i czy tę słabość można mierzyć w sposób spójny?
Pojęcie „kruchy token” jest używane w odniesieniu do tej kategorii zachowań warunkowych. Przynależność do niej zależy od modelu, protokołu kopiowania oraz kontekstu. Etykieta ta nie twierdzi, że podatność na ataki jest niezależna od kontekstu, ani nie zakłada, że błędy wynikające z prób izolowanych oraz błędy kontekstowe mają wspólną przyczynę. Główne eksperymenty wykorzystują filtr prawdopodobieństwa do wybrania kandydatów do tej kategorii, przy czym filtr ten jest traktowany oddzielnie od potwierdzonych błędów dekodowania.
Następują trzy opracowania. Po pierwsze, populację izolowanych tokenów poddawanych analizie mierzy się za pomocą wspólnych banków kontekstowych oraz stałych identyfikatorów tokenów, dzięki czemu można porównywać podatność tokenów w różnych kontekstach, niezależnych próbach i konfiguracjach modelu. Po drugie, testuje się sygnały geometryczne powiązane z ustalonymi tokenami awaryjnymi, aby sprawdzić, czy one również rozróżniają kandydatów w tej populacji w odniesieniu do cech powierzchniowych oraz losowych zbiorów referencyjnych. Po trzecie, badanie sprawdza, czy wybrane kandydaty przetrwają późniejsze instrukcje oraz symulowane interakcje z narzędziami, i podaje wyraźnie negatywny wynik w przypadku przewidywania naturalnych nazw entytetów.
Wyniki te rozszerzają empiryczne oceny tokenów z błędami. Nie twierdzą one, że wynaleziono metodę wykrywania błędów opartą na embeddingach, ani że wcześniejsze prace całkowicie ignorowały kontekst. Pokazują one natomiast, dlaczego wynik uzyskany w warunkach izolacji powinien być traktowany jako jedna z warunków pomiarowych, a nie jako ogólne potwierdzenie, że token zostanie wiernie skopiowany.
Miejsce tego badania wśród wcześniejszych prac
W wczesnych raportach opisywano dziwne zachowanie modelu wobec określonych tokenów przy różnych promptach oraz łączono niektóre z tych tokenów z nietypowymi obszarami w przestrzeni embeddingów (Rumbelow i Watkins, 2023). Późniejsze badania opracowały systematyczne narzędzia wykrywania błędów oraz procedury oceny, dostarczając zarówno metodę, jak i punkt porównania dla tokenów podatnych na błędy.
Ramka Magikarp autorstwa Land i Bartolo (2024) wykorzystuje wskaźniki pochodzące z embeddingów w celu znalezienia kandydatów na słowa o niewystarczającej liczbie treningowych przykładów, a następnie sprawdza je za pomocą testów behawioralnych. Jej analiza obejmuje alternatywne prompty oraz przykłady z skopiowanymi listami kodu. Li i współpracownicy (2024) szeroko definiują zachowania typu glitch i testują powtarzalność, ortografię oraz długość tekstu; ich narzędzie GlitchHunter identyfikuje problematyczne obszary za pomocą grafu embeddingów oraz iteracyjnego klasterowania. Dlatego ani generowanie kandydatów na podstawie kryteriów geometrycznych, ani wykorzystanie otaczającego tekstu promptu nie stanowią tu nic nowego.
GlitchProber klasyfikuje tokeny na podstawie cech związanych z mechanizmem uwagi i sieciami MLP oraz bada sposoby ich łagodzenia poprzez modyfikację pośrednich aktywacji (Zhang i in., 2024). GlitchMiner stosuje optymalizację dyskretną kierowaną entropią wraz z lokalnymi sąsiedztwami embeddingów i weryfikuje kandydaty przy użyciu trzech szablonów powtórzeń (Wu i in., 2026). Eksperymenty w tym badaniu różnią się tym, że wagi modelu są zamrażane, a ocena podatności kontekstowej następuje dopiero po sprawdzeniu sukcesu w próbie izolacyjnej. Błędne wyniki o niskiej entropii wpływają na tę ocenę, ale sama ich obecność nie pokazuje, że detektor kierowany entropią pominie dany token przy każdym zapytaniu.
Najbliższym porównaniem behawioralnym jest praca Tang i współpracowników (2026). Ich GlitchQuiz obejmuje osiem zadań, w tym tworzenie zdań i akapitów, powtarzanie oraz przywoływanie informacji w kilku krokach. Pokazują token, który przechodzi proste testy, ale nie udaje się w innym zadaniu, przyznając jednocześnie, że mogą istnieć przypadki niepowodzeń poza zakresem ich pełnej oceny. Niniejszy wkład polega na wielokrotnym pomiarze jednej, stałej operacji kopiowania w ramach wspólnych baz kontekstowych w populacji zdolnej do przejścia testu izolacji, a następnie na analizie powtarzalności i możliwości przewidywania wyników. Przejście testu izolacji w tych eksperymentach nie oznacza przejścia GlitchQuiz, a nie roszcza się żadnej przewagi dla tezy, że niepowodzenia tokena zależą od rodzaju zadania.
Eksperymenty bezpośrednio porównują dostępne etykiety Magikarp dla trzech konfiguracji modeli. Nie są to ponowne testy wszystkich pięciu systemów w bezpośrednim starciu przy użyciu jednego wspólnego źródła kontekstowego, dlatego nie wysuwane są żadne twierdzenia dotyczące porównawczej skuteczności lub wydajności tych systemów.
Konieczność rzadkości jest alternatywnym wyjaśnieniem. Yu i współpracownicy (2022) badają, w jaki sposób gradienty oddziałujące na embeddingi rzadkich tokenów mogą prowadzić do degradacji reprezentacji. To motywuje porównanie z cechami powierzchniowymi związanymi z rzadkością, jednak nie rozstrzyga kwestii historii treningu ani mechanizmu przyczynowego danych tokenów. Cecha identyfikatora tokena użyta tutaj jest jedynie zamiennikiem porządku słownika i nie mierzy częstotliwości przedtreningu.
Ustawienie eksperymentalne
Modele i przykłady
Główne eksperymenty z kopiowaniem obejmują osiem modeli o otwartej wadze z dwóch rodzin: jeden model OLMo-2 oraz siedem modeli Qwen z trzech generacji. Odrębne badanie reprezentacji wykorzystuje Pythia-1.4B i jest traktowane jako eksperyment pomocniczy, dlatego wnioski z badania kopiowania ośmiu modeli nie powinny być przyjmowane jako obowiązujące również dla Pythia czy innych rodzin.
Próbkowanie jest stratyfikowane według zakresu identyfikatorów tokenów w ramach każdego słownika. Modele Qwen wykorzystują od 4 200 do 8 400 identyfikatorów każdy, natomiast OLMo-2-7B ma początkową próbkę 2 098 elementów oraz próbkę do powtórzenia wynoszącą 6 273 elementy. Każdy wybrany token trafia do każdego kontekstu w ramach danej sesji. Konteksty pochodzą z zbiorów losowych sekwencji słów powszechnie używanych, przy czym każde słowo przechodzi samodzielnie test kopiowania. Długości sekwencji wynoszą 8, 16, 32 i 64, a cel znajduje się w losowo wybranym miejscu wewnątrz sekwencji. Takie sekwencje stanowią kontrolne listy słów, a nie prozę gramatyczną.
Rozmiary słownictwa są liczone jako liczba wierszy embeddingów, a dwa największe modele, Flash-Next i 235B, działają przy użyciu punktów kontrolnych typu FP8. Zespoły OLMo Team (2025) oraz Qwen Team (2025a, 2025b, 2026a, 2026b) dokumentują te rodziny modeli. Tokenizer, architektura, proces szkolenia, sposób formułowania zadań oraz precyzja różnią się pomiędzy poszczególnymi konfiguracjami, dlatego „drabina modeli” stanowi zbiór ich wersji i nie pozwala oddzielić wpływu liczby parametrów.
Protokół kopiowania i tożsamość tokenów
Każde polecenie kopiowania zawiera dwie demonstracje, a następnie sekwencję zawierającą cel kopiowania. Proba izolacji ponownie wykorzystuje ten szablon, przy czym jedynym tekstem jest cel kopiowania. Polecenia są tworzone na podstawie identyfikatorów tokenów, co zapewnia stałość identyfikatora celu, mimo że wszystko wokół niego się zmienia.
To rozwiązanie oddziela zachowanie modelu od ponownej tokenizacji. Dodanie przestrzeni do zdekodowanego ciągu tokenów może zmienić sposób jego segmentacji, zanim model go w ogóle zobaczy. Wstawianie ID bezpośrednio unika tego problemu, ale umożliwia również sekwencje, których tokenizer zwykle nie wygenerowałby z normalnego ciągu znaków. Dlatego kopiowanie dokładnych ID różni się od zachowania oryginalnego ciągu znaków, a twierdzenia dotyczące codziennego używania tekstu są odpowiednio ograniczone. Kanoniczny przykład according pokazuje, że efekt ten nie ogranicza się tylko do niekanonicznego ciągu znaków.
Nauczyciel wymuszający dostarcza oczekiwany skopiowany prefiks przed odczytaniem treści w pozycji wyjściowej docelowego elementu. Oznaczmy jako q0(t) prawdopodobieństwo, jakie model przypisuje identyfikatorowi docelowemu t w sondzie izolacyjnej, a jako q(t,c) prawdopodobieństwo w odpowiadającej pozycji w kontekście c. Mała wartość wskazuje na słabe poparcie dla wymaganego tokena, nawet po poprawnym prefiksie. Nie może ona pokazać, jak wyglądałaby dalsza kontynuacja bez błędu, jeśli doszło już do wcześniejszego błędu.
Konfiguracje Qwen3.8 umieszczają instrukcje, demonstracje oraz tekst końcowy w części przeznaczonej dla użytkownika w szablonie czatu, rozpoczynają część asystenta od Copy: i nie kontynuują procesu myślenia. Wszystkie inne wersje wykorzystują surową sekwencję kilku przykładów, a struktura zapytania nigdy się nie zmienia w obrębie jednego modelu. Jest to istotne: przy surowym formacie modele Qwen3.8 często zaczynają nowy wiersz i inaczej tokenizują spacje na początku tekstu. Wśród 2000 testów zwykłych słów 3 zakończyły się sukcesem przy surowej strukturze, natomiast struktura typu czat zadziałała pomyślnie 1921 razy w modelu 27B oraz 1925 razy w modelu Flash-Next.
Kruchość behawioralna i ekran prawdopodobieństwa
Określ chciwą prognozę modelu w pozycji kopiowania celu, biorąc pod uwagę przymusowy prefiks narzucony przez „nauczyciela”. Stosunek błędów kopiowania empirycznego w bazie kontekstów składającej się z m kontekstów to zatem ułamek przypadków, w których ta prognoza nie odpowiada celowi. Token o wrażliwej strukturze behawioralnej nie przechodzi wymaganego testu izolowanego, a mimo to popełnia błędy kontekstowe, natomiast klasa ilościowa ustala również próg dla stawki błędów. Niepowodzenie całej skopiowanej sekwencji to inny wynik, ponieważ błędy mogą wystąpić przed lub po pozycji celu.
Do łącznych eksperymentów używa się zamiast tego powiązanego ekranu prawdopodobieństwa. Główne przejście izolacyjne przepuszcza tokeny, których prawdopodobieństwo izolacji q0(t) przekracza 0,5, co sprawia, że t jest jedynym możliwym wynikiem. Warunek ten jest wystarczający do przeprowadzenia izolowanej procedury greedy, chociaż niektóre procedury wykraczają poza niego. Bardziej restrykcyjne kryterium, stosowane w analizie wrażliwości OLMo, wymaga, aby ln q0(t) było większe niż -0,1, lub aby q0(t) było większe niż około 0,905.
Komórka jest oznaczona przez ekran kontekstowy, gdy ln q(t,c) jest mniejsze niż -0,5, co oznacza, że q(t,c) wynosi mniej niż około 0,607. Wynik podatności tokena to ułamek jego oznaczonych kontekstów. Kandydaci przechodzą to kryterium i uzyskują wynik 0,10 lub wyższy, stabilne kontrolne przechodzą i uzyskują dokładnie zero punktów, natomiast tokeny znajdujące się pomiędzy nimi tworzą grupę pośrednią. W przypadku 24 kontekstów kandydat potrzebuje co najmniej 3 oznaczonych komórek, a przy 48 kontekstach co najmniej 5.
Wskaźnik wykrywania i wskaźnik błędów nie powinny być łączone. Wyobraźmy sobie token o prawdopodobieństwie 0,55 – zarówno samodzielnie, jak i w kontekście: przechodzi przez główną bramkę i jest również oznaczony w kontekście, a mimo to jego prawdopodobieństwo nie spadło, a jego wynik uzyskany metodą chciwej decyzji jest poprawny. Dlatego podawana częstość wykrywania nie jest ani szacunkiem rzeczywistej częstości występowania zachowania, ani górną granicą tej częstości. Ścisła bramka eliminuje tę konkretną nakładkę, ale prawdopodobieństwo w kontekście poniżej 0,607 nadal nie dowodzi, że wartość argmax jest błędna. Dekodowane próbki służą do pokazania rzeczywistych błędów, a uzyskane łączne wartości prawdopodobieństwa pozostają oznaczone jako pomiary wykrywania.
Klasy referencyjne i przechowywane próbki
Dla OLMo-2-7B istnieje niezależna baza referencyjna zawierająca 442 zweryfikowane tokeny z błędami typu Magikarp. Żaden z nich nie przechodzi głównej procedury izolacji, a ich średnia ocena kontekstowa w początkowej bazie wynosi 0,993. Inne modele nie posiadają takich oznaczeń, więc ich zestawy referencyjne łączą słabą izolację z oceną kontekstową na poziomie 0,90 lub wyższym. Warunek kontekstowy jest konieczny, ponieważ słabe wyniki izolacji mogą wynikać z formatu promptu, a nie z trwałych problemów z kopiowaniem.
Każdy sprawdzony token dostarcza do magazynu próbek trzy swoje najgorsze komórki kontekstowe wraz z jedną komórką kontrolną. Zapis zawiera identyfikatory kontekstu, docelowy slot, prawdopodobieństwo oczekiwanego tokena, pięć najbardziej prawdopodobnych identyfikatorów wyniku wraz z ich prawdopodobieństwami, entropię oraz, jeśli odbyła się generacja, kontynuację uzyskaną metodą chciwca. Pola pochodzenia podają nazwę modelu i wersję checkpointu, dokładność, metadane architektury oraz wersje oprogramowania. Takie zapisy umożliwiają przeprowadzanie studiów przypadków. Ponieważ wybierane są najgorsze komórki, nie mogą one pokazać, w jaki sposób rozkłada się pewność co do wszystkich błędów kontekstowych.
Błędy są klasyfikowane opisowo na usunięcie, zastąpienie, skrócenie i przetłumaczenie, a w przypadku konwersji pisma jest to odnotowywane. Określenie czegoś jako usunięcie wymaga dowodów na to, że model przechodzi do następnego tekstu, ponieważ pojedyncze odczytanie najważniejszego tokena nie może ujawnić, w jaki sposób rozwija się cała kontynuacja. Entropia poniżej 2 bitów służy jedynie jako oznaczenie skoncentrowanej rozkładu danych przechowywanych. Nie jest to skalibrowany wskaźnik poprawności zadania ani tego, czy model odczuwa wątpliwości.
Jak podatne są przejścia izolacyjne?
Występowanie w procesie filtrowania
W przypadku bramy podstawowej wskaźnik kandydatów waha się od 0,4% w systemie Flash-Next, gdzie kwalifikuje się 15 z 4 047 tokenów objętych bramą, do 10,9% w systemie Qwen3-235B, gdzie kwalifikuje się 684 z 6 277 tokenów. Słownictwo używane do próbkowania, brama, rozkład kontekstowy oraz próg decydują o tym zakresie; wskaźnik ten nie ocenia ani częstości występowania takich tokenów w tekście naturalnym, ani udziału wszystkich tokenów nadających się do powtarzania.
Ścisła brama sprawia, że w systemie OLMo-2-7B w pierwszej grupie tokenów 14 z 873 kwalifikuje się jako kandydaci (1,6%), a w grupie do replikacji 29 z 1 888 tokenów (1,5%). Ich prawdopodobieństwo izolacji jest znacznie wyższe od progu kontekstowego, więc służą one jako kontrola nakładania się obu progów. Wskaźnik potwierdzonych błędów argmax nadal musi być mierzony bezpośrednio.
Ograniczenie porównania do identyfikatorów wspólnych dla różnych modeli utrzymuje część różnicy pomiędzy konfiguracjami. Weźmy 1 592 identyfikatorów, które działają w obu wersjach Qwen3-1.7B i Qwen3-235B: kandydaci stanowią 2,0% w pierwszym przypadku i 6,2% w drugim. W przypadku 1 569 identyfikatorów wspólnych dla Qwen3-32B i Qwen3-235B odsetek ten wynosi odpowiednio 0,8% i 4,3%. To zmniejsza różnice w próbkowaniu, ale nie pozwala odróżnić skali od architektury, precyzji czy procesu szkolenia.
Reprodukcjonalność i rola kontekstu
Wskaźniki na poziomie tokenów z obu połówek kontekstu korelują w zakresie od 0,82 do 0,95 we wszystkich ośmiu modelach. Trudniejsza reprodukcja na Qwen3-32B podwaja liczbę próbek i wykorzystuje nowy bank kontekstów. Wskaźniki dla 4200 wspólnych identyfikatorów korelują wtedy na poziomie 0,984, a 12 z pierwotnych 15 kandydatów nadal spełnia warunki. Ponowne obliczanie wskaźników dla macierzy przechowywanych w Qwen3-32B i Qwen2.5-72B na innej sprzętowości daje 99,9% i 99,6% zgodności komórek, przy korelacjach wskaźników na poziomie tokenów wynoszących 0,9999 i 0,9996.
Rozkład wariancji pierwszej macierzy OLMo pokazuje 95,2% na poziomie tokenów, 0,1% na poziomie kontekstu oraz 4,7% na poziomie reszty. W grupie z rygorystycznymi zasadami podział wynosi 71,7%, mniej więcej zero oraz 28,2%. Ta duża spadek udziału tokenów ma znaczenie: w całej próbce większość wariancji służy jedynie do rozróżnienia poważnie uszkodzonych tokenów od tych niezawodnych, natomiast znaczna ilość niewyjaśnionej wariancji pozostaje w grupie objętej rygorystycznymi zasadami.
Wszystko to wspiera możliwość odtworzenia podatności na poziomie tokenów w ramach badanej dystrybucji, a nie wskazuje na to, że kontekst wyzwalający jest nieistotny. Niewielki efekt główny kontekstu oznacza, że żaden nośnik nie jest trudny dla każdego tokena, co jest zgodne z dużymi różnicami pomiędzy tokenami w zależności od kontekstu. Zgodnie z tym, przewidywanie komórek OLMo na podstawie wyniku tokena w innych miejscach daje AUROC na poziomie 0,94, w porównaniu z 0,56 uzyskanym na podstawie trudności nośnika dla innych tokenów. Cechy oparte na podobieństwie tokena i kontekstu nie dodają żadnej wartości.
Długość ma znaczenie dla określonych grup. W próbie OLMo z mechanizmem strict-gate wskaźniki komórek oznaczonych wynoszą 0,005, 0,008, 0,008 i 0,008 przy długościach 8, 16, 32 i 64. W przypadku kandydatów Qwen2.5-72B najkrótsze nośniki oznaczają 33% komórek, a najdłuższe – 52%. Dlatego ranking podatności jest jaśniejszy niż okoliczności powstania pojedynczego błędu.
W porównaniu z opublikowanymi etykietami Magikarp
W porównaniu z dostępnymi danymi o Magikarpie, żaden z kandydatów w trzech analizach modeli nie okazał się potwierdzonym tokenem błędu. Większość z nich jest uznawana za akceptowalną zgodnie z tą procedurą, a kilka sklasyfikowano jako nieodczytywalne, co nie oznacza, że są uznawane za zdrowe. Niektóre znalazły się w zbiorze kandydatów geometrycznych Magikarpa, zanim ich sprawdzenie behawioralne je odrzuciło. Analiza Qwen2.5-7B wykorzystuje 294 kandydaty, a podsumowanie selekcji – 296, ponieważ obie analizy opierają się na różnych zbiorkach danych.
Dlatego filtr kontekstowy wykrywa zachowania poza dostępnymi zbiorkami potwierdzonych błędów. Nie jest to dowód na to, że każdy kandydat kontekstowy to rzeczywisty błąd kopiowania, ani że inne detektory przeoczyłyby je podczas swoich własnych zadań oceny. Aby zmierzyć tę szerszą tezę, konieczne jest porównanie z wspólnym źródłem danych.
Dowiedzione błędy i ich koncentracja
Przypadek according już sam w sobie dowodzi rzeczywistego błędu kopiowania pomimo niemal pewnego sukcesu w pojedynczych przypadkach, a inne przechowywane przypadki wykazują podobne zachowanie w różnych językach i konfiguracjach. Wynik badanego egzemplarza podsumowuje całą jego bazę tokenów, natomiast wyświetlana emisja to tylko jeden wybrany przypadek, więc oba mają różną wagę jako dowody. Egzemplarze te służą jedynie do ilustracji i nie podają żadnych danych dotyczących częstotliwości występowania żadnego typu błędu.
Wśród siedmiu konfiguracji Qwen udział wybranych przechowywanych egzemplarzy z błędami o entropii poniżej 2 bitów waha się od 14% do 74%. Niektóre błędy występują przy silnie skoncentrowanych rozkładach, a inne przy rozproszonych. Zapisy potwierdzają istnienie błędów pewnych, ale nie potwierdzają ani twierdzenia, że błędy kontekstowe są zazwyczaj pewne, ani twierdzenia, że nigdy nie wiążą się z niepewnością.
Geometria embeddingów i przewidywanie
Wyniki i ich koszt
Analiza geometryczna sprawdza, czy kandydaci wykazują mierzalną zgodność z zbiorem referencyjnym modelu. Dla tokena t bierze się jego wiersz e(t) w macierzy embeddingów wejściowych lub wyjściowych i znajduje się pięć tokenów referencyjnych o najwyższej podobieństwie kosinowym w tym przestrzeni. Wynik bliskości podsumowuje podobieństwo do tych pięciu tokenów. Drugi wynik projektuje embedding wejściowy na linię prowadzącą od średniej słownika do średniej embeddingów referencyjnych, dzięki czemu bliskość jest lokalna, a projekcja globalna. Gdy już istnieją zbiór referencyjny i embeddingi, żaden z nich nie wymaga przetwarzania nowego tokena. Stworzenie zbioru referencyjnego przeskanowanego pod kątem zachowań wymaga jednak uruchomienia modelu, a ten koszt jest częścią każdego procesu porównawczego od początku do końca.
Analiza predykcji oparta na dopasowaniu porównuje cztery poziomy cech:
- Podstawa powierzchniowa: identyfikator tokena, długość znaków zdekodowanego ciągu oraz informacja o tym, czy ma on spaczek na początku, czy składa się z liter, czy jest w formacie ASCII.
- Statyczne: normy wierszy i odległości środków ciężkości dla wejściowych i wyjściowych embeddingów, podobieństwa oparte na najbliższym sąsiedziu, bezpośrednia ocena wejścia-wyjścia wraz z marginesem konkurencji oraz projekcja kierunku błędu. Ocena bliskości pięciu sąsiadów nie należy do tej kategorii.
- Dynamiczne: podsumowania reprezentacji pozycji docelowej dla połowy kontekstów, takie jak jej rozrzut, norma oraz zgodność z wierszem wyjściowym celu.
- Behawioralne: pomiary kopiowania pobrane z tych samych kontekstów.
Poziomy dynamiczne i behawioralne są wykorzystywane do przewidywania etykiety kandydata tak, jak występuje ona w pozostałej połowie kontekstów. Do porównania z bazowym modelem wykorzystuje się regresję logistyczną z regularizacją L2 typu out-of-fold, przeprowadzoną metodą paired bootstrap. Ponieważ oba poziomy wymagają przetwarzania w kierunku przód, nie są to tylko metody oparte na wagach, a etykiety z połowy bazy dają dodatnie wartości, w odróżnieniu od tych uzyskiwanych przy pełnej bazie.
Link do klasy referencyjnej dla błędów
Bliżkość była mierzona oddzielnie w przestrzeni wejściowej i wyjściowej. Wybór lepszej z tych dwóch przestrzeni dla każdego modelu daje wartości AUROC w zakresie od 0,744 do 0,881 wśród siedmiu konfiguracji z niepowiązanymi embeddingami. Jest to wybór opisowy, dokonywany dla każdego modelu indywidualnie, a nie wynik stosowania jednej z góry określonej metryki w ten sam sposób we wszystkich przypadkach. Slabsze wartości dla modelu Qwen3-1,7B zostały zachowane w raporcie.
To, który model przetwarza sygnał, zależy od konkretnego modelu. OLMo-2-7B osiąga wynik 0,846 w kategorii bliskości wejścia i 0,528 w kategorii bliskości wyjścia, natomiast Qwen2.5-72B pokazuje odwrotne wyniki: 0,685 w porównaniu z 0,798. Jedna globalna orientacja nie zawsze wystarcza – w przypadku Qwen2.5-72B daje wynik jedynie 0,599, natomiast w przypadku Qwen3-32B osiąga 0,898, przewyższając oba te wyniki. Dlatego też powiązania geometryczne zależą od modelu i nie istnieje żadna uniwersalna forma, która byłaby przyjęta we wszystkich przypadkach.
Zamiana zestawu referencyjnego z błędami na losowy, stabilny zestaw o równej wielkości daje średnie wartości AUROC w zakresie od 0,41 do 0,55 przy dziesięciu próbach. Dlatego arbitralne, stabilne zestawy referencyjne nie reprodukują przedstawionego rankingu. Porównanie to nie rozróżnia bliskości błędów od innych wyjaśnień, takich jak rzadkość, gęstość embedowania lokalnego czy sposób wyboru zestawu referencyjnego. Prosta baza oparta na identyfikatorach tokenów w rzeczywistości przewyższa oba wskaźniki bliskości dla modeli Qwen2.5-72B i Qwen3-235B.
Nie można ocenić efektu łączenia wag na podstawie danych dla modelu Qwen3-1.7B, ponieważ jest to jedyna konfiguracja z łączonymi wagami w badaniu, a jej wskaźniki bliskości wejścia i wyjścia różnią się, mimo że jest opisywana jako taka. Ta rozbieżność utrudnia jednoznaczne zinterpretowanie aspektów architektonicznych tego modelu.
Gdzie znajdują się kandydaci w projekcji
Kandydaty znajdują się poza widocznymi skupiskami klasy referencyjnej glitch. Projekcje UMAP rzędów embeddingów wynikowych według odległości kosinowej (McInnes i in., 2018) pokazują czerwone punkty kandydatów rozproszone na dużych obszarach szarej populacji tła w modelach Qwen3-1.7B, Qwen3.8-27B i Qwen3-235B, podczas gdy czarne punkty referencyjne pozostają stosunkowo zebrane w grupy. W modelach Qwen2.5-7B i OLMo-2-7B kandydaci występują zarówno obok klastrów referencyjnych, jak i wśród szarych punktów. Kolory oznaczają etykiety filtrujące i referencyjne oraz nie weryfikują każdego zaznaczonego punktu osobno.
Li i współpracownicy (2024) zauważają, że tokeny glitchów mają tendencję do gromadzenia się w przestrzeni embeddingów, a to spostrzeżenie stanowi motywację dla iteracyjnego klastrowania grafów w GlitchHunter. Przedstawione tu projekcje rodzą pytanie dotyczące zakresu tego podejścia: czy geometria klasy odnoszącej się do glitchów może być zastosowana również do kandydatów kontekstualnych, które również eliminują izolację? Rozproszone czerwone punkty wskazują, że widoczne klastry odniesień opisują tę warunkową populację jedynie częściowo.
Tang i współpracownicy (2026) również stwierdzili występowanie klastrów, wspierając to porównaniami odległości euklidesowych oraz entropii przeprowadzonymi na modelach Llama2-7B-chat i Mistral2-7B-it, oraz powiązują to z słabą różnicowalnością w warstwie embeddingów wejściowych. Projekcje embeddingów wyjściowych oparte na kosinie nie badają tego aspektu bezpośrednio. Modele nierozerwalne wymagają oddzielnej oceny macierzy wejściowych i wyjściowych, a rozproszone projekcje wyjściowe nie mogą potwierdzić, że embeddingi wejściowe są wolne od zaobserwowanego zatłoczenia.
To pasuje do powyższych wyników dotyczących bliskości. Populacja może rozprzestrzenić się na kilku regionach i mimo to pozostać lokalnie blisko tokenów odniesienia, dlatego przydatna ocena rankingu nie wymaga oddzielnego klastra kandydatów. UMAP również zniekształca gęstość i może tworzyć sztuczne podziały (twórcy UMAP, b.d.), więc przedstawione panele nie wykluczają klasterowania w przestrzeni oryginalnej. Bezpośrednie testy porównywałyby sąsiedztwa oraz zakres błędów kontekstualnych w przestrzeni oryginalnej na tych samych punktach kontrolnych, przy zgodnych przestrzeniach embeddingów, zgodnych metrykach, niezależnie weryfikowanych błędach oraz etykietach pochodzących z każdej metody oceny.
Wartość wykraczająca poza cechy powierzchowne
W przypadku etykiet z kontekstem częściowym, cechy statyczne przewyższają podstawową linię bazową, wykazując dodatnie wyniki dla modeli Qwen2.5-7B, OLMo-2-7B i Flash-Next, brak korzyści dla pięciu innych modeli oraz ujemne wyniki dla modelu Qwen2.5-72B. Cechy dynamiczne przewyższają tę linię bazową, przy wynikach wykluczających wartość zero, dla pięciu modeli: OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B i Qwen3-235B. To pokazuje, że reprezentacje kontekstowe wpływają na podatność na wpływy zewnętrzne w sposób wykraczający poza to, co potrafi zaobserwować podstawowa linia bazowa. Nie oznacza to jednak, że procedura oparta na reprezentacjach jest tańsza niż bezpośrednie mierzenie procesu kopiowania w tych samych kontekstach.
Poziom behawioralny osiąga wartość AUROC od 0,945 do 1,000. Jest to zgodne z korelacjami typu split-half: obserwacja danego elementu w niektórych kontekstach pozwala przewidzieć jego etykietę w innych kontekstach utworzonych za pomocą tego samego procesu. Wskazuje to na powtarzalność, jednak etykiety i cechy dzielą tę samą zadanie kopiowania oraz rozkład kontekstów, więc wydajność w nowych rozkładach tekstu naturalnego pozostaje niewymierzona. Celem są etykiety oparte na prawdopodobieństwie, a nie etykiety błędu argmax sprawdzone niezależnie.
Geometryczne przesiewanie wydaje się rozsądne przy decydowaniu, co sprawdzić najpierw, ale nic tutaj nie wskazuje na możliwość odkryć o wysokiej precyzji przy ustalonej budżecie. AUROC mierzy ranking, a nie precyzję wybranej listy kandydatów. Udowodnienie praktyczności takiego podejścia wymagałoby najpierw ustalenia stałych wyników oceny i zestawu referencyjnego, kandydatów, które się ze sobą nie pokrywają, budżetu na weryfikację oraz porównania z przypadkowymi danymi, przy czym wybór token-ID i istniejących detektorów musiałby być oceniany na podstawie tych samych wyników behawioralnych.
Co przetrwa w procesie generowania i zadaniach
Bezpłatna generacja
Zbadania typu free-generation sprawdzają, czy model zachowuje podany token podczas jego opisywania lub odpowiadania na niego. Proces OLMo wymaga dokładnej identyfikacji wraz z wyjaśnieniem, a następnie dodaje prefiks Let me think about this carefully.. Inne konfiguracje umieszczają sam token w turze użytkownika w szablonie czatu. Generowanie zatrzymuje się po osiągnięciu 256 tokenów. Ze względu na różnice w formułowaniu, te liczby nie mogą być interpretowane jako porównanie w ramach kontrolowanej skali.
Wymagane są dwa sposoby reprodukcji. Jeden sprawdza, czy ID nasiona pojawia się gdziekolwiek wśród wygenerowanych ID, a drugi, czy zdekodowana strona nasiona pojawia się gdziekolwiek w wyniku, nawet przy różnej segmentacji. Żaden z nich nie potwierdza poprawnej identyfikacji ani wiernego odtworzenia pełnej żądanej sekwencji. W modelu Qwen2.5-72B żadne z 32 nasion o najgorszej izolacji nie wraca pod swoim oryginalnym ID, natomiast 12 z nich wraca w postaci ciągów znaków, ponieważ nasiona takie jak _ghost mogą być zapisane za pomocą kilku tokenów wynikowych.
Gdy dostępna jest generacja, wskaźnik zachowania ciągu znaków kandydata spada poniżej wskaźnika kontrolnego w czterech z pięciu porównań, przy remisie w przypadku Qwen3-32B. Wskaźniki Exact-ID są mniej jednolite – w przypadku Qwen2.5-7B występuje remis, natomiast w przypadku Qwen3-32B kandydaci pojawiają się 8 razy na 14, a kontrolne rozwiązania 7 razy na 14. Kandydat może nawet pojawić się mimo błędnego zidentyfikowania. Wrażliwość wyraźnie zależy od zadania i nie ma ogólnej niemożności wygenerowania tokena kandydata.
Nasiona wybrane jako 32 najgorsze w izolacji dla oddzielnych prób generacji nie powinny być mylone z odniesieniami do błędów powstałych pod wpływem kontekstu. Sprawdzenia wymuszone przez „nauczyciela” dają oczekiwanemu tokenowi prawdopodobieństwo co najmniej 0,5 w 71% z 768 komórek Flash-Next oraz jedynie 0,1% w komórkach Qwen3-235B. Taka rozbieżność to kolejny powód, by sprawdzić zachowanie zestawu odniesień w odpowiednim kontekście.
Generacja bez kandydatów, próby zadań oraz kontynuacje przykładów nie zostały przeprowadzone na dwóch mieszaninach FP8, ponieważ pila oceny wymagała około siedmiu sekund na każdy wygenerowany token, a koszty obliczeń pokrywano z własnej kieszeni. Dlatego ich obserwacje dotyczące następnego tokena nie powinny być interpretowane jako ślady rozumowania wygenerowanego przez model. Generacja bez kandydatów również nie została przeprowadzona na Qwen2.5-72B.
Instrukcje wymagające dokładnego sformułowania
Pięć szablonów instrukcji zmusza model do zachowania oryginalnej treści: nadawanie nazwy funkcji w Pythonie, cytowanie tytułu dokumentu, zwracanie elementu listy, korygowanie błędów ortograficznych oraz streszczanie przy zachowaniu nazw własnych. Dziesięć wybranych tokenów na klasę, model i zadanie daje 50 epizodów na klasę, a tokeny są wprowadzane za pomocą ID poprzez szablon czatu.
Główna miara sprawdza, czy odpowiedź zawiera docelowy ciąg znaków, co jest celowo węższe kryterium niż poprawność zadania. Ignoruje ona to, czy kod jest poprawny, czy nazwa funkcji jest prawidłowym identyfikatorem oraz czy streszczenie jest w inny sposób wiernym odzwierciedleniem treści. Zadanie związane z pisownią również dopuszcza normalizację, więc jego wynik zależy od sformułowania pytania.
Kandydaci rzadziej przetrwają w porównaniu z grupą kontrolną we wszystkich pięciu konfiguracjach. Interwały Episode-bootstrap wykluczają wartość zero w czterech z nich (OLMo-2-7B, Qwen3.8-27B oraz obie wersje Qwen3-32B), przy czym Qwen2.5-7B stanowi wyjątek. Metoda grubego uzupełniania utrzymuje się na poziomie od 0,96 do 1,00, natomiast zachowanie zasady zachowania ciągów znaków jest zmienne, więc fakt, że zadanie wydaje się ukończone, nic nie dowodzi. Każdy token jest wykorzystywany w różnych zadaniach, co ogranicza ich niezależność.
Transkrypcje uwyraźniają tę różnicę. OLMo-2-7B, poproszony o funkcję o nazwie according, zapisuje sum_list, przepisuje according na correct w szablonie ortograficznym i odpowiada LocalizableString, gdy drugi element listy to NSLocalizedString. Qwen3-32B zamienia realtà na reality w zadaniu ortograficznym. Formularz zadania pozostaje niezmieniony w tych odpowiedziach, mimo że określony treść się zmienia.
Narzędzia symulowane
Eksperyment z narzędziami obejmuje pięć zadań związanych z danym terminem: badanie klucza konfiguracji, sporządzenie notatki informacyjnej, zalecenie przyjęcia lub odrzucenia danej technologii, wyjaśnienie terminu oraz sprawdzenie wersji oprogramowania. Dozwolone jest maksymalnie sześć rund z użyciem funkcji search, open_page i run_python, a dziesięć tokenów na klasę daje łącznie 50 epizodów dla każdej konfiguracji.
Środowisko jest połączone z dostarczonym tokenem. Poszukiwanie dokładnej sekwencji tekstu zwraca dokumentację, notatki o wersji oraz stronę z problemami, natomiast wszelkie inne wyszukiwania nie przynoszą żadnych istotnych wyników, jedynie ogólne strony. To sprawdza, czy cel faktycznie prowadzi do wywołania narzędzia, i nie odzwierciedla błędów w wyszukiwaniu w rzeczywistych silnikach wyszukiwania. Modele Qwen wykorzystują swoje własne szablony narzędzi, natomiast OLMo – protokół tekstowy, co dodatkowo utrudnia porównanie między modelami.
W trybie prostym Qwen3-32B utrzymuje stabilne cele w 96% pierwszych zapytań i ostatecznych odpowiedzi, kandydatów w 74% pierwszych zapytań i 68% ostatecznych odpowiedzi, a cele odnoszące się do błędów w żadnym z 50 epizodów. Niektóre odpowiedzi powstają na podstawie ogólnych materiałów znalezionych po zniknięciu lub zmianie terminu w pierwszym zapytaniu.
W przypadku Qwen3.8-27B różnice w pierwszych zapytaniach są podobne, natomiast zachowanie przy uzupełnianiu tekstu jest inne. W trybie prostym tylko 14% epizodów z błędami kończy się w ramach wyznaczonego czasu, w porównaniu z 66% przypadków z stabilnymi kontrolami i 58% kandydatów, a identyczne wywołania narzędzi występują odpowiednio w 28%, 10% i 14%. Tryb myślenia zmienia te wskaźniki oraz stabilną bazę. Utrata celu może więc skończyć się gotową, ogólną odpowiedzią lub powtórnym użyciem narzędzia, w zależności od konfiguracji.
Dane nie wskazują na powszechne wymyślanie konkretnych odzyskanych faktów. Sfałszowane numery wersji występują jedynie w zakresie od 0,00 do 0,02 na klasę i konfigurację, przy czym pojedyncze niezerowe wartości znajdują się zarówno w grupach związanych z błędami, jak i z kontrolą. Wyraźniejszym efektem jest utrata dokładnego celu z zapytania lub odpowiedzi. Wybrane zestawy tokenów, powtarzane szablony oraz środowisko programistyczne ograniczają możliwości uogólnienia na autonomiczne systemy wykonywające zadania naturalne.
Negatywny wynik w przypadku nazw naturalnych
Kolejny eksperyment dotyczy codziennych materiałów: w zadaniu naturalnym występuje 1 255 prawdziwych identyfikatorów kodu oraz nazw własnych. Ocena podatności ich składowych tokenów nie przynosi korzyści w przewidywaniu błędnej nazwy entity, gdy już uwzględniono rzadkość występowania, oceny izolacji składników oraz prawdopodobieństwo modelu dotyczące całej entity. AUROC zmienia się o -0,001, przy przedziale 95% od -0,008 do +0,006.
To ogranicza możliwości praktycznego zastosowania wyników syntetycznych. Dowody nie wskazują na to, że wskaźnik kontekstualny wyjaśnia błędy w nazwach entytetów naturalnych lepiej niż istniejące czynniki przewidujące, ani że rzadkość powoduje któreś z tych zjawisk, ani też że wykluczono wszelkie możliwe związki pomiędzy kruchością tokenów a halucynacjami. Ostateczny wniosek brzmi, że ten eksperyment nie wykazuje żadnej dodatkowej mocy predykcyjnej.
Analizy dodatkowe
Pary tokenów
Eksperyment polegający na kopiowaniu w warunkach faktorialnych sprawdza, czy pary tokenów powodują większe szkody niż ich poszczególne elementy osobno. Nośniki mają dwa miejsca o odległościach 2, 4, 8, 16, 32, 64 i 128, z po dwoma niezależnymi elementami wypełniającymi każde z nich. Każda uporządkowana para jest testowana na cztery sposoby: przy obecności obu celów, przy obecności tylko jednego z nich obok elementu kontrolnego oraz przy samych elementach kontrolnych. Różnica interakcji obliczana jest jako suma wyniku łącznego minus sumy wyników dla obu pojedynczych celów plus wynik elementu kontrolnego.
Model ten stosuje podejście adytywne w obrębie każdego nośnika, standaryzuje reszty, przestawia dane wewnątrz nośników i stosuje korektę Benjamini-Hochberga przy q = 0,05 (Benjamini i Hochberg, 1995). Jego kryterium oparte na liczbie wykluczonych par ustala liczbę takich par w odniesieniu do 95. percentyla uzyskanego z dwudziestu symulowanych zbiorów danych, w których interakcje są wyłącznie adytywne. Żaden z zestawów nie przeszedł testu: każdy zestaw OLMo odrzucił 1 z 4 032 par, Qwen3-32B odrzucił 13 z 1 190, a Qwen3-235B odrzucił 1 z 2 256.
To nie oznacza braku interakcji. Testy oparte na maksymalnych statystykach są istotne dla zbiórów OLMo oraz Qwen3-32B, a dla Qwen3-235B wartość p wynosi 0,059. Kryteria te badają różne aspekty rozkładu interakcji, dlatego oba pozostają w raporcie. Kontrasty dotyczące powtarzających się tokenów dają średnio dodatnie wyniki, co wskazuje na ułatwienie funkcjonowania w tych modelach – +0,005 dla OLMo przy separacji 2 oraz +0,018 przy separacji 128. Nic z tego nie wskazuje na uniwersalną addytywność, brak rzadkich, szkodliwych kombinacji ani na mechanizm oparty na indukcji, a dodatnie wartości mogą maskować negatywne interakcje w pojedynczych parach.
W zmiennych zbiórach pięć tokenów OLMo powoduje 47% przypadków niepowodzeń, natomiast pięć tokenów Qwen3-32B – 57%. Taka koncentracja sprawia, że podatność na poziomie tokenów stanowi przydatne podsumowanie, natomiast niepowodzenia, które nie powtarzają się przy użyciu tokenów wypełniających, pokazują, że to podsumowanie nie jest wolne od kontekstu.
Czy tożsamość nadal istnieje?
W eksperymencie Pythia-1.4B 36 zweryfikowanych tokenów błędów oraz 1 088 tokenów kontrolnych umieszczono na końcu ośmiu kontekstów (model opisują Biderman i współpracownicy, 2023). Na każdej warstwie model próbuje dopasować stan kontekstowy tokena do jego stanu w innym kontekście spośród 1 124 kandydatów, po odjęciu składnika wspólnego dla obu kontekstów. Tokeny błędów dają doskonałe dopasowanie od warstwy embeddingowej aż do warstwy 12, natomiast tokeny kontrolne dają dopasowanie na poziomie 0,988–1,000. Na ostatniej warstwie dokładność spada do 0,880 i 0,874. Zatem duża ilość informacji identyfikacyjnych pozostaje odzyskiwalna. Przykład z logit-lens również faworyzuje kontynuację tokena błędu, depress następującego po ant, zamiast odtworzenia oryginalnego tokena wejściowego.
Możliwość odzyskania nie jest przyczynowym uwarunkowaniem awarii. Eksperyment nie może wykazać, że kopiowanie wykorzystuje informacje możliwe do odzyskania, że tożsamość jest zachowywana w pełni, ani że winna jest wyłącznie warstwa wyjściowa; dotyczy on niezależnie oznaczonych tokenów z błędami Pythia, a nie kandydatów opartych na ośmiu modelach. Odróżnienie słabych wyników odczytu od konkurencji zależnej od kontekstu wymagałoby interwencji przyczynowych.
Co potwierdzają dowody i gdzie się kończą
Głównym ustaleniem jest powtarzalna luka pomiędzy skutecznością izolowanego kopiowania a podatnością na kontekst. Banki danych współdzielone umożliwiają oszacowanie tendencji na poziomie poszczególnych tokenów bez konieczności analizowania każdego z nich w kontekście wrogim. Przykłady po dekodowaniu pokazują, że niektóre rozbieżności wynikają z dosłownych błędów kopiowania, a eksperymenty z zadaniami wykazują, że wybrane kandydaty tracą swoją tożsamość poza szablonem kopiowania. Powiązania embeddingowe łączą tę grupę z wcześniejszymi badaniami nad błędami typu glitch-token, jednak ich nierównomierna wartość dodana wyklucza traktowanie geometrii jako pełnego wyjaśnienia lub sprawdzonego detektora.
Kilka ograniczeń określa zakres badań.
- Klasa probabilistyczna.Kandydaci są definiowani za pomocą progu prawdopodobieństwa, a związek pomiędzy tym progiem a rzeczywistym błędem dekodowania jest jedynie częściowy. Wyniki uzyskane przy ścisłych kryteriach oraz sprawdzone kontynuacje wzmacniają te argumenty, ale nie zastępują analizy argmax na poziomie całej populacji; lepsza ocena częstości występowania musi uwzględniać wynik izolacji oraz tożsamość kontekstową każdej komórki.
- Sztuczni nośnicy.Nośniki w postaci list słów są sztucznie stworzone, a specyfika modelu wpływa na to, co jest mierzone. Bezpośrednia insercja identyfikatora określa tożsamość celu, ale może tworzyć dane, których tokenizer by nie wygenerował. Zadania z ciągami znaków częściowo pomagają, a najsilniejszy test dotyczący naturalnych entytetów dał wynik ujemny po przeprowadzeniu standardowych kontrol. Nic nie upoważnia do ekstrapolacji tej częstości na teksty codzienne ani do traktowania wyniku jako właściwości tokena wolnego od kontekstu.
Najbardziej bezpośrednim następnym krokiem jest uprzednie naprawienie czterech elementów (test izolacji, ocena kandydata, konstrukcja odniesienia oraz rozkład kontekstu), a następnie przeprowadzenie testów na niepowiązanych danych. Podawanie błędu argmax w pozycji docelowej, dokładności kopiowania całej sekwencji oraz zachowania dokładnego ciągu znaków obok wyników prawdopodobieństwa pozwoliłoby powiązać wrażliwość filtrowania z błędami, które ludzie mogą zaobserwować. Twierdzenia dotyczące odkryć byłyby lepiej uzasadnione precyzją i召回率 przy ustalonej budżecie weryfikacji niż samym retrospektywnym AUROC.
Czego wymaga reprodukcja
Aby dokonać reprodukcji, konieczne są modyfikacje modelu i tokenera, ID tokenów z próbkowania, kompletne ID kontekstu wraz z polami na wstawianie, sformatowanie promptu, progi, precyzja liczbowa oraz kod oceny, oprócz macierzy specyficznych dla danej rundy i metadanych środowiska. Wagi nigdy nie są modyfikowane. Rysunek projekcji wymaga ponadto wykreślonych ID, mask klas, przetwarzania wejść przed embeddingiem, parametrów i ziaren UMAP, a zakres generowania ograniczony jest do konfiguracji wyraźnie podanych.
Liczba kandydatów różni się pomiędzy poszczególnymi analizami. Streszczenie przeglądu podaje wartości 296, 418 i 684 dla Qwen2.5-7B, Qwen2.5-72B i Qwen3-235B, zaś dodatek podaje 294, 417 i 682; każda analiza ma swoje własne liczby. Liczby przewidywań typu half-bank również się różnią, ponieważ ich etykiety wykorzystują inne konteksty. Aby dokładnie wypełnić pozostałe luki, potrzebne są listy tokenów oraz maski wykluczeń.
Zapisany protokół był modyfikowany w trakcie pracy: zmieniono bramę izolacji, rozmiar próbki, filtr printable-seed oraz system oceny na poziomie ciągów znaków. Dobór próbek odbywa się na podstawie liczby wierszy embedding, więc użycie padding zmniejsza nakładanie się identyfikatorów między próbkami Qwen2.5 a Qwen3, natomiast skalowanie identyfikatorów wewnątrz Qwen2.5 nigdy nie zostało przetestowane. Te wybory należą do specyfikacji eksperymentalnej i ograniczają możliwość czytania między modelami.
Środki do tworzenia promptów i sondy
Użyte powyżej krótkie etykiety pomijają instrukcje oraz sufiksy kwantyzacji. Dokładne wersje checkpointów i tokenizerów, zmiany w loaderze oraz wersje środowiska muszą być podane w manifestach wykonywania.
Środek do kopiowania zaczyna się od jednej krótkiej instrukcji:
Repeat the text exactly.
Następują dwa pary demonstracyjne oraz ostatnia pozycja na tekst. Ostateczny skopiowany prefiks jest narzucony przez nauczyciela, a prawdopodobieństwo docelowe jest określane w jego pozycji kopiowania. Wyrażenia w nawiasach kwadratowych w surowym szablonie opisują elementy eksperymentalne i nie stanowią dosłownego tekstu instrukcji:
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Dla izolacji ostatnia pozycja tekstu zawiera jedynie identyfikator docelowego tekstu. W wersji Qwen3.8 instrukcje, demonstracje oraz tekst końcowy znajdują się w turze użytkownika; znacznik kopiowania otwiera turę asystenta, a funkcja rozważania jest wyłączona. Tokenizowane delimitery stanowią część specyfikacji procesu, ponieważ zdekodowana strona promptu nie określa w pełni sekwencji identyfikatorów.
Prompt identyfikacyjny OLMo pyta, czym jest dany token, aby go dokładnie zidentyfikować, a następnie krok po kroku wyjaśnić, co oznacza:
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
Przedrostek asystenta to Let me think about this carefully. Oddzielne próby z prostymi tokenami umieszczają cel w turze użytkownika pod szablonem każdego modelu, a ustawienia „zwykłe” i „przemyślane” są traktowane jako odrębne konfiguracje. Reprodukcja to wystąpienie czegoś w dowolnym miejscu wyniku, oceniane oddzielnie na podstawie dokładnego ID oraz zdekodowanego ciągu znaków, i nie wymaga poprawnego wyjaśnienia.
Dalsze filtrowanie i szczegóły geometryczne
Rozmiary zbiorów referencyjnych różnią się w zależności od modelu: od 36 tokenów w przypadku Flash-Next do 442 w przypadku OLMo-2-7B, przy 100 tokenach w większości modeli Qwen oraz 50 w przypadku Qwen3.8-27B. Dodatkowa diagnostyka pokazuje, ile z tych 100 najgorszych tokenów izolacyjnych osiąga również wynik kontekstowy na poziomie 0,90 lub wyższym. Liczba ta waha się od 36 w przypadku Flash-Next do 78 w przypadku Qwen3-32B. Ponieważ te dane pochodzą z różnych kroków selekcji, same w sobie nie pozwalają odtworzyć każdego zbioru referencyjnego, dlatego pełna maska klasy negatywnej musi być przekazywana przy każdej reprodukcji.
W przypadku OLMo wynik oceny kierunkowej uzyskany na podstawie niezależnie oznaczonego referencja oraz wynik uzyskany na podstawie referencji bez oznaczeń, przeskanowanej pod kątem kontekstu, oba osiągają wartość AUROC na poziomie 0,879, natomiast niefiltrowane najgorsze 100 tokenów izolacyjnych daje wynik 0,642. Dlatego budowa zbiorów referencyjnych stanowi empiryczną część metody, a nie element, który można łatwo zastąpić.
Analiza predykcyjna OLMo z zastosowaniem rygorystycznych kryteriów wykazuje 28 pozytywnych etykiet półbanków. Cechy statyczne osiągają wartość AUROC na poziomie 0,911, podczas gdy cechy powierzchniowe dają wartość 0,711 – co stanowi wzrost o +0,202, przy przedziale od +0,096 do +0,320. Należy jednak zaznaczyć, że jest to analiza wrażliwości przeprowadzona na innej populacji próbek. Niewielkie różnice pomiędzy wynikami uzyskanymi metodą bootstrap a zaokrąglonymi wartościami AUROC nie mogą zostać wyjaśnione na podstawie dostępnych podsumowań.
Wartości entropii dla przechowywanych nieudanych próbek pochodzą z wybranych najgorszych komórek, a nie z losowej próby flag lub błędów; opisują one rozkład w pozycji docelowej. Dla OLMo nie istnieje odpowiednie podsumowanie.
Szczegółowe opisy protokołów generowania i wykonywania zadań
W trybie prostym generacji Qwen3-1.7B ma 31 kandydatów, a Qwen3-32B po filtrowaniu według seeda ma 14 kandydatów; ponadto w eksperymencie z OLMo używana jest struktura bazująca wyłącznie na tokenach, co różni się od eksperymentu z identyfikacją na podstawie instrukcji. W tym drugim przypadku żaden potwierdzony błędny token nie jest odtwarzany za pomocą ID, podczas gdy w grupie kontrolnej i wśród kandydatów po 17 oraz 11 tokenów odpowiednio, z łącznie 32, więc zmiana promptu wpływa na te liczby i należy to do interpretacji wyników.
Ścieżki nie wykazują wzrostu entropii w porównaniu z grupą kontrolną: rozbieżność entropii między wariantem glitch-minus-control zaczyna się od +0,27 bita (krok 8) i kończy na -0,29 bita (krok 255). Średnia wartość kosinusa dla par stanów końcowych w obu grupach dąży do zera, więc nie ma oznak wspólnego atraktora stanu końcowego. Ziarna o najgorszej izolacji są wybierane na podstawie efektywności izolacji przy użyciu filtru drukowalnych ciągów znaków i nie muszą stanowić klasy referencyjnej geometrycznej. Tam, gdzie zapisywano ciągi znaków, próba była mała: osiem ziaren i osiem grup kontrolnych, na modelu Qwen3-1,7B oraz podczas wykonywania OLMo.
W każdym szablonie z prostymi instrukcjami miejsce zastępcze otrzymuje identyfikator docelowego tokena, a nie ponownie tokenizowany ciąg interpolowany. Istnieje pięć takich szablonów:
- Nazewnictwo funkcji: napisz funkcję w Pythonie, której nazwa jest dokładnie taka sama jak nazwa tokena i która zwraca sumę listy liczb, wyłącznie kod.
- Cytat tytułu: przytocz tytuł dokumentu w cudzysłowach i nic więcej, przy czym tytuł stanowi uwagę dotyczącą tokena i powiązanych kwestii.
- Pobieranie listy: z numerowanej listy latarni, tokenów, portów i kompasów podaj nazwę tylko drugiego elementu.
- Korekta ortograficzna: popraw błędy w zdaniu o złożeniu formularza tokena przed piątkiem lub zwróć go bez zmian.
- Streszczenie: streszcz spotkanie komitetu, na którym token przedstawił niezmieniony budżet, zachowując nazwy własne w oryginalnej formie.
Część szablonów wymaga dokładnego zapisu nazw, a zadanie ortograficzne pozwala na korekty, dlatego ważna jest porównywalność zadań po zadańiu. Każda komórka opiera się na dziesięciu odcinkach na klasę.
Zadania z narzędzi wymagają:
- Konfiguracja: diagnoza, w dwóch lub trzech zdaniach, wyjaśniająca, dlaczego usługa ignoruje klucz konfiguracyjny ustawiony za pomocą zmiennej środowiskowej, przy użyciu wyszukiwania w dokumentacji, czytania strony oraz szybkiej weryfikacji.
- Tło: notatka krótsza niż 80 słów skierowana do początkujących, zawierająca definicję, dwa fakty oraz odnoszącą się do konkretnej strony.
- Przyjęcie: zalecenie dotyczące przyjęcia, wypróbowania lub uniknięcia danego tokena, uzasadnione dwoma powodami uzyskanymi za pomocą narzędzi.
- Znaczenie: wyjaśnienie dla czytelnika mówiącego po angielsku, co oznacza dany termin i skąd pochodzi, wraz z przykładowym zdaniem.
- Wydanie: odpowiedź typu „tak” lub „nie” z jednym zdaniem uzasadnienia, dotycząca tego, czy najnowsze wydanie zmieniło domyślną konfigurację.
W środowisku symulacyjnym zapytanie zawierające docelowy ciąg znaków zwraca trzy przydatne wyniki, a mianowicie dokumentację, notatki o wydaniu wersji 2.4.1 oraz otwarte problemy, natomiast inne zapytania zwracają strony ogólne. Strony otwierają się normalnie, a sprawdzenie biblioteki podaje wersję. Są to eksperymentalne przykłady i nic nie mówią o rzeczywistych bibliotekach powiązanych z badanymi ciągami znaków. Przeprowadzenie testu kończy się, gdy uzyskuje się ostateczną odpowiedź w ciągu sześciu rund; jeśli powtórzy się identyczne zapytanie, test jest powtarzany, a w przypadku podania wersji bez wsparcia narzędzi dochodzi do sytuacji fałszywego określenia wersji. Jedna runda może zawierać kilka zapytań.
Cele klasy Glitch przetrwają pierwsze zapytanie z wynikiem 0,02 zarówno w trybach Qwen3.8-27B, jak i w czterech pozostałych konfiguracjach, a w ostatecznej odpowiedzi przetrwają z wynikiem 0,02 dla wersji Qwen3.8-27B plain oraz 0,00 w pozostałych przypadkach. Te wskaźniki mierzą stopień zawartości leksykalnej i nie oceniają prawdziwości informacji.
Literatura pokrewna
- Praktyczne notatki: Co to jest generowanie wzmacniane wykorzystaniem danych (RAG)? Praktyczny przewodnik — Szczegółowy opis Praktycznych notatek: Co to jest generowanie wzmacniane wykorzystaniem danych (RAG)? Praktyczny przewodnik: umowy, sprawdzenia oraz gotowe elementy kodu dla zespołów wdrażających ten model.
- Przegrupowywanie danych w RAG: Kros-encodery kontra sędziowie LLM oraz ich opóźnienia — Jak drugi etap przegrupowywania poprawia kolejność kandydatów w systemie RAG, porównanie kros-encoderów z sędziami LLM, koszty opóźnień, możliwe błędy oraz sposoby ich oceny.