Kruche tokeny i ciche substytucje: geometryczne wyjaśnienie niektórych halucynacji
Niektóre halucynacje wynikają z uszkodzonych lub kruchych tokenów, które są zastępowane przez sąsiednie elementy przed rozpoczęciem procesu rozumowania. Przykłady, wskaźniki dla poszczególnych modeli oraz prosty test.
Użytkownicy modeli otwartego oprogramowania, w tym Qwen3.8, zgłaszają mniej halucynacji, lepsze przestrzeganie instrukcji oraz większą stabilność w wykonywaniu zadań. Żadna opublikowana miara nie wydaje się umożliwiać oddzielnego pomiaru częstości halucynacji pomiędzy różnymi generacjami modeli. W większości dyskusji wyróżnia się jedna rzecz: rzadko proponuje się jakikolwiek geometryczny mechanizm wyjaśniający te zjawiska. Halucynacje są zazwyczaj traktowane jako pojedyncza, rozproszona cecha, która poprawia się wraz z większą ilością treningu, a nie jako zbiór odrębnych sposobów awarii, które można zmierzyć i przeanalizować pojedynczo.
Przynajmniej jeden z takich sposobów awarii można zidentyfikować i skwantyfikować z wyprzedzeniem.
Halucynacja, którą można bezpośrednio sprawdzić
OLMo-2-7B otrzymał listę czterech elementów i został poproszony o drugi element, odpowiadając wyłącznie tym elementem. Lista zawierała słowa „lantern”, które to rosyjskie słowo oznacza „który”, „harbor” oraz „compass”. Model odpowiedział słowem bort, rosyjskim terminie oznaczającym mniej więcej „strona” lub „burtę”.
W treści zadania nie było żadnego odniesienia do tego słowa, które jest po prostu rosyjskim terminem niepowiązanym z listą. Model bez wahania udzielił odpowiedzi na pytanie wymagające jedynie podstawowego liczenia. Qwen3.8-27B otrzymał to samo zadanie, ale z innym rosyjskim słowem na drugim miejscu, i odpowiedział słowem „oxtend”, którego nie ma w żadnym języku, z wyjątkiem substancji badanej w badaniach klinicznych. Prawdopodobnie nie to miał na myśli model, ale w zadaniu wymagającym podejmowania decyzji mogłoby to mieć katastrofalne konsekwencje.
To jest halucynacja w jej najściślejszym znaczeniu: pewne, konkretne i fałszywe stwierdzenie dotyczące informacji, które model mógłby zweryfikować na podstawie własnych danych wejściowych. I w odróżnieniu od większości halucynacji, źródło błędu można zidentyfikować.
Ten wzorzec nie ogranicza się tylko do zadań związanych z zabawkami. W prośbie o korektę pisowni dotyczącej złożenia formularza przed piątkiem nazwa formularza została zastąpiona rzadkim chińskim znakiem – Qwen2.5-7B odpowiedział, że poprawna pisownia to waiver, a nie :numel. Obie te formy były wymyślone: „:numel” nigdy nie pojawiło się we wprowadzonym tekście, a „waiver” również nigdzie indziej. W innym teście ten sam model otrzymał hebrajskie czasownik o znaczeniu „wskazywać” i został zapytany o jego znaczenie; zamiast tego wyjaśnił chińskie słowo oznaczające „wskazówkę”. Qwen3-1.7B zobaczył nietypową koreańską sylabę, poprawnie ją odtworzył na ekranie, a następnie nazwał ją chińskim znakiem oznaczającym pełność lub obfitość.
W żadnym z tych przypadków model nie waha się, nie unika odpowiedzi ani nie prosi o wyjaśnienia. Odpowiedzi są płynne i szczegółowe, ale nigdy nie odnoszą się do postawionego pytania.
Co łączy te przypadki
Zwykły obraz halucynacji przedstawia model, który wykracza poza granice swojej wiedzy i wymyśla coś, by wypełnić tę lukę. Tak się rzeczywiście zdarza, ale to nie jest to, co ma miejsce tutaj.
W każdym przykładzie model błędnie zinterpretował wprowadzone dane, a następnie poprawnie wyciągnął wnioski na podstawie tej błędnej interpretacji. Nie doszło ani do fałszerstwa, ani do przekroczenia granic wiedzy. Model został zapytany o jeden przedmiot, otrzymał inny i odpowiedział na to w sposób rozsądny. Z zewnątrz trudno odróżnić to zachowanie od wymyślania. Wewnątrz model nie rejestruje żadnego błędu, co tłumaczy, dlaczego jego odpowiedź nie zawiera żadnej niepewności.
Zaproponowane wyjaśnienie brzmi tak, że niewielka część słownictwa każdego modelu składa się z uszkodzonych tokenów. Niektóre z nich nie da się nawet odtworzyć samodzielnie, jak te z błędami, które pojawiły się po odkryciu SolidGoldMagikarp w GPT-2. Inne wyglądają w porządku samodzielnie, ale zawodzą w ramach zwykłych zdań, a najnowsze pomiary koncentrują się właśnie na tym drugim typie. W obliczu kruchego lub uszkodzonego tokena model nie tworzy po prostu szumu – dąży do uzupełnienia, które jest pewne i ma niską wariancję: są to sąsiedni element, skrócona forma lub tłumaczenie. Chiński token oznaczający „query” pojawia się jako angielskie „QUERY”. Włoskie „realtà” zamienia się na francuskie „réalité”. Skrócona rosyjska forma słowa „chairman” staje się polskim „Przewodniczacy”, co akurat jest poprawnym tłumaczeniem.
Substytucja sąsiednimi elementami jako mechanizm
Gdy model przechodzi przez proces uzupełniania tekstu, może napotkać w swojej ścieżce embeddingowej kruchy lub uszkodzony token. System rozwiązuje ten problem, zastępując go zdrowym sąsiadem, a każda kolejna transformacja odbywa się tak, jakby to właśnie ten sąsiad został napisany przez użytkownika. Ta substytucja nie jest błędem, z którego model mógłby się otrząsnąć – staje się ona danymi wejściowymi, na podstawie których model podejmuje decyzje.
Każdy element łańcucha wymaga wyjaśnienia, ponieważ każdy z nich to coś, co model robi poprawnie:
- Uszkodzony token wpływa na proces uzupełniania tekstu.
- Podstawiony token trafia do sekwencji i nie różni się niczym od tego, co napisał użytkownik.
- Każdy kolejny krok jest obliczany na podstawie tego podstawionego tokena.
- Nic nie jest oznaczane jako błąd, ponieważ z punktu widzenia modelu nic nie poszło nie tak.
Halucynacja jest przekonująca, ponieważ jest płynna, pełna pewności siebie i konkretna, a w tym przypadku wszystkie trzy te cechy wynikają bezpośrednio z geometrii embeddingów.
W przypadku pytania dotyczącego listy otrzymuje się odpowiedź typu „bort”, która w ostatecznym rozrachunku jest jedynie ciekawostką. Konsekwencje dla systemów agentowych są poważniejsze. Qwen3-32B otrzymał zadanie badawcze oraz zestaw narzędzi badawczych. Rozpoczął poszukiwania, ale zapytanie zawierało błędne lub zmienione tokeny, przez co wyniki były nieistotne, a agent z pewnością siebie cytował te nieodpowiednie źródła. W ciągu pięćdziesięciu prób tokeny problematyczne nie pojawiły się ani w wynikach wyszukiwania, ani w odpowiedzi, podczas gdy stabilne tokeny bez wrażliwych sąsiadów pojawiały się w obu miejscach w około 96 procent przypadków.
Również słowa codzienne są dotknięte
Gdyby wpływ ograniczał się do rzadkich ciągów znaków, jego praktyczne znaczenie byłoby niewielkie. Dotyczy on jednak również słów powszechnie używanych.
Weź znane jako błędne tokeny modelu i ocenij każdy inny token pod kątem tego, jak blisko znajduje się on w obszarze wynikowego embeddingu. Ta ocena pozwala przewidzieć, które tokeny wyglądające na poprawne zawiodą w zwykłych zdaniach – u sześciu z ośmiu sprawdzonych modeli wartość AUC wynosi od 0,72 do 0,83. Losowy obszar referencyjny tej samej wielkości daje wartość od 0,41 do 0,55.
Kruche tokeny w ogóle nie muszą pojawiać się w promptzie – wystarczą ich bliskie sąsiedzi. Najwyraźniejszym przykładem jest angielskie słowo „according”. W modelu OLMo-2-7B jest ono generowane samodzielnie z prawdopodobieństwem 0,999, jednak psuje się w 44 z 48 zwykłych zdań. Gdy zadano modelowi zadanie poprawienia pisowni zdania mówiącego o złożeniu formularza „according” przed piątkiem, model zwrócił wersję z słowem „correct” w tym miejscu, usuwając przy tym powszechne angielskie słowo i w ten sposób maskując błąd.
Jak duża część słownictwa jest narażona na ryzyko
Miarą jest udział inaczej poprawnych tokenów, które zawodzą przynajmniej w jednym z dziesięciu kontekstów:
Mierząc w ten sposób, Qwen3.8-Flash-Next osiąga 0,4 procenta, a Qwen3-32B – 0,9. Qwen3.8-27B wynosi 1,5, Qwen3-1,7B – 2,4, a OLMo-2-7B – 2,7. Starsze i większe modele radzą sobie znacznie gorzej: Qwen2.5-7B ma wynik 7,0, Qwen2.5-72B – 10,5, a Qwen3-235B – 10,9 procenta.
Różnica ta wynosi około dwudziestu pięciu razy. W jednym modelu około 1 na 250 tokenów jest dostępnych, podczas gdy w innym – 1 na 10.
Rozmiar słownika nie jest wyjaśnieniem. Weźmy tylko ID tokenów obecnych zarówno w Qwen3-32B, jak i w Qwen3-235B, które oba uznają za czyste. Na tym identycznym zbiorze model 235B zawodzi w 4,3 procenta przypadków, natomiast model 32B – w 0,8 procenta, co stanowi pięciokrotną różnicę.
Mapa przestrzeni embeddingowej uwydatnia kontrast – każda kropka reprezentuje token, a te, które model traktuje podobnie, znajdują się blisko siebie. Dotknięte tokeny są zaznaczone na czerwono. Najlepszy model w tym zestawieniu, Qwen3.8-Flash-Next, ma ich piętnaście, natomiast Qwen3-235B – 682.
Hipoteza
Te halucynacje nie wynikają z luki w wiedzy. Token znajduje się w uszkodzonej części przestrzeni embeddingowej i zostaje zastąpiony przed rozpoczęciem jakichkolwiek rozważań, dzięki czemu model odpowiada na pytanie, którego nikt nie zadał. Wskaźnik błędów powinien odzwierciedlać, jak duża część słownictwa znajduje się w tej obszarze, a podane powyżej liczby pokazują, że ten wskaźnik różni się między obecnymi modelami ponad dziesięciokrotnie.
Jeśli to prawda, to zmniejszone ilości halucynacji zaobserwowane w nowszych modelach mogą wynikać z czystszej leksyki i lepszej geometrii embeddingów, a nie z lepszej wiedzy. Qwen3.8 zajmuje dwa najniższe miejsca na liście. Nie pojawiły się jeszcze opublikowane metryki halucynacji, które oddzielałyby te generacje, więc ta hipoteza pozostaje nieweryfikowana.
Odrębna miara wskazująca w tym samym kierunku
PhantomBench, stworzony przez Haeji Junga i Hilę Gonen, gromadzi ponad 60 000 wymyślonych terminów i entytetów oraz testuje z nimi 21 modeli. Średni odsetek nieudanych prób uniknięcia halucynacji sięga aż 86,7 procenta, wliczając modele najnowszej generacji.
To, co badają – zachowanie modeli wobec istot, których nie ma – jest funkcjonalnie podobne do sytuacji, gdy model napotyka uszkodzony token. Autorzy stwierdzają, że reakcje na nieistniejące koncepcje następują po reakcjach na rzadkie, a uszkodzone tokeny należą do tej grupy rzadkich przypadków. Zwracają również uwagę, że największe modele w każdej rodzinie wykazują nagły wzrost ilości halucynacji, przy czym Qwen3-32B i Llama 3-70B radzą sobie gorzej niż ich mniejsze odpowiedniki. Pomiary tokenów również pokazują, że to największe modele są najbardziej dotknięte tym problemem. Mimo to zbiory modeli z obu badań zbyt mało się pokrywają, by można było potwierdzić istnienie korelacji.
Eksperyment, który mógłby to rozstrzygnąć
Część tego stanowi spekulacje, chociaż pomiary tokenów sprawiają, że dalsze testy są uzasadnione. Test jest prosty: należy przeprowadzić jeden model przez test halucynacji dwa razy – najpierw z standardowymi promptami, a następnie z każdym dotkniętym tokenem zastąpionym stabilnym synonimem. Niższy wskaźnik w drugim teście pokazuje, jak duży jest efekt. Niezmieniony wskaźnik oznaczałby, że proponowany związek nie istnieje.
Źródło: artykuł PhantomBench autorstwa Junga i Gonena, arXiv:2606.11105.