Accueil / Articles

Tokens fragiles et substitution silencieuse : une explication géométrique de certaines hallucinations

Certaines hallucinations proviennent de tokens endommagés ou fragiles qui sont remplacés par des éléments voisins avant le début du raisonnement. Exemples, taux par modèle et un test simple.

Éditeur : REACTAPP.TOP7 min de lecture1671 mots

Sources: Hallucinations Related to Glitch and Fragile Tokens

Les utilisateurs de modèles open source, dont Qwen3.8, rapportent moins d’hallucinations, une meilleure capacité à suivre les instructions et une fiabilité plus constante dans l’exécution des tâches. Aucune métrique publiée ne semble permettre d’isoler les taux d’hallucinations entre les différentes générations de modèles. Une chose ressort clairement dans la plupart des discussions : on propose rarement de mécanisme géométrique explicite. Les hallucinations sont généralement considérées comme une propriété unique et diffuse qui s’améliore avec davantage d’entraînement, et non comme un ensemble de modes de défaillance distincts qui pourraient être mesurés et attribués un par un.

Au moins un de ces modes de défaillance peut être identifié et quantifié à l’avance.

Une hallucination pouvant être vérifiée directement

OLMo-2-7B a reçu une liste de quatre éléments et a été interrogé sur le deuxième élément, devant répondre uniquement par cet élément. La liste comprenait « lantern », un mot russe signifiant « lequel », « harbor » et « compass ». Le modèle a répondu par bort, un mot russe signifiant approximativement « côté » ou « bord ».

Rien dans l’instruction ne contenait ce mot, qui n’est qu’un terme russe sans aucun lien avec la liste. Il a été fourni sans hésitation à une question nécessitant uniquement un comptage de base. Qwen3.8-27B a reçu la même tâche avec un autre mot russe à la deuxième position et a répondu « oxtend », un mot qui n’existe dans aucune langue, à part ce qui semble être un médicament en essais cliniques. Ce n’est probablement pas ce que le modèle voulait dire, mais dans une tâche nécessitant de l’agence, cela pourrait avoir des conséquences désastreuses.

C’est une hallucination au sens le plus strict du terme : une affirmation affirmative, précise et fausse concernant des informations que le modèle aurait pu vérifier à partir de ses propres données d’entrée. Et contrairement à la plupart des hallucinations, l’origine de l’erreur peut être identifiée.

Ce phénomène ne se limite pas aux requêtes liées à des jouets. Dans une demande de correction orthographique concernant la soumission d’un formulaire avant vendredi, le nom du formulaire avait été remplacé par un caractère chinois rare : Qwen2.5-7B a répondu que l’orthographe correcte était waiver et non :numel. Les deux termes étaient inventés : :numel n’apparaissait jamais dans l’entrée, tout comme waiver. Lors d’un autre test, le même modèle a reçu un verbe hébreu signifiant « indiquer » et on lui a demandé sa signification ; il a plutôt expliqué un mot chinois désignant « pointeur ». Qwen3-1.7B a vu une syllabe coréenne inhabituelle, l’a recopiée correctement à l’écran, puis l’a qualifiée de caractère chinois signifiant « complet » ou « abondant ».

Dans aucun de ces cas, le modèle ne hésite, ne tergiverse ni ne demande de précisions. Les réponses sont fluides et détaillées, mais elles ne répondent jamais à la question posée.

Ce que les cas ont en commun

La vision habituelle de l’hallucination consiste en un modèle qui dépasse les limites de ses connaissances pour inventer quelque chose afin de combler le vide. Cela arrive effectivement, mais ce n’est pas ce qui se produit ici.

Dans chaque exemple, le modèle a interprété de manière erronée ses données d’entrée, puis a raisonné correctement à partir de cette interprétation erronée. Aucune fabrication ni aucune limite de connaissance n’était impliquée. Le modèle a été interrogé sur un élément donné, a reçu un élément différent et a réagi de manière sensée à celui-ci. De l’extérieur, ce comportement est indiscernable de l’invention. À l’intérieur, le modèle ne détecte aucune erreur, ce qui explique pourquoi sa réponse ne présente aucune incertitude.

La explication proposée est qu’une petite partie du vocabulaire de chaque modèle est composée de tokens endommagés. Certains ne peuvent même pas être reproduits seuls, comme les tokens défectueux découverts après la découverte de SolidGoldMagikarp dans GPT-2. D’autres semblent corrects en eux-mêmes mais fonctionnent mal au sein de phrases normales, et les mesures récentes se concentrent sur ce deuxième type. Face à un token fragile ou endommagé, le modèle ne produit pas simplement du bruit : il cherche une complétion fiable et à faible variance, soit un voisin proche, une forme abrégée ou une traduction. Un token chinois signifiant « query » devient le mot anglais « QUERY ». Le mot italien « realtà » se transforme en « réalité » en français. Une forme russe tronquée de « chairman » devient le mot polonais « Przewodniczacy », qui se révèle être une traduction correcte.

La substitution par voisin proche comme mécanisme

Lorsqu’un modèle génère du texte, il peut rencontrer un token fragile ou endommagé au cours de sa trajectoire d’incorporation. Le système de lecture le remplace par un token sain voisin, et toutes les transformations ultérieures se déroulent comme si c’était ce voisin que l’utilisateur avait écrit. Cette substitution n’est pas une erreur que le modèle corrige ; elle devient plutôt l’entrée sur laquelle le modèle raisonne.

Chaque étape de cette chaîne mérite d’être expliquée en détail, car chacune représente quelque chose que le modèle fait correctement :

  • Un token endommagé influence le processus de génération de texte.
  • Un token substitué entre dans la séquence, indiscernable de tout ce que l’utilisateur aurait écrit.
  • Chaque étape suivante est calculée à partir de ce token substitué.
  • Rien n’est signalé comme anormal, car du point de vue du modèle, rien ne s’est passé de travers.
  • La réponse finale semble sensée alors que la qualité de la tâche s’est dégradée en silence, et le modèle reste confiant car aucune incertitude n’est jamais apparue.
  • Une hallucination est convaincante car elle est fluide, assurée et précise, et dans ce cas, ces trois caractéristiques découlent directement de la géométrie des embeddings.

    Pour la question relative à la liste, cela produit une réponse comme « bort », qui n’est en fin de compte qu’une curiosité. Les conséquences pour les systèmes agents sont plus importantes. Qwen3-32B a reçu une tâche de recherche ainsi qu’un ensemble d’outils de recherche. Il a commencé une recherche, mais la requête a perdu ou modifié des tokens, ce qui a rendu les résultats irrelevants ; l’agent a alors cité ces références irrelevantes avec assurance. Au cours de cinquante essais, les tokens en question n’apparaissaient ni dans la recherche ni dans la réponse, tandis que les tokens stables, sans voisins fragiles, apparaissaient dans les deux cas dans environ 96 % des cas.

    Les mots du quotidien sont également affectés

    Si l’effet se limitait à des séquences rares extraites, son impact pratique serait faible. Or, il s’étend aux mots courants.

    On prend les tokens reconnus comme défectueux dans un modèle et on évalue chaque autre token en fonction de sa proximité avec cette région de l’embedding de sortie. Ce score permet de prédire quels tokens apparemment sains échoueront dans des phrases ordinaires, avec un AUC compris entre 0,72 et 0,83 sur six des huit modèles examinés. Une région de référence aléatoire de même taille donne des valeurs comprises entre 0,41 et 0,55.

    Les tokens fragiles n’ont pas besoin d’apparaître du tout dans la requête ; leurs voisins immédiats suffisent. L’exemple le plus frappant est le mot anglais « according ». Sur OLMo-2-7B, il est reproduit seul avec une probabilité de 0,999, mais il se dégrade dans 44 des 48 phrases ordinaires. Lorsqu’on lui demande de corriger l’orthographe d’une phrase indiquant qu’il faut remplir le formulaire « according » avant vendredi, le modèle renvoie une version où « correct » remplace ce mot, supprimant ainsi un mot anglais courant et comblant ainsi la faille.

    Quelle partie du vocabulaire est en danger ?

    La mesure correspond à la proportion de tokens normalement corrects qui échouent dans au moins un des dix contextes envisagés :

    Mesuré de cette manière, Qwen3.8-Flash-Next atteint 0,4 %, tandis que Qwen3-32B atteint 0,9 %. Qwen3.8-27B atteint 1,5 %, Qwen3-1,7B 2,4 % et OLMo-2-7B 2,7 %. Les modèles plus anciens et plus volumineux sont bien pires, avec Qwen2.5-7B à 7,0 %, Qwen2.5-72B à 10,5 % et Qwen3-235B à 10,9 %.

    Cela représente une différence d’environ vingt-cinq fois. Un modèle a environ 1 token sur 250 exposé, tandis qu’un autre en a 1 sur 10.

    La taille du vocabulaire n’explique pas cela. On prend uniquement les identifiants de tokens présents dans les deux modèles, Qwen3-32B et Qwen3-235B, et on évalue leur qualité pour chacun. Sur cet ensemble identique, le modèle 235B échoue dans 4,3 % des cas, tandis que le modèle 32B échoue dans 0,8 % des cas, soit une différence de cinq fois.

    Une carte de l’espace d’incorporation met en évidence ce contraste : chaque point représente un token, et les tokens que le modèle traite de manière similaire se trouvent proches les uns des autres. Les tokens affectés sont marqués en rouge. Le modèle le plus performant du lot, Qwen3.8-Flash-Next, en compte quinze, tandis que Qwen3-235B en compte 682.

    L’hypothèse

    Cette série d’hallucinations ne provient pas d’un manque de connaissances. Un token se trouve dans une région endommagée de l’espace d’incorporation et est remplacé avant même que toute réflexion ne commence, ce qui amène le modèle à répondre à une question que personne n’a posée. Le taux d’erreur devrait refléter la proportion du vocabulaire se trouvant dans cette région, et les chiffres ci-dessus montrent que cette proportion varie de plus de dix fois d’un modèle à l’autre.

    Si cela est vrai, la diminution des hallucinations observée chez les modèles plus récents pourrait refléter un vocabulaire plus propre et une géométrie d’encodage plus fiable, et non une meilleure connaissance. Qwen3.8 occupe les deux dernières positions de la liste. Aucune mesure publiée sur les hallucinations permettant d’isoler ces générations n’a été trouvée, ce qui laisse cette idée non vérifiée.

    Une autre mesure allant dans le même sens

    PhantomBench, créé par Haeji Jung et Hila Gonen, rassemble plus de 60 000 termes et entités inventés et teste 21 modèles avec eux. Le taux moyen d’échec à éviter les hallucinations atteint jusqu’à 86,7 %, y compris pour les modèles de pointe.

    Ce qu’il étudie, à savoir le comportement face à des entités qui n’existent pas, est fonctionnellement similaire au cas d’un token endommagé. Les auteurs indiquent que les réponses aux concepts inexistants suivent celles aux concepts rares, et que les tokens endommagés appartiennent à cette catégorie de concepts rares. Ils soulignent également que le modèle le plus grand de chaque famille présente une augmentation soudaine des hallucinations, avec Qwen3-32B et Llama 3-70B se montrant pires que leurs versions plus petites. Les mesures relatives aux tokens montrent également que ce sont les modèles les plus gros qui sont le plus affectés. Néanmoins, les ensembles de modèles des deux études se recoupent trop peu pour permettre d’établir une corrélation.

    Une expérience qui pourrait trancher la question

    Ce qui relève de spéculations dans ce domaine, bien que les mesures des tokens rendent des tests supplémentaires pertinents. Le test est simple : faire passer un modèle à travers un benchmark de hallucinations deux fois — d’abord avec les prompts standards, puis en remplaçant chaque token concerné par un synonyme stable. Un taux inférieur lors de la deuxième tentative indique l’ampleur de l’effet. Un taux inchangé signifierait que le lien proposé n’existe pas.

    Référence : l’article PhantomBench de Jung et Gonen, arXiv:2606.11105.