Copie réussie en solitaire, échec en groupe : fragilité contextuelle chez les tokens qui passent un test de copie isolé.
Évaluation de huit modèles à poids ouvert afin d’identifier des tokens qui copient correctement seuls mais qui sont ignorés ou modifiés dans un contexte, avec des vérifications concernant la géométrie des embeddings, la préservation de la tâche et l’utilisation des outils.
Reproduire correctement un token lorsqu’il se trouve seul ne dit pas grand-chose sur la capacité de ce même token à survivre au sein d’un texte plus long. Cet article examine des entrées de vocabulaire qui réussissent un test de copie en situation isolée mais échouent lorsqu’elles sont placées dans un contexte. Huit modèles de poids ouvert provenant des familles Qwen et OLMo ont été testés. Des IDs de tokens fixes ont été intégrés dans des bases partagées de séquences de mots courants aléatoires ; la probabilité du token attendu à sa position de copie a été enregistrée, et certains échecs de décodage ont été examinés manuellement. Un filtre basé sur la probabilité a identifié entre 0,4 % et 10,9 % des tokens ayant réussi le test en situation isolée dans au moins un dixième des contextes testés. Ces chiffres indiquent le nombre de tokens capturés par le filtre, mais ne donnent aucune information sur le nombre de tokens responsables d’erreurs de décodage confirmées.
Les scores de filtrage par token présentent une forte cohérence entre les deux parties de l’ensemble de contexte, avec des corrélations allant de 0,82 à 0,95. Les exemples stockés montrent des cas de suppression, de substitution, de troncature et de traduction, certains ayant été générés alors que la distribution des sorties était fortement concentrée. Une seconde question concerne le fait de savoir si la proximité dans l’espace d’embedding par rapport à des tokens connus ou ayant été filtrés par le contexte permet d’identifier ce groupe. La proximité entre l’embedding d’entrée et celui de sortie atteint un AUROC compris entre 0,744 et 0,881 sur sept modèles, bien que les caractéristiques statiques surpassent les modèles basés sur des caractéristiques de surface uniquement sur trois d’entre eux. Dans plusieurs tâches d’instruction et d’utilisation simulée d’outils, les candidats sélectionnés sont conservés moins fréquemment que les contrôles stables. Un test distinct portant sur des noms d’entités naturelles n’a révélé aucune valeur prédictive supplémentaire par rapport aux contrôles déjà en place. On obtient ainsi une description contrôlée de la susceptibilité contextuelle chez les tokens qui réussissent une étude d’isolement, accompagnée de preuves concernant sa reproductibilité, ses associations géométriques et ses effets au niveau de la tâche. Cela plaide en faveur d’une vérification contextuelle et laisse ouverte à la fois la découverte prospective et la prédiction du contexte qui déclenchera une défaillance donnée.
Un token qui se copie seul et disparaît en groupe
Un modèle peut reproduire un token lorsqu’on lui demande de le copier seul, puis remplacer ce même token lorsqu’il apparaît au sein d’une séquence plus longue à copier. Ce déséquilibre est important chaque fois que l’identité littérale fait partie de l’instruction : citer un titre, conserver un identifiant intact, restituer un élément d’une liste ou insérer un nom dans une requête d’outil. Une réponse fluide peut satisfaire la tâche en apparence tout en changeant l’élément exact sur lequel porte la tâche.
Un cas concret provient de OLMo-2-7B et du token according, ID 4184. La décodage et le réencodage de la chaîne restituent le même ID. Dans une étude de répétition isolée, la continuation correcte présente une probabilité logarithmique de -0,001. Cependant, dans la séquence deliver rel behind according sent floor wrong, le modèle émet sent à la position prévue pour according et continue avec le mot suivant. L’émission erronée a une probabilité arrondie à 1,000 et une entropie arrondie à 0,00 bits. Sur 48 contextes échantillonnés, les continuations enregistrées omettent according dans 44 cas et le reproduisent, avec une probabilité proche de 0,999, dans les quatre autres. Le modèle, l’ID du token et l’instruction de copie restent inchangés tout au long, seuls les éléments environnants diffèrent.
Les travaux antérieurs sur les tokens défectueux portaient sur l’incapacité à reproduire ou à manipuler certaines entrées de vocabulaire, en utilisant la détection à partir d’embeddings, des classificateurs sur des activations, des variations de prompts et une évaluation multi-tâches (par exemple Land et Bartolo, 2024, puis Li et al., 2024 et Zhang et al., 2024, ainsi que plus récemment Wu et al., 2026 et Tang et al., 2026). Une question plus ciblée est posée ici : une fois qu’un token a réussi une épreuve d’isolement définie, reste-t-il vulnérable lorsqu’il est copié au sein d’un texte plus long, et cette faiblesse peut-elle être mesurée de manière cohérente ?
Le terme « token fragile » est utilisé pour désigner cette classe de comportement conditionnel. L’appartenance à cette classe dépend du modèle, du protocole de copie et de la distribution des contextes. Cette étiquette ne prétend pas que la vulnérabilité soit indépendante du contexte, et elle ne suppose pas non plus que les échecs dus à des tests isolés et les échecs contextuels aient une seule cause. Les principales expériences utilisent un filtre probabiliste pour sélectionner des candidats appartenant à cette classe, et ce filtre est toujours maintenu séparément des erreurs de décodage vérifiées.
Trois contributions suivent. Premièrement, la population de tokens isolés en cours de transmission est mesurée à l’aide de banques de contexte partagées et d’ID de tokens fixes, ce qui permet de comparer la vulnérabilité des tokens entre différents contextes, exécutions indépendantes et configurations de modèle. Deuxièmement, des signaux géométriques liés à des tokens de défaut bien identifiés sont testés pour déterminer s’ils permettent également de séparer les candidats au sein de cette population, par rapport aux caractéristiques superficielles et à des ensembles de référence aléatoires. Troisièmement, l’étude cherche à savoir si les candidats sélectionnés survivent à des instructions ultérieures et à des interactions avec des outils simulés, et rapporte un résultat clairement négatif pour la prédiction des noms d’entités naturelles.
Les résultats étendent empiriquement l’évaluation des tokens défectueux. Ils ne prétendent ni inventer une détection de défauts basée sur l’incorporation, ni affirmer que les travaux antérieurs ignoraient complètement le contexte. Ce qu’ils montrent, c’est pourquoi un résultat d’isolement doit être considéré comme une condition de mesure et non comme une preuve générale que un token sera copié fidèlement.
Sa place par rapport aux travaux antérieurs
Les premiers rapports décrivaient un comportement anormal du modèle avec certains tokens sous diverses prompts et associaient certains de ces tokens à des régions inhabituelles de l’espace d’incorporation (Rumbelow et Watkins, 2023). Des études ultérieures ont développé des détecteurs et des procédures d’évaluation systématiques, fournissant à la fois la méthode et un point de comparaison pour les tokens fragiles.
Le cadre Magikarp de Land et Bartolo (2024) utilise des indicateurs dérivés d’embeddings pour identifier des candidats à des tokens sous-entraînés, puis les vérifie à l’aide de sondes comportementales. Son analyse comprend des prompts alternatifs ainsi que des exemples avec des listes de code copiées. Li et al. (2024) définissent de manière large le comportement anormal et testent la répétition, l’orthographe et la longueur ; leur GlitchHunter localise les régions problématiques à l’aide d’un graphe d’embeddings et de clustering itératif. Ainsi, ni la génération de candidats géométriques ni l’utilisation du texte du prompt environnant ne constituent une nouveauté dans cette approche.
GlitchProber classe les tokens en se basant sur des caractéristiques d’attention et de MLP, et étudie les moyens d’atténuer les problèmes en modifiant les activations intermédiaires (Zhang et al., 2024). GlitchMiner utilise une optimisation discrète guidée par l’entropie, en prenant en compte les voisins d’incorporation locaux, et vérifie les candidats selon trois modèles de répétition (Wu et al., 2026). Les expériences menées dans cette étude diffèrent par le fait que les poids du modèle sont figés, et que la sensibilité contextuelle n’est évaluée qu’après un test d’isolement réussi. Les émissions erronées présentant une faible entropie influencent ce jugement, mais leur simple existence ne prouve pas qu’un détecteur guidé par l’entropie manquera le token pour chaque demande.
La comparaison comportementale la plus proche est l’étude de Tang et al. (2026). Leur GlitchQuiz comprend huit tâches, parmi lesquelles la construction de phrases et de paragraphes, ainsi que la répétition et le rappel sur plusieurs tours. Ils présentent un token qui réussit des tests simples mais échoue à une autre tâche, et ils reconnaissent que des échecs au-delà de leur évaluation complète pourraient exister. La contribution ici consiste en des mesures répétées d’une seule opération de copie fixe au sein de banques de contexte partagées, chez une population capable de réussir l’isolement, suivies d’analyses de reproductibilité et de prédiction. Résoudre l’isolement dans ces expériences ne signifie pas réussir GlitchQuiz, et aucune priorité n’est accordée à l’idée selon laquelle l’échec d’un token dépend de la tâche.
Les expériences comparent directement les étiquettes Magikarp disponibles pour trois configurations de modèles. Il ne s’agit pas d’une répétition côte à côte de tous les cinq systèmes sous un oracle contextuel commun, par conséquent aucune affirmation concernant le rappel ou l’efficacité comparatifs de ces systèmes n’est faite.
La rareté constitue une explication concurrente. Yu et al. (2022) examinent comment les gradients agissant sur les embeddings de tokens rares peuvent entraîner une dégénérescence des représentations. Cela justifie une comparaison avec des caractéristiques de surface liées à la rareté, mais cela ne résout pas la question de l’historique d’entraînement ni du mécanisme causal des tokens en question. La caractéristique ID-token utilisée ici n’est qu’un proxy de l’ordre du vocabulaire et ne mesure pas la fréquence de préentraînement.
Configuration expérimentale
Modèles et échantillons
Les principaux expériences de copie portent sur huit modèles à poids ouvert appartenant à deux familles : un modèle OLMo-2 et sept modèles Qwen issus de trois générations. Une étude de représentation distincte utilise Pythia-1.4B et est considérée comme une expérience auxiliaire ; par conséquent, les conclusions de l’étude sur les huit modèles ne doivent pas être extrapolées à Pythia ou aux autres familles de modèles.
Le échantillonnage est stratifié en fonction de la plage d’ID des tokens au sein de chaque vocabulaire. Les modèles Qwen utilisent respectivement entre 4 200 et 8 400 IDs, tandis que OLMo-2-7B dispose d’un échantillon initial de 2 098 et d’un échantillon de réplication de 6 273. Chaque token échantillonné est intégré dans tous les contextes de son exécution. Ces contextes proviennent de bases de séquences de mots courants aléatoires, chaque mot ayant réussi seuls le test de copie. Les longueurs des séquences sont de 8, 16, 32 et 64, et le terme cible occupe une position aléatoire au sein de la séquence. De telles séquences constituent des listes de mots contrôlées et non de textes grammaticaux.
La taille du vocabulaire est comptée en fonction du nombre de lignes d’embedding, et les deux modèles les plus importants, Flash-Next et 235B, fonctionnent à partir de points de contrôle en FP8. L’équipe OLMo (2025) ainsi que l’équipe Qwen (2025a, 2025b, 2026a, 2026b) documentent ces familles de modèles. Le tokeniseur, l’architecture, l’entraînement, la structure et la précision varient selon les configurations ; par conséquent, la hiérarchie des modèles représente un ensemble de répliques et ne permet pas d’isoler l’effet du nombre de paramètres.
Protocole de copie et identité des tokens
Chaque instruction de copie comprend deux démonstrations, suivies d’une séquence contenant l’objet cible. La sonde d’isolation réutilise ce modèle avec l’objet cible comme seul texte. Les instructions sont constituées d’ID de tokens, ce qui permet de maintenir constant l’ID de l’objet cible tout en changeant tout le reste autour de lui.
Ce choix sépare le comportement du modèle de la ré-tokenisation. L’ajout d’un espace dans une chaîne de tokens décodée peut modifier sa segmentation avant même que le modèle ne la voie. L’insertion directe d’ID évite ce biais, mais elle permet également des séquences que un tokeniseur ne produirait normalement pas à partir d’une chaîne ordinaire. La copie par ID exact est donc distincte de la préservation de la chaîne, et les affirmations concernant l’utilisation quotidienne du texte en sont par conséquent limitées. L’exemple canonique de according montre que cet effet n’est pas limité à une chaîne non canonique.
Le professeur forçant fournit le préfixe attendu avant que la position de sortie cible ne soit lue lors de la distribution. Notons q0(t) la probabilité que le modèle attribue à l’ID cible t dans la sonde d’isolement, et q(t,c) la probabilité à la position correspondante dans le contexte c. Une valeur faible indique un faible soutien pour le token requis, même après un préfixe correct. Elle ne permet pas de savoir ce que ferait une continuation libre une fois qu’une erreur antérieure s’est produite.
Les configurations Qwen3.8 placent les instructions, les démonstrations et le texte final dans la partie correspondant au tour de l’utilisateur dans le modèle de chat, commencent le tour de l’assistant par Copy: et interrompent le processus de réflexion. Tous les autres modes d’exécution utilisent une séquence brute à quelques exemples, et le formatage ne varie jamais au sein d’un même modèle. Cela est important : sous un formatage brut, les modèles Qwen3.8 commencent souvent sur une nouvelle ligne et modifient la manière dont les espaces en tête de ligne sont tokenisés. Sur 2 000 tests avec des mots courants, 3 réussissent avec un formatage brut, tandis que le formatage adapté au chat fonctionne 1 921 fois avec le modèle de 27 milliards de paramètres et 1 925 fois avec Flash-Next.
Fragilité comportementale et écran de probabilité
On définit la prédiction « gourmande » du modèle à la position de copie de la cible, compte tenu du préfixe imposé par l’entraîneur. Le taux d’erreur de copie empirique sur un ensemble de m contextes correspond alors à la fraction de cas où cette prédiction n’est pas la cible. Un token comportementalement fragile échoue au test isolé indiqué tout en commettant des erreurs contextuelles, et une classe quantitative fixe également un seuil pour ce taux d’erreur. L’échec d’une séquence entièrement copiée constitue un résultat différent, puisque des erreurs peuvent survenir avant ou après la position de la cible.
Les expériences agrégées sont plutôt exécutées sur un écran de probabilité associé. La porte d’isolement principale laisse passer les tokens dont la probabilité d’isolement q0(t) dépasse 0,5, ce qui fait de t la seule sortie greedy. Cette condition est suffisante pour une passe greedy isolée, bien que certaines passes en sortent. Une porte plus stricte, utilisée dans l’analyse de sensibilité d’OLMo, exige que ln q0(t) soit supérieur à -0,1, soit que q0(t) soit supérieur à environ 0,905.
Une cellule est marquée par l’écran contextuel lorsque ln q(t,c) est inférieur à -0,5, ce qui signifie que q(t,c) est inférieur à environ 0,607. Le score de susceptibilité d’un token correspond à la fraction de ses contextes qui sont marqués. Les candidats qui passent cette porte obtiennent un score de 0,10 ou plus, les contrôles stables obtiennent un score exact de zéro, et les tokens intermédiaires forment un groupe intermédiaire. Pour des ensembles de 24 contextes, un candidat a besoin d’au moins 3 cellules marquées, et pour des ensembles de 48, d’au moins 5.
Le taux de détection et le taux d’erreur ne doivent pas être fusionnés. Imaginez un token ayant une probabilité de 0,55, tant seul que dans un contexte : il franchit le portail principal et est également marqué dans ce contexte, mais sa probabilité ne diminue pas et sa sortie basée sur la stratégie greedy est correcte. La prévalence de détection rapportée n’est donc ni une estimation de la prévalence comportementale ni une borne supérieure pour celle-ci. Le portail strict élimine cette superposition particulière, mais une probabilité contextuelle inférieure à 0,607 ne prouve pas pour autant que la valeur argmax soit erronée. Les spécimens décodés servent à démontrer des erreurs réelles, et les résultats de probabilité globale restent étiquetés comme des mesures de détection.
ClASSES DE RÉFÉRENCE ET SPÉCIMENS EN STOCK
Pour OLMo-2-7B, il existe une référence indépendante de 442 tokens anormaux vérifiés par Magikarp. Aucun ne passe le principal critère d’isolement, et leur score contextuel moyen dans la banque initiale est de 0,993. D’autres modèles ne disposent pas de telles étiquettes, ce qui fait que leurs ensembles de référence combinent un faible niveau d’isolement avec un score contextuel de 0,90 ou plus. Cette condition contextuelle est nécessaire car de faibles performances en matière d’isolement peuvent provenir du format de l’instruction plutôt que de problèmes persistants de copie.
Chaque token inspecté contribue trois de ses cellules contextuelles les plus défavorables ainsi qu’une cellule de contrôle au stock d’échantillons. Un enregistrement contient les IDs contextuels, la case cible, la probabilité du token attendu, les cinq IDs de sortie les plus probables avec leurs probabilités, l’entropie, et, si la génération a eu lieu, une continuation par approche gourmande. Les champs de provenance indiquent le nom du modèle et la version du point de contrôle, la précision, les métadonnées de l’architecture ainsi que les versions logicielles. De tels enregistrements permettent de réaliser des études de cas. Comme ils sélectionnent uniquement les cellules les plus défavorables, ils ne permettent pas de montrer comment la confiance est répartie parmi tous les erreurs contextuelles.
Les échecs sont classés de manière descriptive en suppression, substitution, troncature et traduction, avec indication de la conversion de l’écriture lorsque cela se produit. Pour qualifier quelque chose de suppression, il faut des preuves que le modèle passe au texte suivant, car une lecture isolée du premier token ne permet pas de déterminer comment se déroule toute la continuation. Une entropie inférieure à 2 bits ne sert qu’à identifier une distribution stockée concentrée. Ce n’est pas un indicateur calibré de la justesse de la tâche ni de la capacité du modèle à éprouver du doute.
À quel point les passes d’isolation sont-elles vulnérables ?
Prévalence du filtrage
Avec le seuil principal, les taux de candidats varient de 0,4 % sur Flash-Next, où 15 sur 4 047 tokens qualifiés par le seuil répondent aux critères, à 10,9 % sur Qwen3-235B, avec 684 sur 6 277 tokens. Le vocabulaire échantillonné, le seuil, la distribution contextuelle et le seuil de seuil influencent tous cette fourchette, et ces paramètres ne permettent ni d’estimer la prévalence dans les textes naturels ni la part de tous les tokens pouvant être répétés de manière systématique.
Le seuil strict fait que chez OLMo-2-7B, on compte 14 candidats sur 873 tokens dans la première banque (1,6 %) et 29 sur 1 888 tokens dans la banque de réplication (1,5 %). Leur probabilité d’isolement est bien supérieure au seuil contextuel, ce qui les rend utiles pour vérifier la superposition entre les deux seuils. Le taux d’erreurs argmax vérifiées doit encore être mesuré directement.
En se limitant à la comparaison des IDs communs entre les modèles, on conserve une partie de l’écart entre les configurations. Prenons les 1 592 IDs qui réussissent les deux tests sur Qwen3-1.7B et Qwen3-235B : les candidats représentent 2,0 % d’entre eux sur le premier et 6,2 % sur le second. Pour les 1 569 IDs partagés par Qwen3-32B et Qwen3-235B, ces pourcentages sont de 0,8 % et 4,3 %. Cela réduit les différences de sampling, mais ne permet pas de distinguer l’échelle de l’architecture, de la précision ou de l’entraînement.
Reproductibilité et rôle du contexte
Les scores par token des deux moitiés de contexte présentent une corrélation allant de 0,82 à 0,95 pour l’ensemble des huit modèles. Une reproduction plus rigoureuse sur Qwen3-32B double l’échantillon et utilise un nouveau pool de contextes. Les scores correspondant aux 4 200 identifiants partagés présentent alors une corrélation de 0,984, et 12 des 15 candidats initiaux restent qualifiés. La réévaluation des matrices stockées pour Qwen3-32B et Qwen2.5-72B sur d’autres matériels reproduit 99,9 % et 99,6 % des cellules, avec des corrélations de scores au niveau du token de 0,9999 et 0,9996.
La décomposition de la variance de la première matrice OLMo attribue 95,2 % au token, 0,1 % au contexte et 4,7 % au résidu. Pour le groupe à seuil strict, la répartition devient 71,7 %, presque zéro et 28,2 %. Cette forte baisse de la part attribuée au token est importante : dans l’ensemble de l’échantillon, une grande partie de la variation ne fait que séparer les tokens gravement défectueux de ceux fiables, tandis qu’une part considérable de variation inexplicable persiste au sein du groupe soumis à un seuil strict.
Tout ceci soutient une sensibilité reproductible au niveau des tokens selon la distribution échantillonnée, et cela ne montre pas que le contexte déclencheur est irrelevant. Un petit effet principal lié au contexte signifie qu’aucun porteur n’est difficile pour tous les tokens, ce qui est compatible avec une forte variation token par contexte. En conséquence, la prédiction des cellules OLMo non utilisées à partir du score d’un token ailleurs donne un AUROC de 0,94, contre 0,56 pour l’évaluation de la difficulté du porteur pour d’autres tokens. Les caractéristiques de similarité token-contexte n’ajoutent rien.
La longueur est importante pour certains groupes. Dans l’échantillon OLMo strict-gate, les taux de cellules marquées sont de 0,005, 0,008, 0,008 et 0,008 pour des longueurs de 8, 16, 32 et 64. Pour les candidats Qwen2.5-72B, les porteurs les plus courts marquent 33 % des cellules et les plus longs 52 %. Le classement de la sensibilité est donc plus clair que les conditions à l’origine d’une erreur donnée.
Par rapport aux étiquettes Magikarp publiées
Par rapport aux enregistrements existants de Magikarp, aucun des candidats analysés dans les trois comparaisons de modèles n’est un token de bug vérifié. La plupart sont considérés comme acceptables selon cette procédure, et quelques-uns sont classés comme indécodables, ce qui ne doit pas être interprété comme une preuve de santé confirmée. Certains avaient déjà été inclus dans l’ensemble des candidats géométriques de Magikarp avant que leur vérification comportementale ne les rejette. La comparaison Qwen2.5-7B utilise 294 candidats, tandis que le résumé du filtrage en compte 296, car les deux analyses s’appuient sur des populations différentes.
Ainsi, le filtre contextuel détecte des comportements en dehors des ensembles de bugs vérifiés disponibles. Cela ne prouve ni que chaque candidat identifié par le filtre contextuel soit réellement un erreur de copie, ni que d’autres détecteurs ne les manqueraient pas dans le cadre de leurs propres tâches d’évaluation. Quantifier cette affirmation plus large nécessite une comparaison avec une source commune de référence.
Erreurs démontrées et concentration
Le cas according démontre déjà une erreur de copie réelle malgré un succès isolé presque certain, et d’autres cas stockés présentent un comportement similaire selon les langues et les configurations. La note d’un spécimen résume un token sur l’ensemble de sa banque, tandis que l’émission affichée correspond à un cas choisi ; par conséquent, ces deux éléments ont un poids différent en tant que preuves. Les spécimens sont à titre illustratif et ne fournissent aucune fréquence pour aucun mode de défaillance.
Sur les sept configurations de Qwen, la proportion de spécimens défaillants stockés sélectionnés ayant une entropie inférieure à 2 bits varie de 14 % à 74 %. Certaines erreurs surviennent dans des distributions fortement concentrées, tandis que d’autres apparaissent dans des distributions diffuses. Les enregistrements confirment l’existence d’erreurs certaines, mais ils ne soutiennent ni l’affirmation selon laquelle les erreurs contextuelles sont généralement certaines, ni l’affirmation selon laquelle elles ne s’accompagnent jamais d’incertitude.
Géométrie d’incorporation et prédiction
Les scores et leur coût
L’analyse géométrique vise à déterminer dans quelle mesure les candidats sont corrélés au jeu de référence des anomalies du modèle. Pour un token t, on prend sa ligne e(t) dans la matrice d’incorporation d’entrée ou de sortie et on identifie les cinq tokens de référence présentant la plus grande similarité cosinus dans cet espace. Le score de proximité résume la similarité avec ces cinq tokens. Un second score projette l’incorporation d’entrée sur la ligne allant de la moyenne du vocabulaire à la moyenne des incorporations de référence des anomalies, de sorte que la proximité est locale tandis que la projection est globale. Une fois le jeu de référence et les incorporations définis, aucun des deux n’a besoin d’une itération complète pour un nouveau token. En revanche, la construction d’un jeu de référence filtré sur le plan comportemental nécessite des exécutions du modèle, et ce coût fait partie intégrante de toute exécution de comparaison de découverte, du début à la fin.
L’analyse de prédiction ajustée compare quatre niveaux de caractéristiques :
- Point de référence de surface : identifiant du token, longueur des caractères de la chaîne décodée, et indication s’il y a un espace en tête, si elle est alphabétique ou ASCII.
- Statique : normes de ligne et distances de centride pour les embeddings d’entrée et de sortie, similarités de voisin le plus proche, un score auto direct entrée-sortie avec marge par rapport aux concurrents, ainsi que la projection de la direction du défaut. Le score de proximité des cinq voisins ne fait pas partie de ce niveau d’évaluation.
- Dynamique : résumés de la représentation de la position cible sur la moitié des contextes, tels que sa dispersion, sa norme et son alignement avec la ligne de sortie de la cible.
- Comportemental : mesures de copie tirées des mêmes contextes.
Les niveaux dynamique et comportemental sont utilisés pour prédire l’étiquette du candidat telle qu’elle apparaît dans l’autre moitié des contextes. Les ajustements sont réalisés par des régressions logistiques régularisées L2 hors ensemble de test, comparées à la ligne de base de surface au moyen du bootstrap par paires. Comme ces deux niveaux nécessitent des passes en avant, ils ne s’agissent pas de filtres basés uniquement sur les poids, et les étiquettes du demi-groupe fournissent des comptages positifs, contrairement à celles du filtrage complet du groupe.
Lien vers la classe de référence des anomalies
La proximité a été mesurée séparément dans les espaces d’entrée et de sortie. Le choix du meilleur des deux espaces pour chaque modèle donne des AUROC allant de 0,744 à 0,881 pour les sept configurations utilisant des embeddings non liés. Il s’agit d’un choix descriptif, modèle par modèle, et non de la performance d’une seule note prédéfinie appliquée de la même manière partout. Les valeurs plus faibles sur Qwen3-1,7B sont conservées dans le rapport.
Le modèle qui permet de transmettre le signal dépend du modèle lui-même. OLMo-2-7B obtient une note de 0,846 pour la proximité d’entrée et de 0,528 pour la proximité de sortie, tandis que Qwen2.5-72B présente l’inverse, avec 0,685 contre 0,798. Une direction globale unique ne suffit pas toujours : elle ne donne que 0,599 pour Qwen2.5-72B, mais atteint 0,898 pour Qwen3-32B, dépassant ainsi les deux scores de proximité. Les associations géométriques dépendent donc du modèle, et aucune forme universelle n’est reconnue.
En remplaçant l’ensemble de référence contenant des erreurs par un ensemble aléatoire stable de même taille, les valeurs moyennes des AUROC varient de 0,41 à 0,55 sur dix extractions. Par conséquent, des ensembles de référence stables arbitraires ne reproduisent pas le classement indiqué. Cette comparaison ne permet pas de distinguer la proximité des erreurs des autres facteurs explicatifs tels que la rareté, la densité d’incorporation locale ou la manière dont l’ensemble de référence a été choisi. Une ligne de base basée simplement sur l’ID de token performe en réalité mieux que les scores de proximité pour Qwen2.5-72B ainsi que pour Qwen3-235B.
Il est impossible d’évaluer l’effet du liage des poids à partir des données de Qwen3-1.7B, car ce modèle représente la seule configuration avec des poids liés dans l’étude, et ses scores de proximité en entrée et en sortie diffèrent malgré l’indication qu’ils sont liés. Cette disparité empêche une interprétation claire de son architecture.
Position des candidats dans une projection
Les candidats se situent au-delà des concentrations visibles de la classe de référence glitch. Les projections UMAP des lignes d’embedding de sortie selon la distance cosinus (McInnes et al., 2018) montrent des points candidats rouges dispersés sur de larges zones de la population de fond grise dans Qwen3-1.7B, Qwen3.8-27B et Qwen3-235B, tandis que les points de référence noirs restent relativement regroupés. Qwen2.5-7B et OLMo-2-7B présentent des candidats tant à côté des clusters de référence qu’au milieu des points gris. Les couleurs indiquent les étiquettes de filtrage et de référence, mais ne vérifient pas chaque point représenté de manière indépendante.
Li et al. (2024) constatent que les tokens de glitch ont tendance à se regrouper dans l’espace d’incorporation, et cette observation motive l’utilisation d’un clustering graphique itératif dans GlitchHunter. Ces projections soulèvent une question quant à son champ d’application : la géométrie d’une classe de références de glitch peut-elle également être appliquée aux candidats contextuels qui échappent à l’isolement ? Les points rouges dispersés suggèrent que les clusters de références visibles ne décrivent que partiellement cette population conditionnelle.
Tang et al. (2026) constatent également un regroupement, le justifiant par des comparaisons de distances euclidiennes et d’entropie effectuées sur Llama2-7B-chat et Mistral2-7B-it, et le reliant à une faible capacité de différenciation dans la couche d’incorporation des entrées. Les projections basées sur le cosinus des embeddings de sortie ne permettent pas de vérifier directement ce point. Les modèles non liés exigent une évaluation séparée des matrices d’entrée et de sortie, et une projection de sortie dispersée ne peut pas démontrer que les embeddings d’entrée sont exempts du problème de surpopulation signalé.
Cela correspond aux résultats de proximité présentés ci-dessus. Une population peut s’étendre sur plusieurs régions tout en restant proche, localement, des tokens de référence ; par conséquent, un score de classement utile n’a pas besoin d’un cluster de candidats distinct. UMAP déforme également la densité et peut créer des séparations artificielles (développeurs d’UMAP, s.d.), ce qui ne signifie pas pour autant que les méthodes présentées excluent le clustering dans l’espace d’origine. Une étude directe consisterait à comparer les voisins et la couverture des échecs contextuels dans l’espace d’origine aux mêmes points de contrôle, en utilisant des espaces d’incorporation identiques, des métriques correspondantes, ainsi que des erreurs et des étiquettes vérifiées indépendamment pour chaque méthode d’évaluation.
Valeur au-delà des caractéristiques superficielles
En excluant les étiquettes de contexte, les caractéristiques statiques surpassent la baseline de base avec un intervalle positif pour Qwen2.5-7B, OLMo-2-7B et Flash-Next, ne donnant aucun avantage sur cinq autres modèles et un intervalle négatif pour Qwen2.5-72B. Les caractéristiques dynamiques les surpassent, avec des intervalles ne comprenant pas zéro, sur cinq modèles : OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B et Qwen3-235B. Cela relie les représentations contextuelles à une susceptibilité qui dépasse ce que capture la baseline de base. Cela ne rend pas une procédure basée sur des représentations moins coûteuse que la mesure directe de la copie dans les mêmes contextes.
Le niveau comportemental atteint un AUROC compris entre 0,945 et 1,000. Cela correspond aux corrélations de split-half : observer un token dans certains contextes permet de prédire son étiquette de filtrage dans d’autres contextes générés par le même processus. Cela démontre la reproductibilité, mais comme les étiquettes et les caractéristiques partagent une même tâche de copie ainsi qu’une même distribution de contextes, les performances sur de nouvelles distributions de texte naturel restent inconnues. Les cibles sont des étiquettes de filtrage probabilistes et non des étiquettes d’erreur argmax vérifiées de manière indépendante.
Le tri géométrique préalable semble plausible pour déterminer ce qu’il convient de tester en premier, mais rien ici ne montre une découverte à haute précision dans le cadre d’un budget fixe. L’AUROC mesure le classement et non la précision de la liste restreinte choisie. Pour prouver l’efficacité pratique de la découverte, il faudrait d’abord fixer des scores et un ensemble de référence, des candidats qui ne se chevauchent pas, un budget de vérification des ensembles, ainsi qu’une comparaison avec des éléments aléatoires, en évaluant le choix des identifiants de tokens et des détecteurs existants sur la base du même résultat comportemental.
Ce qui survit dans la génération et les tâches
Génération libre
Les sondes de génération libre vérifient si un modèle conserve un token fourni lorsqu’il le décrit ou y répond. L’exécution d’OLMo demande une identification précise ainsi qu’une explication, puis ajoute le préfixe Let me think about this carefully.. D’autres configurations placent simplement le token dans la partie correspondant au tour de l’utilisateur dans le modèle de chat. La génération s’arrête à 256 tokens. Comme les méthodes de structuration diffèrent, ces comptes ne peuvent pas être interprétés comme une comparaison sur une échelle contrôlée.
Deux mesures de reproduction sont nécessaires. L’une vérifie si l’ID de la graine apparaît quelque part parmi les IDs générés, et l’autre si la chaîne de graine décodée apparaît quelque part dans le résultat, même avec une segmentation différente. Aucune de ces deux méthodes ne prouve une identification correcte ni une reproduction fidèle de la séquence complète demandée. Sur Qwen2.5-72B, aucune des 32 graines de pire isolation ne réapparaît sous son ID d’origine, mais 12 réapparaissent sous forme de chaînes, car une graine telle que _ghost peut être représentée par plusieurs tokens de sortie.
Avec la génération disponible, le taux de préservation des chaînes candidates est inférieur au taux de contrôle dans quatre des cinq comparaisons, et il y a égalité pour Qwen3-32B. Les taux Exact-ID ne sont pas aussi uniformes : Qwen2.5-7B présente des égalités, tandis que pour Qwen3-32B, les candidates reviennent 8 fois sur 14 et les contrôles 7 fois sur 14. Une candidate peut même revenir alors qu’elle a été mal identifiée. La vulnérabilité dépend évidemment de la tâche, et il n’existe pas d’impossibilité générale d’émettre le token candidat.
Les séquences choisies comme les 32 pires en situation isolée pour les tests de génération distincts ne doivent pas être confondues avec des références à des dysfonctionnements liés au contexte. Les vérifications imposées par l’entraîneur donnent au token attendu une probabilité d’au moins 0,5 dans 71 % des 768 cellules Flash-Next et seulement 0,1 % des cellules Qwen3-235B. Une telle disparité est une raison de plus de vérifier le comportement d’un ensemble de références dans le contexte pertinent.
La génération libre, les sondages de tâche et les continuations d’échantillons n’ont pas été exécutés sur les deux mélanges FP8, car l’outil d’évaluation nécessitait environ sept secondes par token généré et les coûts de calcul devaient être payés à la carte. Leurs observations relatives au token suivant ne doivent donc pas être interprétées comme des traces de raisonnement générées. La génération sans candidats n’a pas non plus été testée sur Qwen2.5-72B.
Instructions exigeant une formulation exacte
Cinq modèles d’instructions obligent le modèle à conserver la chaîne cible intacte : nommer une fonction Python, citer le titre d’un document, retourner un élément de liste, corriger l’orthographe et résumer tout en conservant les noms propres. Dix tokens sélectionnés par classe, modèle et tâche donnent lieu à 50 épisodes par classe, et les tokens sont introduits par leur ID via le modèle de chat.
La métrique principale vérifie si la réponse contient la chaîne cible, critère délibérément plus restreint que la correction de la tâche. Elle ignore le fait que le code soit valide, que le nom d’une fonction soit un identifiant légal ou que le résumé soit fidèle d’une autre manière. La tâche d’orthographe invite également à la normalisation, de sorte que son taux dépend de sa formulation.
Les candidats réussissent moins souvent que les groupes de contrôle dans les cinq configurations. Les intervalles d’Episode-bootstrap excluent zéro dans quatre d’entre elles (OLMo-2-7B, Qwen3.8-27B et les deux modes Qwen3-32B), et Qwen2.5-7B constitue l’exception. La complétion grossière reste entre 0,96 et 1,00, tandis que la préservation des chaînes varie, ce qui fait que le fait qu’une tâche paraisse terminée ne prouve rien. Chaque token est réutilisé entre les tâches, ce qui limite leur indépendance.
Les transcriptions rendent cette différence concrète. OLMo-2-7B, interrogé sur une fonction nommée according, écrit sum_list, réécrit according en correct dans le modèle d’orthographe, et répond LocalizableString lorsque le deuxième élément de la liste est NSLocalizedString. Qwen3-32B transforme realtà en reality dans la tâche d’orthographe. Le formulaire de la tâche reste inchangé dans ces réponses, tandis que le contenu désigné varie.
Outils simulés
L’expérience avec les outils propose cinq tâches liées à un terme cible : examiner une clé de configuration, rédiger une note de contexte, recommander l’adoption d’une technologie, expliquer un terme et vérifier une version. Jusqu’à six tours utilisant search, open_page et run_python sont autorisés, et dix tokens par classe donnent au total 50 épisodes par configuration.
L’environnement est connecté au token fourni. Une recherche de sa chaîne exacte renvoie de la documentation, des notes de version et une page de problèmes, tandis que toute autre recherche ne produit que des pages génériques et non pertinentes. Cela permet de vérifier si le terme cible aboutit bien à une appel d’outil, sans simuler les échecs de recherche dans un moteur de recherche réel. Les modèles Qwen utilisent leurs templates d’outils natifs, tandis qu’OLMo emploie un protocole textuel, ce qui affaiblit encore davantage la comparaison entre modèles.
En mode simple, Qwen3-32B maintient des cibles stables dans 96 % des premières requêtes et des réponses finales, des candidats dans 74 % des premières requêtes et 68 % des réponses finales, et aucune cible de référence aux pannes dans aucun des 50 épisodes. Certaines réponses continuent à partir de matériel générique récupéré après que le terme a disparu ou a changé dans la première requête.
Avec Qwen3.8-27B, le contraste pour les premières requêtes est similaire, tandis que le comportement de complétion est différent. En mode simple, seuls 14 % des épisodes présentant des pannes se terminent dans le délai imparti, contre 66 % des contrôles stables et 58 % des candidats, et les appels aux outils identiques se reproduisent respectivement dans 28 %, 10 % et 14 % des cas. Le mode de réflexion modifie ces taux ainsi que la valeur de référence stable. Perdre la cible peut donc se terminer par une réponse générique achevée ou par une utilisation répétée des outils, en fonction de la configuration.
Les données ne prouvent pas une invention généralisée de faits spécifiques retrouvés. Les numéros de version fabriqués apparaissent seulement entre 0,00 et 0,02 par classe et configuration, avec des cellules non nulles dispersées tant dans les groupes liés aux pannes qu’à ceux liés au contrôle. L’effet le plus marqué est la perte du sujet littéral d’une requête ou d’une réponse. Les ensembles de tokens choisis, les modèles répétés et l’environnement construit limitent tous la généralisation à des systèmes autonomes effectuant des tâches naturelles.
Résultat négatif pour les noms propres
Un autre experiment utilise des éléments du quotidien : 1 255 identifiants de code et noms propres authentiques apparaissent dans une tâche naturelle. Évaluer la fragilité de leurs tokens constitutifs ne permet pas d’améliorer la prédiction d’un nom d’entité incorrect, une fois que la rareté, les scores d’isolement des composants et la probabilité du modèle pour l’entité entière ont été pris en compte. L’AUROC varie de -0,001, avec une intervalle à 95 % allant de -0,008 à +0,006.
Cela limite la mesure dans laquelle les résultats synthétiques peuvent être appliqués en pratique. Les données ne montrent pas que le score contextuel explique les erreurs de nom d’entité naturelle au-delà des prédicteurs existants, ni que la rareté provoque l’un ou l’autre de ces résultats, ni que tout lien possible entre la fragilité des tokens et les hallucinations soit exclu. La conclusion qui s’impose est que cette expérience ne révèle aucun pouvoir prédictif supplémentaire.
Analyses complémentaires
Paires de tokens
Une expérience de copie factorielle vise à déterminer si des paires de tokens causent plus de dommages que leurs membres pris séparément. Les supports disposent de deux emplacements à des distances de 2, 4, 8, 16, 32, 64 et 128, chacun contenant deux remplisseurs indépendants. Chaque paire ordonnée est testée de quatre manières : avec les deux cibles présentes, avec seulement l’une d’elles à côté d’un contrôle, et avec des contrôles seuls. Le contraste d’interaction correspond au score conjoint moins les deux scores de cible individuels plus le score du contrôle.
Cette méthode adopte un modèle additif au sein de chaque porteur, normalise les résidus, effectue des permutations au sein des porteurs et applique la correction de Benjamini-Hochberg à un seuil de q = 0,05 (Benjamini et Hochberg, 1995). Son critère de comptage détermine le nombre de paires rejetées en se basant sur le 95e percentile obtenu à partir de vingt ensembles de données simulés dans lesquels les interactions sont purement additives. Aucun ensemble n’est accepté : chaque ensemble OLMo rejette 1 parmi 4 032 paires, Qwen3-32B en rejette 13 parmi 1 190 et Qwen3-235B en rejette 1 parmi 2 256.
Cela ne revient pas à aucune interaction. Les tests basés sur des statistiques maximales sont significatifs pour les ensembles OLMo et Qwen3-32B, tandis que Qwen3-235B présente une valeur p de 0,059. Les critères examinent différentes parties de la distribution des interactions, ce qui explique pourquoi tous restent inclus dans le rapport. Les contrastes liés aux tokens répétés donnent en moyenne une valeur positive, ce qui suggère une facilitation chez ces modèles, soit +0,005 pour OLMo à une séparation de 2 et +0,018 à 128. Rien de tout cela ne montre d’additivité universelle, l’absence de combinaisons rares et nocives ou un mécanisme basé sur l’induction, et des valeurs positives peuvent masquer des interactions négatives pour des paires individuelles.
Dans les ensembles mixtes, cinq tokens OLMo sont responsables de 47 % des modèles défaillants, et cinq tokens Qwen3-32B en sont responsables à 57 %. Une telle concentration rend la sensibilité au niveau des tokens un résumé utile, tandis que les échecs qui ne se reproduisent pas avec d’autres tokens montrent que ce résumé n’est pas indépendant du contexte.
L’identité est-elle toujours présente ?
Dans l’expérience Pythia-1.4B, 36 tokens anormaux vérifiés et 1 088 tokens de contrôle sont placés chacun à la fin de huit contextes (Biderman et al., 2023, décrivent le modèle). À chaque couche, le modèle tente de correspondre l’état contextuel d’un token à son état dans un autre contexte parmi 1 124 candidats, après avoir soustrait la composante partagée au sein de chaque contexte. Les tokens anormaux présentent une correspondance parfaite de la couche d’embedding à la couche 12, tandis que les tokens de contrôle présentent une correspondance comprise entre 0,988 et 1,000. À la dernière couche, la précision diminue à 0,880 et 0,874. Une grande quantité d’informations d’identité reste donc récupérable. Un exemple utilisant la méthode logit-lens favorise également la poursuite d’un token anormal, comme depress suivi de ant, plutôt que la reproduction du token d’entrée.
La capacité de récupération n’est pas une localisation causale de la panne. L’expérience ne peut pas démontrer que la copie utilise les informations récupérables, que l’identité est parfaitement préservée ou que seule la couche de sortie est responsable ; elle concerne des tokens de dysfonctionnement Pythia étiquetés de manière indépendante et non les huit modèles candidats. Distinguer une lecture déficiente d’une concurrence dépendante du contexte nécessiterait des interventions causales.
Ce que les preuves soutiennent et où elles s’arrêtent
La conclusion principale est l’existence d’un écart répétable entre le succès de la copie isolée et la vulnérabilité contextuelle. Les banques partagées permettent d’estimer une tendance par token sans devoir rechercher de contexte adverse pour chaque token. Des exemples décodés montrent que certaines disparités correspondent à des erreurs de copie littérale, et des expériences de tâche démontrent que des candidats sélectionnés perdent leur identité en dehors du modèle de copie. Les associations d’incorporation relient ce groupe de travaux aux études antérieures sur les tokens défectueux, mais leur valeur ajoutée inégale exclut de considérer la géométrie comme une explication complète ou comme un détecteur fiable.
Plusieurs limites définissent le champ d’application.
- Une classe probabiliste. Les candidats sont définis à l’aide d’un seuil de probabilité, et le lien entre ce seuil et une erreur de décodage réelle est seulement partiel. Les résultats obtenus grâce à des critères stricts et à des continuations vérifiées renforcent l’argumentation, mais ils ne remplacent pas une analyse argmax à l’échelle de l’ensemble des données ; une meilleure estimation de la prévalence doit tenir compte du résultat d’isolement ainsi que de l’identité contextuelle de chaque élément.
- Des porteurs artificiels. Les porteurs basés sur des listes de mots sont artificiels, et le cadre spécifique au modèle influence ce qui est mesuré. L’insertion directe d’identifiants permet de déterminer l’identité de la cible, mais cela peut générer des entrées que un tokeniseur ne produirait pas. Les tâches sur des chaînes de caractères aident partiellement, et le test le plus fiable sur les entités naturelles s’est révélé négatif après les contrôles existants. Rien ne justifie d’extrapoler cette prévalence au texte quotidien ou de considérer un score comme une propriété de token sans contexte.
La prochaine étape la plus directe consiste à corriger quatre éléments à l’avance (test d’isolement, score du candidat, construction de référence et distribution du contexte), puis à effectuer des tests sur des données disjointes. Fournir les erreurs argmax en position cible, la précision de copie de la séquence complète ainsi que la préservation des chaînes exactes, en plus des scores de probabilité, permettrait de relier la sensibilité du filtrage aux échecs que les gens peuvent observer. Les affirmations relatives à une découverte seraient mieux étayées par la précision et le rappel avec un budget de vérification fixe que par un AUROC rétrospectif seul.
Ce dont a besoin une reproduction
Une reproduction nécessite des modifications du modèle et du tokeniseur, les IDs des tokens échantillonnés, des IDs de contexte complets avec des emplacements d’insertion, une structuration des prompts, des seuils, une précision numérique ainsi qu’un code de scoring, en plus de matrices spécifiques à l’exécution et de métadonnées d’environnement. Les poids ne sont jamais modifiés. La figure de projection exige en outre des IDs à tracer, des masques de classe, un prétraitement des embeddings, des paramètres et des graines UMAP, et la couverture de génération est limitée aux configurations explicitement indiquées.
Le nombre de candidats varie selon les analyses. Le résumé du tri affiche 296, 418 et 684 pour Qwen2.5-7B, Qwen2.5-72B et Qwen3-235B, un appendice donne 294, 417 et 682, et chaque analyse conserve ses propres chiffres. Les comptes de prédiction en mode demi-banque diffèrent également, car leurs étiquettes utilisent d’autres contextes. Pour combler précisément les dernières lacunes, il faut les listes de tokens et les masques d’exclusion.
Le protocole enregistré a été modifié au fil du processus : la porte d’isolement, la taille de l’échantillon, le filtre de semence imprimable ainsi que le système de notation au niveau des chaînes ont tous été changés. L’échantillonnage suit le comptage des lignes d’incorporation, de sorte que l’ajout de données de remplissage réduit la superposition des identifiants entre les échantillons Qwen2.5 et Qwen3 ; par ailleurs, l’échelle de correspondance des identifiants au sein de Qwen2.5 n’a jamais été testée. Ces choix font partie des spécifications expérimentales et limitent la lecture entre modèles différents.
Modèles de prompts et sondes
Les étiquettes courtes utilisées ci-dessus omettent les suffixes d’instruction et de quantification. Les versions exactes des points de contrôle et des outils de tokenisation, les modifications du chargeur ainsi que les versions de l’environnement doivent figurer dans les fichiers de description des exécutions.
Le modèle de copie commence par une courte instruction :
Repeat the text exactly.
Deux paires de démonstration suivent, ainsi que l’espace de texte final. Le préfixe copié final est imposé par l’enseignant, et la probabilité cible est lue à sa position de copie. Les phrases entre crochets dans le modèle brut décrivent des insertions expérimentales et ne correspondent pas au texte d’instruction littéral :
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Pour l’isolation, le champ de texte final ne contient que l’ID cible. Avec Qwen3.8, l’instruction, les démonstrations et le texte final se trouvent dans le tour de l’utilisateur ; le marqueur de copie démarre le tour de l’assistant et la phase de réflexion est désactivée. Les délimiteurs tokenisés font partie de la spécification de traitement, car une chaîne de prompt décodée ne permet pas de déterminer avec précision la séquence des IDs.
Le prompt d’identification d’OLMo demande de quelle entité il s’agit, afin de l’identifier avec exactitude, puis d’expliquer pas à pas ce que cela signifie :
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
Le préfixe de l’assistant est Permettez-moi de y réfléchir attentivement. Les tests avec des tokens simples séparés placent l’objet cible dans le tour de l’utilisateur sous le modèle correspondant, et les paramètres « normal » et « en réflexion » sont considérés comme des configurations distinctes. Une reproduction correspond à une apparition n’importe où dans la sortie, évaluée séparément selon l’ID exact et la chaîne décodée, et elle ne nécessite aucune explication correcte.
Contrôles supplémentaires et détails géométriques
La taille des ensembles de référence varie selon le modèle : 36 tokens pour Flash-Next, 442 pour OLMo-2-7B, 100 pour la plupart des modèles Qwen et 50 pour Qwen3.8-27B. Un diagnostic secondaire compte le nombre de tokens d’isolement les plus mauvais parmi les 100 qui atteignent également un score contextuel de 0,90 ou plus. Ce chiffre va de 36 sur Flash-Next à 78 sur Qwen3-32B. Comme ces comptages proviennent de différentes étapes de sélection, ils ne suffisent pas seuls à reconstituer chaque ensemble de référence, et le masque complet de la classe négative doit être transmis avec toute reproduction.
Au sein d’OLMo, un score de direction provenant d’une référence étiquetée de manière indépendante et un autre provenant d’une référence non étiquetée filtrée par le contexte atteignent tous deux un AUROC de 0,879, tandis que les 100 tokens d’isolement les plus mauvais, non filtrés, atteignent 0,642. La construction des références constitue donc une partie empirique de la méthode, et non un détail interchangeable.
L’analyse de prédiction OLMo avec seuil strict présente 28 étiquettes positives pour les demi-banques. Les caractéristiques statiques atteignent un AUROC de 0,911 contre 0,711 pour les caractéristiques de surface, ce qui représente une amélioration de +0,202, avec une fourchette allant de +0,096 à +0,320 ; toutefois, il s’agit d’une analyse de sensibilité sur une population différente. Les petites disparités entre les différences de bootstrap et les AUROCs arrondis soustraits ne peuvent être résolues à partir des résumés disponibles.
Les valeurs d’entropie pour les échantillons défaillants stockés proviennent des cellules les plus défavorables sélectionnées, et non d’un échantillon aléatoire de drapeaux ou d’erreurs ; elles décrivent la distribution en position cible. Aucun résumé correspondant n’existe pour OLMo.
Protocoles de génération et de tâche en détail
Lors de la génération en mode simple, Qwen3-1.7B présente 31 candidats et Qwen3-32B 14 après filtrage par semence ; de plus, l’essai avec les candidats OLMo utilise un encadrement basé uniquement sur les tokens, ce qui diffère de l’expérience d’identification guidée. Dans cette dernière, aucun token anormal vérifié n’est reproduit par identification, tandis que 17 contrôles et 11 candidats le sont, chacun sur 32, ce qui montre que le changement de prompt modifie ces comptes et relève donc de leur interprétation.
Les trajectoires ne montrent aucune augmentation d’entropie par rapport aux contrôles : l’écart d’entropie entre le groupe glitch-minus-control commence à +0,27 bits (étape 8) et se termine à -0,29 bits (étape 255). La valeur du cosinus pair entre les états finaux, centrée, tend vers zéro pour les deux groupes, ce qui indique l’absence d’un attracteur d’état final commun. Les graines présentant le pire niveau d’isolement sont sélectionnées en fonction de leur performance en matière d’isolement, à l’aide d’un filtre de chaîne imprimable, et ne correspondent pas nécessairement à la classe de référence géométrique. Lorsque des chaînes ont été enregistrées, l’échantillon est restreint : huit graines et huit contrôles, sur Qwen3-1,7B et lors de l’exécution d’OLMo.
Dans chaque modèle d’instruction simple, le champ de remplacement reçoit l’ID du token cible et non une chaîne interpolée et re-tokenisée. Les cinq modèles sont les suivants :
- Dénomination de la fonction : écrire une fonction Python dont le nom correspond exactement au token, qui retourne uniquement le code représentant la somme d’une liste de nombres.
- Citation du titre : citez le titre d’un document entre guillemets et n’écrivez rien de plus ; le titre sert de note sur le jeton et les questions connexes.
- Récupération de la liste : dans une liste numérotée comprenant lanterne, jeton, port et boussole, indiquez uniquement le deuxième élément.
- Correction orthographique : corrigez les erreurs dans une phrase concernant la soumission du formulaire du jeton avant vendredi, ou renvoyez-le tel quel.
- Résumé : résumez une réunion du comité au cours de laquelle le jeton a présenté un budget inchangé, en conservant les noms propres tels qu’ils sont écrits.
Certains modèles exigent une désignation exacte, tandis que la tâche d’orthographe autorise des corrections ; il est donc important de comparer tâche par tâche. Chaque case repose sur dix épisodes par classe.
Les affectations d’outils demandent :
- Configuration : une analyse, en deux ou trois phrases, expliquant pourquoi un service ignore une clé de configuration définie via une variable d’environnement, basée sur une recherche dans la documentation, la lecture d’une page et une vérification rapide.
- Contexte : une note de moins de 80 mots destinée aux nouveaux arrivants, comprenant une définition, deux faits et une page de référence.
- Adoption : une recommandation concernant l’adoption, l’essai ou l’évitement de ce jeton, accompagnée de deux raisons obtenues à l’aide d’outils.
- Signification : une explication destinée à un lecteur anglophone sur ce que signifie ce terme et d’où il provient, avec une phrase d’exemple.
- Version : une réponse oui/non, accompagnée d’une phrase justificative, indiquant si la dernière version a modifié la configuration par défaut.
Dans l’environnement de simulation, une requête contenant la chaîne cible renvoie trois résultats utiles, à savoir de la documentation, des notes de version pour la version 2.4.1 ainsi qu’un problème ouvert, tandis que d’autres requêtes affichent des pages génériques. Les pages s’ouvrent normalement et la vérification de la bibliothèque indique une version. Il s’agit de fixtures expérimentaux qui ne disent rien sur des bibliothèques réelles liées aux chaînes analysées. Une exécution est terminée si une réponse finale est obtenue en six tours, répétée si une même requête est soumise à nouveau, et considérée comme une fabrication de version si une version est indiquée sans support d’outil. Un tour peut contenir plusieurs requêtes.
Les cibles de type Glitch survivent à la première requête avec un taux de 0,02 dans les deux modes Qwen3.8-27B et de 0,00 dans les quatre autres configurations ; elles survivent également dans la réponse finale avec un taux de 0,02 pour Qwen3.8-27B en mode normal et de 0,00 ailleurs. Ces taux mesurent l’inclusion lexicale et ne évaluent pas la fiabilité des informations.
Lectures complémentaires
- Notes pratiques : Qu’est-ce que la génération augmentée par récupération de données (RAG) ? Une approche pratique — Guide pas à pas des Notes pratiques : Qu’est-ce que la génération augmentée par récupération de données (RAG) ? Une approche pratique : contrats, vérifications et emplacements de code prêts à l’emploi pour les équipes qui utilisent ce modèle.
- Le reranking dans RAG : Cross-encoders contre les juges basés sur des LLM et leur latence — Comment un reranker en deuxième étape améliore l’ordre des résultats dans RAG, comparaison entre cross-encoders et juges basés sur des LLM, coûts liés à la latence, modes de défaillance et méthodes d’évaluation.