Superposition dans les réseaux neuronaux : modèles simplifiés, SAE et fusion de caractéristiques

Stocker plus que ce qui est disponible

Imaginez un réseau neuronal dont la couche cachée n’a que deux dimensions, de sorte que chaque entrée est représentée par deux nombres, un point (x, y) dans un plan plat. Supposons maintenant que le réseau doive suivre cinq caractéristiques différentes. Cela semble impossible : deux dimensions ne devraient permettre que deux caractéristiques, une par axe.

La superposition est la solution. Un réseau peut représenter plus de caractéristiques que ses dimensions ne le permettent en les stockant le long de directions superposées dans le même espace. Au lieu que « la dimension 1 contienne la caractéristique A et la dimension 2 la caractéristique B », chaque caractéristique dispose de sa propre direction, et plusieurs caractéristiques peuvent coexister dans la même paire de dimensions. Les questions restantes portent sur le fait de savoir pourquoi cela fonctionne et comment le réseau distingue par la suite les caractéristiques superposées.

Une couche peut contenir plusieurs caractéristiques actives en même temps en additionnant leurs directions entre elles.

Dans l’équation ci-dessus, l’activation h correspond à la sortie de la couche pour une entrée, c’est-à-dire un vecteur de d nombres. Dans le modèle simplifié, d vaut 5, tandis que dans la version réduite de GPT-2 à la couche 8, il est égal à 768. Chaque caractéristique i possède une intensité x_i égale à zéro ou plus, et il y a au total n caractéristiques : 20 dans le modèle simplifié et une valeur inconnue pour GPT-2. Chaque caractéristique dispose également d’une direction unitaire fixe W_i dans l’espace à d dimensions, et toutes ces directions forment ensemble une matrice W de taille d × n, dont la colonne i est W_i.

En termes simples, chaque caractéristique active pousse la représentation dans sa propre direction. La couche ne stocke que le vecteur sommé final h, sans espace distinct pour chacune des caractéristiques.

Pour récupérer une caractéristique donnée, il suffit de calculer le produit scalaire de h avec la direction correspondante de cette caractéristique.

Pour passer de la première ligne de cette dérivation à la deuxième, on utilise le fait qu’un produit scalaire se distribue sur une somme. Le produit scalaire de W_i et de h donne un terme par caractéristique ; le terme où j = i est extrait, tandis que la somme sur j ≠ i représente tous les autres termes. La première partie correspond à un vecteur unitaire multiplié par lui-même, ce qui donne 1 ; donc ce terme est précisément x_i, c’est-à-dire la véritable force. La deuxième partie regroupe toutes les autres caractéristiques, chacune pondérée en fonction de la similarité de sa direction avec celle de la caractéristique i.

Cette seule équation gouverne tout le sujet, et elle se divise en deux cas :

• Lorsque n ≤ d, le nombre de caractéristiques n’est pas supérieur au nombre de dimensions, de sorte que chaque direction peut être perpendiculaire à toutes les autres. Tous les produits scalaires W_i · W_j sont nuls, l’interférence disparaît en partie et la lecture est exacte. Le plafond est de d caractéristiques.
• Lorsque n > d, c’est impossible. En d dimensions, au plus d vecteurs peuvent être mutuellement perpendiculaires, donc certaines paires doivent se chevaucher, et l’interférence n’est jamais nulle.

La superposition signifie accepter délibérément le deuxième compromis : plus de d caractéristiques, au prix d’une certaine interférence.

Pourquoi l’interférence est tolérable

L’interférence n’a d’importance que lorsque les autres caractéristiques sont activées. Si la caractéristique j est désactivée, x_j vaut zéro et sa contribution disparaît. Si chaque caractéristique s’active avec une probabilité p, le nombre attendu de caractéristiques interférentes est d’environ (n − 1)p.

Avec n = 20 caractéristiques et p = 0,001, on obtient 19 × 0,001 = 0,019 interférences attendues. Environ 98 % des entrées ne présentent aucune autre caractéristique active, ce qui rend la lecture exacte. L’interférence existe bel et bien, mais elle est rarement rencontrée.

Les espaces à haute dimension aident également. Seules d directions peuvent être strictement orthogonales, mais il existe de nombreuses possibilités pour des directions presque orthogonales. Les vecteurs unitaires aléatoires ont une alignement carré attendu de 1/d, donc un alignement typique est d’environ 1/√d.

Dans les 768 dimensions de GPT-2, cela correspond à 0,036, soit un angle d’environ 87,9°. Deux directions choisies au hasard sont déjà presque perpendiculaires par hasard. Les grands espaces pardonnent des choses que les petits ne peuvent pas.

Les réseaux réels ajoutent une fonction ReLU après la lecture, définie comme ReLU(z) = max(0, z) : les valeurs positives survivent tandis que les valeurs négatives deviennent zéro. Comme les intensités ne sont jamais négatives, un terme d’interférence négatif fait chuter la valeur en dessous de zéro, et la fonction ReLU la fixe alors à 0, ce qui est justement correct pour une caractéristique défectueuse. Ainsi, l’interférence négative est inoffensive, seuls les termes positifs causent des problèmes.

Le modèle simplifié

La configuration suit l’article sur les modèles simplifiés de superposition (Elhage et al., 2022) : on prend 20 caractéristiques, on les force à passer par 5 dimensions, puis on les récupère.

Le diagramme montre le modèle complet, qui comprime 20 nombres en 5 puis tente de les récupérer tous.

• x représente la vérité, à savoir les 20 caractéristiques générées.
• W est une matrice 5 × 20 dont la colonne i correspond à la direction W_i.
• h est la forme compressée à 5 nombres.
• x̂ est la reconstruction.
• b contient 20 offsets supplémentaires qui sont ajoutés avant l’opération ReLU.
• L’entraînement vise à minimiser l’écart au carré moyen entre la vérité et sa reconstruction.

La transposée Wᵀ est la même matrice retournée sur le côté. Le modèle ne dispose pas de matrice distincte pour la lecture, ce qui fait précisément de la colonne i la direction de la caractéristique i et confère un sens réel à « la géométrie des caractéristiques ». Le nombre total est de 5 × 20 = 100 nombres dans W plus 20 dans b, soit 120 paramètres trainables.

Aucune des caractéristiques n’a de nom. La caractéristique 7 n’est pas « la caractéristique plurielle » ; c’est simplement la colonne 7. Il s’agit d’une caractéristique de la conception et non d’une faille. Comme aucun langage n’est introduit, rien de ce qui en sort ne peut être une affirmation sur le langage ; par conséquent, tout motif doit concerner la compression de signaux spars, et c’est pourquoi le même motif devrait apparaître à l’intérieur d’un modèle réel.

La rareté est le paramètre principal. Chaque valeur de force est générée de manière indépendante : zéro avec une probabilité de S, et uniformément répartie entre 0 et 1 dans le cas contraire. Dix essais sont effectués en augmentant S de 0 à 0,5, puis de 0,9 à 0,999, avec des valeurs intermédiaires de 0,95, 0,99 et 0,997, ainsi que des valeurs dans la plage inférieure de 0,3, 0,7 et 0,8.

L’architecture consiste en une seule matrice, sans profondeur ni mécanisme d’attention. W effectue une compression à l’entrée et une décompression à la sortie, avec un ReLU à la fin. qualifier h de couche cachée est une exagération, car il s’agit simplement de W multiplié par x. Tous les vingt essais ensemble s’achèvent en environ une minute sur un CPU.

Lecture de WᵀW

WᵀW n’est pas un indicateur ajouté ultérieurement. Il apparaît automatiquement lorsque h = Wx est substitué dans le calcul de sortie.

WᵀW est une table de 20 × 20 qui montre l’opérateur que le modèle applique réellement à la vérité, avec W_i · W_j comme valeur à l’entrée (i, j). Une seule image suffit à représenter toute la solution. Le long de la diagonale, on voit à quel point chaque caractéristique est bien conservée, une valeur proche de zéro indiquant que le modèle l’a abandonnée. En dehors de la diagonale, on observe quelles caractéristiques s’influencent mutuellement, et une table de zéros signifie qu’il n’y a absolument aucune interférence. L’idéal est la matrice identité, tandis qu’une superposition correspond à un modèle qui ne parvient pas à atteindre cet idéal.

Le même modèle est présenté pour quatre niveaux de densité. À gauche, on compte cinq cellules diagonales sombres, ce qui indique que quinze caractéristiques ont été abandonnées, et il n’y a aucune couleur en dehors de la diagonale, car aucune interférence n’est visible. À droite, on trouve douze cellules diagonales sombres ainsi que des taches de couleur en dehors de la diagonale. Cette couleur représente le prix à payer pour les sept caractéristiques supplémentaires.

Le contrôle linéaire correspond à la même expérience, mais avec la fonction ReLU supprimée, sans aucun autre changement.

Exactement cinq caractéristiques sont stockées à chaque niveau de sparsity, y compris 0,999, et cela reste constant lors des dix essais. La suppression de la non-linéarité a donc pour effet non seulement d’affaiblir la superposition, mais de l’éliminer complètement. L’affirmation passe de « la ReLU aide » à « la ReLU est une condition préalable », car sans cette capacité à éliminer automatiquement les interférences négatives, les caractéristiques supplémentaires ne se rentabilisent jamais.

Le panneau de gauche montre le changement de phase. La courbe ascendante représente le modèle ReLU qui passe de 5 caractéristiques à 12, tandis que la ligne plate correspond au contrôle linéaire qui ne change jamais. Le panneau central indique le coût, avec une dimension moyenne qui diminue de 1,0 à 0,38. Le panneau de droite illustre la loi de conservation, le total restant toujours à 5 lors des vingt essais.

Qu’est-ce que mesure la dimensionnalité ?

Les panneaux central et droit utilisent la dimensionnalité par caractéristique, c’est-à-dire la part de dimension qu’une caractéristique possède pour elle-même.

La partie supérieure de cette formule indique l’intensité avec laquelle la caractéristique i est stockée, élevée au carré, tandis que la partie inférieure représente sa superposition carrée totale avec tout, y compris elle-même. Une caractéristique se trouvant seule sur son propre axe n’a rien qui la recoupe, donc la partie inférieure est égale à la partie supérieure et D_i = 1. Lorsque k caractéristiques partagent un axe, la partie inférieure comprend k termes égaux et D_i = 1/k.

En additionnant les valeurs pour toutes les caractéristiques, chacun des vingt essais donne un résultat compris entre 4,94 et 5,00, tant pour les deux modèles que pour toutes les valeurs de rareté. Lorsque S = 0,9, neuf caractéristiques sont stockées avec 0,5556 de dimension chacune, et 5 ÷ 9 = 0,5556. La superposition ne augmente jamais la capacité ; elle divise une quantité fixe en parties plus fines.

Une moyenne de 2/3 prouve-t-elle l’existence d’un triangle ?

Le panneau central atteint une dimension moyenne de 2/3, ce qui semblait prouver que trois caractéristiques formaient un triangle. Ce n’était pas le cas, et cette erreur s’est avérée être la partie la plus utile du projet.

Une moyenne D de 2/3 résulterait de trois caractéristiques séparées de 120°, mais elle est également obtenue avec d’autres configurations, car D ne prend en compte que la somme des superpositions carrées sans rien indiquer sur la géométrie qui les génère. La mesure directe des angles a résolu la question : sur 30 essais avec 3 caractéristiques en 2D, 29 n’ont pas formé de triangle. Le résultat typique présentait une caractéristique isolée et deux autres partageant un axe dans des directions opposées, avec des dimensions de 1,0, 0,5 et 0,5 ainsi que des angles de 90°, 90° et 180°. La moyenne reste la même, 2/3, mais la forme est complètement différente. Il reste à déterminer si cette configuration représente réellement l’optimum ou si elle est le résultat du mode de pondération de la perte.

Quelle forme prennent les caractéristiques ?

Pour que les directions puissent être dessinées sur papier, le modèle est réduit à deux dimensions et le nombre de caractéristiques varie de 3 à 6. La question « quelle forme ? » peut alors être répondue par simple observation. Six degrés de rareté × cinq valeurs de départ × quatre nombres de caractéristiques donnent 120 essais.

Chaque direction de caractéristique apparaît sous forme d’une flèche sur un cercle, la rareté augmentant d’un panneau à l’autre. Une flèche de longueur nulle indique une caractéristique supprimée. À une rareté plus élevée, davantage de flèches apparaissent et se répartissent uniformément ; c’est cet espacement qui permet au modèle de résoudre l’équation d’interférence : placer les directions aussi loin les unes des autres que possible afin que chaque chevauchement pair diminue.

L’agencement reste-il fiable à mesure que les caractéristiques se multiplient ?

Pas du tout, et la baisse est brutale. La vérification a utilisé 30 valeurs de départ par nombre de caractéristiques, avec la même configuration mais des poids de départ aléatoires différents, et a compté la fréquence à laquelle les essais aboutissaient à la même forme.

Un digon désigne deux caractéristiques qui partagent une ligne tout en pointant dans des directions opposées. Avec 3 caractéristiques, le résultat est presque déterminé, tandis qu’avec 6, les résultats se répartissent sur plusieurs configurations concurrentes. Ajouter davantage de caractéristiques dans cet espace multiplie les solutions quasi équivalentes, de sorte que la géométrie finale dépend fortement de l’initialisation. Il existe une limite : tous les résultats sont en 2D, il est donc impossible de déterminer si l’effet dépend du nombre total de caractéristiques ou du rapport entre ces dernières et les dimensions. Distinguer ces deux facteurs nécessiterait une analyse par dimension, ce qui n’a pas été fait.

Le graphique classe les 120 résultats selon ce qu’ils ont donné. La barre la plus haute de chaque groupe correspond au meilleur résultat, et elle diminue à mesure que le nombre de caractéristiques augmente.

Un autoencodeur dispersé peut-il restituer les caractéristiques ?

Jusqu’ici, tout reposait sur l’écriture de caractéristiques dans un espace restreint. Le problème inverse est celui qui intéresse les travaux d’interprétabilité : à partir uniquement de h, il s’agit de reconstituer ce qui a été entré.

Dans le diagramme, f représente le code épais et dispersé, composé ici de 40 nombres presque tous nuls. La matrice de décodage W_dec a pour colonnes les atomes, c’est-à-dire les estimations de l’autoencodeur concernant les directions réelles, et ce sont seules ces sorties qui comptent.

TopK conserve les k valeurs les plus importantes et met à zéro toutes les autres (Gao et al., 2024). Une alternative consiste en une pénalité L1 sur la perte, ce qui favorise l’émergence de la sparsity. TopK convient bien à cette tâche car il corrige directement la sparsity, tandis qu’un poids de pénalité ajusté pour un problème ne donne aucune indication pour un autre. Comparer deux modèles présentant une sparsity équivalente est difficile avec L1, mais simple avec TopK. Un biais de décodage est soustrait avant l’encodage puis restitué par la suite, de sorte que les atomes modélisent la forme des données sans être gaspillés par leur décalage par rapport à l’origine.

L’autoencodeur ne voit jamais les directions réelles. L’évaluation a lieu ensuite en comparant chaque direction réelle avec les atomes, de deux manières différentes, et la différence entre ces deux comparaisons constitue le résultat.

Évaluation de la récupération

Le score évident consiste à demander, pour chaque caractéristique réelle, à quel point ce que l’autoencodeur a trouvé de plus proche est bon.

Chaque caractéristique réelle choisit elle-même son meilleur atome, et rien n’empêche deux caractéristiques de choisir le même atome. Supposons que l’autoencodeur fusionne les caractéristiques a et b en un seul atome correspondant à leur somme. Cet atome se situe à mi-chemin entre elles ; avec des caractéristiques séparées de 36°, il est à 18° de chacune, ce qui donne cos(18°) = 0,951. Les deux caractéristiques obtiennent toutes deux une note d’environ 0,95, de sorte que le résultat semble excellent malgré le fait que deux caractéristiques soient devenues une seule. Un atome fusionné correspond effectivement bien aux deux.

La récupération par correspondance corrige ce problème. Chaque caractéristique réelle reçoit un atome distinct de manière à maximiser la similarité totale, grâce à scipy.optimize.linear_sum_assignment. Lorsque deux caractéristiques sont fusionnées, seule l’une reçoit l’atome commun et l’autre est contrainte d’accepter une correspondance moins bonne, ce qui permet de voir l’effet de la fusion. La différence entre les deux scores mesure ce niveau de fusion, car chacun des scores pris isolément peut le masquer.

Un cas où la récupération est impossible en principe

Une série d’équations algébriques montre que la défaillance observée n’est pas due à l’autoencodeur. Prenons les caractéristiques a et b qui s’activent toujours ensemble avec une intensité identique, de sorte que x_a = x_b pour toute entrée. Elles contribuent alors à l’activation par un seul terme commun.

Aucune méthode ne peut y remédier, car les activations ne contiennent que la somme des deux contributions. Les valeurs individuelles de W_a et W_b ne sont jamais observables. L’information n’est pas cachée ; elle fait simplement défaut. Un autoencodeur plus puissant, plus de ressources de calcul ou une autre fonction de perte ne permettront pas de la récupérer. Il s’agit d’une non-identifiabilité, une limite des données et non de la technique.

Modifiez un seul détail de manière à ce que les deux caractéristiques s’activent toujours ensemble, mais avec des intensités variables de façon indépendante ; la situation s’inverse alors. En variant x_a tout en maintenant x_b constant, on met en évidence W_a, ce qui permet de récupérer les deux directions. L’affirmation « Les caractéristiques corrélées détruisent les autoencodeurs spars » est donc trop simpliste pour être vraie : l’activation simultanée est inoffensive, tandis que des intensités figées sont fatales, et seul le second cas constitue un véritable problème.

Résultats sur le modèle de test

Le réseau a testé la sparsity, le taux d’activation simultanée et le couplage des intensités sur 15 conditions, chacune avec 3 valeurs aléatoires, ce qui donne 45 essais avec 20 caractéristiques réelles, 5 dimensions et 40 atomes.

Douze des quinze conditions présentent exactement 0 % de fusion. Seules les trois combinaisons de co-combustion totale avec des forces complètement verrouillées présentent des valeurs, à 20 %, 50 % et 40 %, tandis que la co-combustion partielle avec un couplage de force totale reste parfaitement propre. On observe ici un plongeon abrupt plutôt qu’une pente, et cela se produit précisément au point où un couple cesse d’être identifiable.

La pire condition est illustrée à l’aide de quatre indicateurs. L’autoencodeur ne échoue pas dans ce cas. Il parvient à reconstituer la direction de la somme de chaque couple fusionné avec des scores de 0,878, puis 1,000 à deux reprises, pour les trois conditions défaillantes. Ce qu’il a détecté est bien une structure réelle, mais pas celle étiquetée comme vérité absolue, car la distinction manquante n’est pas présente dans les données.

La reproductibilité ne permet pas non plus de le détecter. La concordance entre les différentes exécutions reste comprise entre 0,878 et 0,925, même en cas de fusion, car les exécutions aboutissent toujours à la même réponse. Cela montre une optimisation stable, mais ne dit rien sur le fait que cette réponse soit correcte.

Les atomes fusionnés se situent précisément entre les deux caractéristiques qu’ils ont absorbées, ce qui explique leurs scores élevés pour chacune d’elles.

Survit-il dans un véritable modèle de langage ?

Une objection valable est que l’adaptation de 20 caractéristiques à 5 dimensions est extrêmement restreinte, ce qui explique naturellement leur fusion. Avec 768 dimensions dans un véritable langage, cette pression pourrait disparaître, car les directions aléatoires y sont déjà séparées de 87,9° par hasard. Tester cela se heurte à un obstacle, car aucune des deux configurations ne peut y répondre seule.

Le tableau ci-dessus présente ce que chaque paramètre offre. Le modèle de simulation connaît la vérité absolue mais n’est pas réaliste, tandis qu’un modèle réel est réaliste mais que ses caractéristiques réelles restent inconnues.

Injection synthétique

L’injection synthétique comble cette lacune. On prend des activations réelles de GPT-2, on y insère un certain nombre de caractéristiques conçues à l’avance, on entraîne un autoencodeur sur ce mélange sans indiquer quelles caractéristiques ont été ajoutées, puis on évalue le modèle uniquement sur ces dernières. Cela fonctionne comme un contrôle par injection de signaux artificiels. Un détecteur de métaux ne peut pas être testé dans un champ dont le contenu est inconnu, mais en y enfouissant quelques pièces et en vérifiant qu’il les détecte, cela fonctionne, le reste du champ pouvant rester inconnu.

Dans cette configuration, h_real représente une activation réelle de 768 valeurs provenant de GPT-2 small au niveau 8 lors de la lecture de texte réel. Les 24 vecteurs directionnels v_k sont des vecteurs unitaires aléatoires définis à l’avance, et les intensités a_k sont contrôlées, y compris la détermination des paires qui doivent être liées entre elles. Trois conditions partagent les mêmes activations, chacune concernant quatre paires : des paires qui s’activent à des moments indépendants (le groupe de contrôle), des paires qui s’activent toujours ensemble avec des intensités libres, et des paires qui s’activent toujours ensemble avec des intensités fixées. Seule la dernière catégorie devrait présenter des anomalies.

GPT-2 small a traité plus de 2 millions de tokens, et le flux résiduel après la couche 8, vers le milieu du réseau, a été enregistré sous forme de vecteurs de 768 dimensions. Cela a donné 2 millions de vecteurs, soit environ 2,9 GB, en l’espace d’environ sept minutes sur une GPU de laptop. La position 0 a été éliminée car elle agit comme un puits d’attention avec une norme proche de 3 100, contre environ 128 partout ailleurs, soit environ 24 fois plus élevé, ce qui fausserait les statistiques.

La ligne de référence aléatoire

Chaque score indiqué correspond à la meilleure correspondance parmi de très nombreux résultats, et le meilleur parmi plusieurs gagne en partie par chance. Il faut donc disposer d’une ligne de référence pour déterminer quelles orientations sans signification pourraient obtenir un score. Pour une paire unique, deux directions unitaires aléatoires dans d dimensions ont une alignement carré attendu de 1/d ; par conséquent, une valeur typique est 1/√768 = 0,036. Pour le meilleur parmi plusieurs, des milliers de candidats sont comparés et seul le meilleur est conservé.

La théorie et la mesure diffèrent légèrement. Avec N = 2,543 atomes, la formule prédit 0,143 tandis que la simulation donne 0,126 ; avec N = 31,295, elle prédit 0,164 contre 0,145 pour la simulation. La formule est donc d’environ 15 % trop élevée, c’est pourquoi toutes les valeurs de référence utilisent ici les chiffres obtenus par simulation. Ce que la formule réussit à prédire, c’est la forme : une courbe en hausse avec la racine carrée du logarithme de la taille du groupe. Un dictionnaire douze fois plus grand fait monter la valeur de 0,126 à 0,145 et pas plus, ce qui montre que la taille seule ne suffit pas à obtenir un score élevé.

Résultat

Le test a utilisé 1 M de tokens, 3 072 atomes, TopK avec k = 32 et 3 graines, et n’a été évalué que sur les 24 caractéristiques prises en compte.

Le défaut se reproduit avec précision. Tous les paires verrouillées se sont fusionnées pour toutes les séquences, avec des valeurs de récupération respectives de 0,416, 0,418 et 0,417. Le passage à 768 dimensions de langage réel ne change rien, donc le problème ne vient pas d’un manque d’espace ; ce qui manque dans les données, c’est l’information permettant de distinguer les deux caractéristiques.

Il s’agit de fusion et non de collassage. La direction combinée de chaque paire a été récupérée avec un cosinus de 0,998, égal à celui du groupe témoin, ce qui signifie que l’autoencodeur a capturé la structure réelle presque parfaitement et a simplement fusionné les deux caractéristiques en une seule. Une métrique naïve l’aurait manqué, indiquant 0,702 contre 0,417 pour la valeur correspondante, ce qui semble médiocre mais pas alarmant, car les deux caractéristiques peuvent prétendre à l’atome fusionné identique.

Le panneau de gauche montre la récupération par condition : la barre verrouillée se réduit tandis que les autres restent stables. Le panneau central illustre chaque paire verrouillée se fusionnant pour chaque séquence de départ. Le panneau de droite montre que le score revient à 0,998, au même niveau que celui du groupe témoin, une fois que la direction combinée correspond à l’objectif.

Recherche directe de suspects de fusion

Un audit distinct a examiné un autoencodeur d’OpenAI publié pour GPT-2, à la recherche de paires de caractéristiques qui ne sont jamais observées séparément. Il a analysé les 1 024 caractéristiques les plus fréquentes sur 2 millions de tokens, soit au total 476 408 paires. L’algèbre présentée ci-dessus identifie deux signes de danger : le fait que la paire soit liée et que leurs intensités soient similaires.

• Seules 3 paires sont presque indissociables.
• Les intensités sont fortement corrélées dans 17 403 paires.
• Aucune paire ne remplit les deux conditions.
• Les 200 paires les plus fortement liées présentent une corrélation de intensité médiane de seulement 0,024.

Le texte réel présente un type de co-occurrence bénin : des éléments qui apparaissent ensemble mais dont les intensités varient de manière indépendante.

Le diagramme en nuage de points montre le quadrant de danger, situé en hauteur sur les deux axes, complètement vide. Les paires se regroupent le long des bords : soit elles sont liées mais indépendantes en termes d’intensité, soit elles sont corrélées en intensité mais pas toujours présentes ensemble, et jamais les deux à la fois.

La recherche présente un point aveugle, et c’est la raison d’existence de l’expérience d’injection. Après que l’autoencodeur a fusionné deux caractéristiques, il ne reste qu’un seul atome et aucune paire à détecter ; ainsi, la recherche de paires passe à côté d’une fusion qui a déjà eu lieu. Une zone de danger vide est rassurante pour les caractéristiques qui sont restées séparées, mais silencieuse quant à celles qui ne l’ont pas été.

Deux autoencodeurs trouvent-ils les mêmes caractéristiques ?

Tous les autoencodeurs examinés jusqu’à présent présentaient des activations modifiées contenant les 24 caractéristiques insérées artificiellement. Un autre a donc été entraîné à partir d’activations propres, avec 1 million de tokens, 3 072 atomes, TopK k = 32 et deux valeurs de seeds, pour une durée de quatre minutes chacun. Il a été comparé au dictionnaire publié par OpenAI, qui compte 31 295 atomes actifs et environ un milliard de tokens d’entraînement de moins.

Le modèle de petite taille est-il suffisamment fiable ?

La reconstruction est évaluée à l’intérieur du modèle plutôt qu dans l’espace des activations, car l’erreur au carré considère toutes les 768 directions comme également importantes, ce qui n’est pas le cas pour GPT-2. La reconstruction est intégrée dans le flux de calcul forward, et les tests permettent de déterminer dans quelle mesure la prédiction du token suivant se dégrade.

Le graphique représente l’entropie croisée, c’est-à-dire la perte de prédiction du modèle en nats ; le modèle propre affiche une valeur de 3,302. Les deux versions avec semences différentes aboutissent au même résultat, récupérant respectivement 93,76 % et 93,97 % de la perte, expliquant 78,9 % et 79,0 % de la variance, et laissant en vie 2 543 et 2 597 atomes sur 3 072. Le dictionnaire libéré permet de récupérer 97,1 % des informations. Le dictionnaire plus petit est sous-entraîné selon les normes du domaine, mais suffisant pour une comparaison.

Ce graphique montre la valeur moyenne du cosinus de meilleure correspondance, en ne comptant que les atomes encore actifs, chaque valeur étant évaluée par rapport à sa propre ligne de référence aléatoire.

À gauche, chaque valeur est affichée par rapport à sa propre ligne de référence aléatoire, et ces lignes de référence diffèrent en raison des tailles différentes des ensembles d’atomes. À droite, les mêmes valeurs apparaissent sous forme d’angles. Les barres diminuent considérablement, ce qui est l’objectif, car le cosinus est plus indulgent tandis que l’angle est plus précis.

Les deux modèles correspondaient sur tous les indicateurs de santé, mais étaient en désaccord quant à la définition d’une caractéristique : 93,76 % contre 93,97 % de perte récupérée, 78,9 % contre 79,0 % de variance expliquée, et 2 543 contre 2 597 atomes actifs. Leurs dictionnaires étaient séparés de 38,6°, et aucun contrôle de qualité standard n’a détecté de différence.

Le dictionnaire plus grand ne fait-il que diviser le nôtre ?

Le dictionnaire publié contient 12 fois plus d’atomes. L’explication habituelle est la séparation des caractéristiques, où une capacité supplémentaire permet à une caractéristique grossière de se diviser en caractéristiques plus fines, comme par exemple une caractéristique de citation se transformant en guillemets d’ouverture, en attribution de dialogue ou en guillemets d’apostrophe. Dans ce cas, deux choses devraient être vraies : les atomes publiés devraient se regrouper autour des caractéristiques du dictionnaire plus petit, et chaque caractéristique devrait pouvoir être reconstruite comme un mélange positif d’atomes voisins, car une caractéristique grossière devrait combiner ses versions affinées sans annulation avec signe.

Dans le test, q représente une direction de caractéristique issue du petit dictionnaire. La première mesure compte les atomes libérés se trouvant à un angle de cosinus de 0,4 par rapport à cette direction, soit 66,4°, ce qui est délibérément un seuil élevé. La deuxième mesure prend les 16 atomes libérés les plus proches comme colonnes d’une matrice B, ajuste la meilleure combinaison sans permettre de coefficients négatifs, et indique la fraction de q expliquée, où R² = 1 correspond à une reconstruction parfaite et 0 à aucune explication.

Ces deux mesures sont effectuées deux fois, une fois sur des caractéristiques réelles et une fois sur 400 directions aléatoires unitaires. Cette deuxième exécution est nécessaire car les atomes sélectionnés en fonction de leur proximité par rapport à une direction s’y adapteront plus ou moins indépendamment de sa nature, ce qui constitue un biais de sélection. Seul l’écart entre les colonnes a une signification.

Résultat

Chaque condition a utilisé 400 directions de recherche par rapport aux 31 295 atomes libérés en temps réel. Le regroupement s’est avéré décisif : une caractéristique réelle présente environ six atomes libérés à proximité, tandis que les 400 directions aléatoires n’en présentaient aucun à moins de 66°. Les deux dictionnaires indiquent manifestement les mêmes régions.

La couverture n’était que partielle. Les 16 atomes libérés les plus proches permettent de reconstituer 0,696 des caractéristiques, contre 0,495 pour le meilleur atome isolé, ce qui laisse environ 30 % inexplicables. Ce reste pourrait correspondre à un affinement réel manquant dans le dictionnaire des atomes libérés, ou à du bruit provenant de caractéristiques insuffisamment entraînées. Séparer les deux nécessiterait une analyse avec des capacités de 8×, 16× et 32×, ce qui a été conçu mais non mis en œuvre.

Le panneau de gauche compte les atomes libérés près de chaque requête : les caractéristiques réelles vont d’environ un à quinze, tandis que la colonne aléatoire présente un seul pic à zéro. Le panneau de droite compare la qualité de reconstruction obtenue avec le meilleur atome unique à celle obtenue avec les seize atomes les plus proches.

Résultats principaux

• Le ReLU est indispensable : lorsqu’il est supprimé, le contrôle linéaire conserve exactement 5 caractéristiques, quel que soit le degré de sparsité.
• La superposition divise la capacité existante sans en créer de nouvelle, la dimensionnalité totale restant entre 4,94 et 5,00 lors des 20 essais.
• Les paires indiscernables fusionnent même dans les activations GPT-2 à 768 dimensions, car leurs directions individuelles ne figurent pas dans les données.
• Un score de récupération simple peut masquer des fusions, car un atome fusionné correspond bien aux deux caractéristiques. Le score de récupération correspondant est de 0,702 contre 0,417 dans GPT-2.
• La reproductibilité ne dit rien sur la vérité : les essais ont régulièrement abouti à la même réponse erronée, ce qui montre simplement que l’optimisation est reproductible.

Il s’avère que placer une seule caractéristique dans une seule dimension était trop ennuyeux pour un réseau neuronal.

Ces expériences s’appuient sur l’article sur les modèles de jeu pour la configuration et la mesure de la dimensionnalité, sur des études antérieures sur la monosémie et l’interprétabilité des autoencodeurs sparses pour la méthode d’autoencodeur, ainsi que sur l’étude de scalabilité de 2024 pour la formulation TopK. Elles ont donné lieu à 185 exécutions d’entraînement sur des modèles de jeu plus 2 millions d’activations de GPT-2.