Überlagerung in neuronalen Netzwerken: Spielmodelle, SAEs und Merkmalsfusion

Speichern mehr, als Platz vorhanden ist

Stellen Sie sich ein neuronales Netz vor, dessen versteckte Schicht nur zwei Dimensionen hat, sodass jede Eingabe durch zwei Zahlen dargestellt wird – einen Punkt (x, y) in einer flachen Ebene. Nehmen wir nun an, das Netz muss fünf verschiedene Merkmale verfolgen. Das klingt unmöglich. Zwei Dimensionen sollten doch zwei Merkmale aufnehmen können, jeweils eines pro Achse.

Die Überlagerung ist die Lösung. Ein Netz kann mehr Merkmale darstellen, als es Dimensionen hat, indem es sie entlang überschneidender Richtungen im selben Raum speichert. Anstatt „Dimension 1 enthält Merkmal A und Dimension 2 enthält Merkmal B“ erhält jedes Merkmal seine eigene Richtung, und mehrere Merkmale können gleichzeitig in derselben Paarung von Dimensionen vorhanden sein. Offene Fragen sind, warum das funktioniert und wie das Netz die überschneidenden Merkmale später voneinander unterscheidet.

Eine Schicht kann mehrere aktive Merkmale gleichzeitig speichern, indem sie ihre Richtungen zusammenaddiert.

In der obigen Gleichung ist die Aktivierung h die Ausgabe der Schicht für eine Eingabe, ein Vektor aus d Zahlen. Im vereinfachten Modell beträgt d 5, und in der kleinen Version von GPT-2 beträgt es in Schicht 8 768. Jede Eigenschaft i hat eine Stärke x_i von null oder mehr, und insgesamt gibt es n Eigenschaften – 20 im vereinfachten Modell und unbekannt bei GPT-2. Jede Eigenschaft verfügt außerdem über eine feste Richtungseinheit W_i im d-dimensionalen Raum, und alle Richtungen bilden gemeinsam eine d × n-Matrix W, deren i-te Spalte W_i ist.

Um es einfach auszudrücken: Jede aktive Eigenschaft verschiebt die Repräsentation entlang ihrer eigenen Richtung. Die Schicht speichert nur den endgültigen, summierten Vektor h, ohne einen separaten Speicherplatz für jede Eigenschaft.

Um eine Eigenschaft wieder abzurufen, muss man das Skalarprodukt von h mit der Richtung dieser Eigenschaft bilden.

Um von der ersten Zeile dieser Ableitung zur zweiten zu gelangen, wird die Tatsache genutzt, dass das Skalarprodukt sich über eine Summe verteilen lässt. Das Skalarprodukt von W_i mit h ergibt einen Term pro Merkmal, wobei der Term mit j = i herausgezogen wird, während die Summe über j ≠ i alle übrigen Terme repräsentiert. Der erste Teil ist ein Einheitsvektor, der mit sich selbst multipliziert wird, was 1 ergibt; daher ist dieser Term genau x_i, die wahre Stärke. Der zweite Teil fasst alle anderen Merkmale zusammen, wobei jedes Merkmal nach dem Grad seiner Übereinstimmung in Richtung des Merkmals i gewichtet wird.

Diese eine Gleichung bestimmt das gesamte Thema und lässt sich in zwei Fälle aufteilen:

• Wenn n ≤ d gilt, gibt es nicht mehr Eigenschaften als Dimensionen, sodass jede Richtung rechtwinklig zu jeder anderen stehen kann. Alle Skalarprodukte W_i · W_j sind null, die Störung verschwindet zur Hälfte und die Auslesung ist genau. Die Obergrenze liegt bei d Eigenschaften.
• Wenn n > d gilt, ist das unmöglich. In d Dimensionen können höchstens d Vektoren gegenseitig senkrecht zueinander stehen, daher muss ein Paar übereinanderliegen, und die Störung ist niemals null.

Superposition bedeutet, den zweiten Kompromiss absichtlich in Kauf zu nehmen: mehr als d Eigenschaften – mit entsprechender Störung als Preis.

Warum die Störung tolerierbar ist

Störungen spielen nur eine Rolle, wenn die anderen Eigenschaften aktiv sind. Wenn die Eigenschaft j deaktiviert ist, beträgt x_j null und ihr Beitrag verschwindet. Wenn jede Eigenschaft mit der Wahrscheinlichkeit p ausgelöst wird, beträgt die erwartete Anzahl störender Eigenschaften etwa (n − 1)p.

Bei n = 20 Eigenschaften und p = 0,001 sind das 19 × 0,001 = 0,019 erwartete Störfaktoren. Etwa 98 % der Eingaben weisen überhaupt keine andere aktive Eigenschaft auf, sodass die Auslesung genau ist. Die Störungen existieren tatsächlich, treten aber nur selten auf.

Hochdimensionale Räume helfen weiter. Nur d Richtungen können exakt orthogonal sein, doch es gibt Raum für viele nahezu orthogonale Richtungen. Zufällige Einheitsvektoren weisen eine erwartete quadrierte Ausrichtung von 1/d auf, sodass eine typische Ausrichtung etwa 1/√d beträgt.

In GPT-2s 768 Dimensionen entspricht das 0,036, was einem Winkel von etwa 87,9° entspricht. Zwei zufällig ausgewählte Richtungen sind bereits fast senkrecht. Große Räume verzeihen Dinge, die kleine Räume nicht können.

Reale Netzwerke fügen nach der Auswertung eine ReLU-Funktion hinzu, definiert als ReLU(z) = max(0, z): Positive Werte bleiben erhalten, während negative Werte auf Null gesetzt werden. Da die Stärken niemals negativ sind, zieht ein negativer Störterm die Messung unter Null, wodurch die ReLU-Funktion den Wert auf 0 begrenzt – was für ein fehlerhafter Merkmalwert zufällig korrekt ist. Somit ist negative Störung unbedenklich, nur positive Störungen schaden.

Das Spielmodell

Die Konfiguration folgt dem Paper „Toy Models of Superposition“ (Elhage et al., 2022): Es werden 20 Merkmale genommen, sie durch 5 Dimensionen gezwungen und anschließend wieder abgerufen.

Das Diagramm zeigt das gesamte Modell, das 20 Zahlen auf 5 zusammenfasst und anschließend versucht, alle 20 wiederherzustellen.

• x ist die Wahrheit, also die 20 erzeugten Stärkenwerte.
• W ist eine 5 × 20-Matrix, deren Spalte i die Richtung W_i darstellt.
• h ist die auf 5 Zahlen komprimierte Form.
• x̂ ist die Rekonstruktion.
• b enthält 20 zusätzliche Offsetwerte, die vor dem ReLU hinzugefügt werden.
• Durch das Training wird die mittlere quadratische Differenz zwischen der Wahrheit und ihrer Rekonstruktion minimiert.

Die Transponierte Wᵀ ist dieselbe Matrix, die auf die Seite gedreht wurde. Das Modell verfügt über keine separate Matrix zum Lesen, und genau das macht die Spalte i zur Richtung der Eigenschaft i und verleiht „der Geometrie der Eigenschaften“ eine reale Bedeutung. Die Anzahl beträgt 5 × 20 = 100 Zahlen in W plus 20 in b, also insgesamt 120 lernbare Parameter.

Niemand der Eigenschaften hat einen Namen. Eigenschaft 7 ist nicht „die Plural-Eigenschaft“; es handelt sich dabei lediglich um Spalte 7. Das ist ein Merkmal des Designs und kein Mangel. Da keine Sprache eingegeben wird, kann auch nichts, was herauskommt, eine Aussage über Sprache sein; daher müssen alle Muster darauf abzielen, spärliche Signale zu komprimieren – und genau deshalb sollte dasselbe Muster auch in einem echten Modell auftauchen.

Die Spärheit ist der Hauptparameter. Jede Stärke wird unabhängig gezogen – mit der Wahrscheinlichkeit S auf Null und andernfalls gleichmäßig auf dem Intervall von 0 bis 1. Zehn Durchläufe werden mit Schritten von S von 0 über 0,5 und 0,9 bis 0,999 durchgeführt, wobei 0,95, 0,99 und 0,997 dazwischenliegen und 0,3, 0,7 sowie 0,8 den unteren Bereich ausmachen.

Die Architektur besteht aus einer einzigen Matrix ohne Tiefe und ohne Attention-Mechanismus. W komprimiert die Eingabe und dekomprimiert die Ausgabe, wobei am Ende eine ReLU-Funktion steht. h als versteckte Schicht zu bezeichnen, übertreibt die Bedeutung, da es sich einfach um W mal x handelt. Alle zwanzig Durchläufe zusammen dauern auf einem CPU etwa eine Minute.

Lesen von WᵀW

WᵀW ist kein nachträglich hinzugefügter Diagnosewert. Es tritt von selbst auf, wenn h = Wx in die Auswertung einbezogen wird.

WᵀW ist eine 20 × 20 große Tabelle, die den Operator zeigt, den das Modell tatsächlich auf die Wahrheit anwendet, wobei W_i · W_j als Eintrag für die Position (i, j) dient. Ein einziger Blick zeigt die gesamte Lösung. Entlang der Diagonale kann man erkennen, wie stark jede Eigenschaft gespeichert wird – ein Wert nahe Null bedeutet, dass das Modell sie aufgegeben hat. Außerhalb der Diagonale wird sichtbar, welche Eigenschaften ineinander übergehen, und eine Tabelle voller Nullen bedeutet, dass es keinerlei Störungen gibt. Das Ideal ist die Einheitsmatrix; eine Überlagerung weist auf ein Modell hin, das das Ideal nicht erreichen kann.

Das gleiche Modell wird in vier verschiedenen Dichten dargestellt. Links gibt es fünf dunkle Zellen auf der Diagonale, fünfzehn aufgegebene Eigenschaften sowie keine Farben außerhalb der Diagonale, da es keine sichtbaren Störungen gibt. Rechts sind zwölf dunkle Zellen auf der Diagonale sowie einige Farben außerhalb derselben – diese Farben stellen den Preis für die sieben zusätzlichen Eigenschaften dar.

Die lineare Steuerung ist derselbe Versuch, bei dem nur ReLU entfernt wurde und ansonsten nichts geändert wurde.

Genau fünf Merkmale werden auf jedem Sparsitätsniveau gespeichert, selbst bei 0,999, und das galt in allen zehn Durchläufen. Das Entfernen der Nichtlinearität schwächt die Superposition daher nicht nur, sondern beseitigt sie vollständig. Die Behauptung wechselt von „ReLU hilft“ zu „ReLU ist eine Voraussetzung“, da ohne die automatische Beseitigung negativer Störungen sich die zusätzlichen Merkmale niemals auszahlen.

Das linke Panel zeigt den Phasenwechsel. Die ansteigende Kurve repräsentiert das ReLU-Modell, das von 5 auf 12 Merkmale wechselt, während die horizontale Linie die lineare Steuerung darstellt, die sich nicht bewegt. Das mittlere Panel zeigt den Preis, wobei die durchschnittliche Dimensionalität von 1,0 auf 0,38 fällt. Das rechte Panel zeigt das Erhaltungsgesetz, wobei die Gesamtzahl in allen zwanzig Durchläufen bei 5 liegt.

Was die Dimensionalität misst

Die mittleren und rechten Panels verwenden die Dimensionalität pro Merkmal, das heißt, wie viel einer Dimension ein bestimmtes Merkmal für sich selbst hat.

Der obere Teil dieser Formel gibt an, wie stark das Merkmal i gespeichert wird – quadriert – und der untere Teil zeigt seine gesamte quadrierte Überlappung mit allem, einschließlich sich selbst. Ein Merkmal, das allein auf seiner eigenen Achse liegt, hat keine Überlappung, sodass der untere Wert dem oberen entspricht und D_i = 1 ist. Wenn k Merkmale eine Achse teilen, enthält der untere Wert k gleiche Terme, wodurch D_i = 1/k ergibt.

Wenn man die Werte aller Merkmale addiert, liegt jeder der zwanzig Durchläufe zwischen 4,94 und 5,00 – sowohl für beide Modelle als auch bei jeder Sparsitätsstufe. Bei S = 0,9 werden neun Merkmale mit jeweils 0,5556 einer Dimension gespeichert, und 5 ÷ 9 = 0,5556. Superposition erhöht niemals die Kapazität; sie teilt eine feste Menge in kleinere Teile auf.

Beweist ein Mittelwert von 2/3 ein Dreieck?

Das mittlere Panel erreichte eine mittlere Dimension von 2/3, was wie ein Beweis dafür aussah, dass drei Merkmale ein Dreieck gebildet hatten. Das stimmte jedoch nicht, und dieser Fehler erwies sich als der nützlichste Teil des Projekts.

Ein Mittelwert von D von 2/3 ergibt sich aus drei Merkmalen, die 120° voneinander entfernt sind, aber auch aus anderen Anordnungen, denn D addiert lediglich die quadrierten Überschneidungen und sagt nichts über die Geometrie aus, die sie hervorruft. Die direkte Messung der Winkel klärte die Sache: Bei 30 Versuchen mit 3 Merkmalen in 2D ergab sich in 29 Fällen kein Dreieck. Das typische Ergebnis zeigte ein Merkmal für sich und zwei Merkmale, die sich entgegengesetzt entlang derselben Achse befanden, mit Dimensionen von 1,0, 0,5 und 0,5 sowie Winkeln von 90°, 90° und 180°. Der Mittelwert bleibt weiterhin 2/3, doch die Form ist völlig unterschiedlich. Ob diese Anordnung das eigentliche Optimum darstellt oder das Ergebnis der Gewichtung des Verlusts ist, bleibt unklar.

Welche Form nehmen die Merkmale an?

Um die Richtungen auf Papier darstellen zu können, wird das Modell auf zwei Dimensionen reduziert und die Anzahl der Merkmale variiert von 3 bis 6. Die Frage „Welche Form?“ kann dann durch Betrachten beantwortet werden. Sechs Sparsitäten × fünf Startwerte × vier Merkmalszahlen ergeben 120 Durchläufe.

Jede Merkmaldrichtung erscheint als Pfeil auf einem Kreis, wobei die Sparsität von Panel zu Panel zunimmt. Ein Pfeil mit Länge null kennzeichnet ein weggelassenes Merkmal. Bei höherer Sparsität erscheinen mehr Pfeile, die gleichmäßig verteilt sind, und genau diese Abstände dienen dem Modell dazu, die Störungsgleichung zu lösen: Die Richtungen sollen so weit wie möglich voneinander entfernt werden, damit jede gegenseitige Überlappung abnimmt.

Ist die Anordnung zuverlässig, wenn sich die Anzahl der Merkmale erhöht?

Ganz und gar nicht – der Rückgang ist stark. Bei der Überprüfung wurden pro Merkmalszahl 30 Startwerte verwendet, wobei die Einstellungen gleich blieben, aber die zufälligen Anfangsgewichte unterschiedlich waren. Dabei wurde gezählt, wie oft die Durchläufe auf dieselbe Form kamen.

Ein Digon bezeichnet zwei Merkmale, die eine Linie teilen und in entgegengesetzte Richtungen zeigen. Bei drei Merkmalen ist das Ergebnis fast vorherbestimmt, während es bei sechs Merkmalen in mehrere mögliche Anordnungen aufgeteilt ist. Je mehr Merkmale in den Raum gepackt werden, desto zahlreicher werden die nahezu äquivalenten Lösungen, wodurch die endgültige Geometrie stärker von der Initialisierung abhängt. Es gibt eine Grenze: Alle Ergebnisse sind zweidimensional, sodass nicht festgestellt werden kann, ob der Effekt von der Gesamtanzahl der Merkmale oder vom Verhältnis von Merkmalen zu Dimensionen abhängt. Um diese Unterschiede zu klären, wäre eine Dimensionenuntersuchung erforderlich, die jedoch nicht durchgeführt wurde.

Der Diagramm sortiert alle 120 Ergebnisse nach ihren Erkenntnissen. Die hohe Säule in jeder Gruppe ist der Gewinner, und sie wird kleiner, je höher die Anzahl der Merkmale ist.

Kann ein spärlicher Autoencoder die Merkmale wieder auslesen?

Bis jetzt handelte es sich um ein Modell, das Merkmale in begrenztem Raum schreibt. Das umgekehrte Problem ist das, um das sich die Arbeiten zur Interpretierbarkeit kümmern: Aus h allein heraus herausfinden, was ursprünglich eingegeben wurde.

In dem Diagramm ist f der breite, spärliche Code – hier 40 Zahlen, fast alle null. Die Dekodiermatrix W_dec hat die Atome als Spalten, also die Schätzungen des Autoencoders bezüglich der wahren Richtungen, und diese sind die einzigen relevanten Ausgabewerte.

TopK behält die k größten Werte bei und setzt alle anderen auf Null (Gao et al., 2024). Eine Alternative ist eine L1-Bestraffung der Verlustfunktion, die zu Sparsität führt. TopK eignet sich für diese Aufgabe, da es die Sparsität direkt korrigiert, während ein auf ein bestimmtes Problem abgestimmtes Bestraffungsgewicht nichts über ein anderes Problem aussagt. Der Vergleich zweier Modelle bei gleicher Sparsität ist mit L1 schwierig, während er mit TopK einfach ist. Ein Dekodierer-Bias wird vor der Kodierung subtrahiert und danach wieder hinzugefügt, sodass die Atome die Form der Daten abbilden und nicht für deren Verschiebung vom Ursprung verschwendet werden.

Der Autoencoder sieht niemals die wahren Richtungen. Die Bewertung erfolgt anschließend, indem jede wahre Richtung auf zwei Arten mit den Atomen verglichen wird, und der Unterschied zwischen den beiden Ergebnissen ist das Endergebnis.

Bewertung der Wiederherstellung

Die offensichtliche Bewertung fragt für jede wahre Eigenschaft, wie gut das dem Autoencoder gefundenen ähnlichste Ergebnis ist.

Jede echte Eigenschaft wählt selbst ihren besten Atom aus, und nichts hindert zwei Eigenschaften daran, denselben Atom zu wählen. Angenommen, der Autoencoder verschmilzt die Eigenschaften a und b zu einem einzigen Atom entlang ihrer Summe. Dieses Atom liegt genau in der Mitte zwischen ihnen; da die Eigenschaften 36° voneinander entfernt sind, befindet es sich 18° von jeder von ihnen entfernt, wodurch cos(18°) = 0,951 ergibt. Beide Eigenschaften erzielen einen Wert von etwa 0,95, sodass das Ergebnis trotz der Verschmelzung zu einem einzigen Atom hervorragend aussieht. Ein verschmolzenes Atom passt tatsächlich gut zu beiden Eigenschaften.

Die abgestimmte Wiederherstellung behebt dieses Problem. Jeder echten Eigenschaft wird auf eine Weise ein eindeutiger Atom zugewiesen, die die Gesamtsimilarity maximiert – mithilfe von scipy.optimize.linear_sum_assignment. Wenn zwei Eigenschaften verschmolzen werden, erhält nur eine das gemeinsame Atom, während die andere auf eine weniger geeignete Zuordnung verdrängt wird, wodurch die Verschmelzung sichtbar wird. Der Unterschied zwischen den beiden Werten misst die Verschmelzung, da jeder Wert für sich allein diese verbergen könnte.

Ein Fall, in dem eine Wiederherstellung grundsätzlich unmöglich ist

Eine algebraische Herleitung zeigt, dass das vorliegende Versagen nicht am Autoencoder liegt. Man nehme die Merkmale a und b, die immer zusammen mit identischer Stärke aktiviert werden, sodass für jede Eingabe x_a = x_b gilt. Sie tragen somit einen einzigen gemeinsamen Term zur Aktivierung bei.

Keine Methode kann dies rückgängig machen, denn die Aktivierungen enthalten nur die Summe der beiden Richtungen. Die einzelnen Werte von W_a und W_b sind niemals beobachtbar. Die Information ist nicht versteckt – sie fehlt einfach. Ein leistungsstärkerer Autoencoder, zusätzliche Rechenkapazität oder ein anderer Verlustfunktion führen nicht zur Wiederherstellung. Dies ist eine Nichtidentifizierbarkeit, eine Grenze der Daten und nicht der Technik.

Ändern Sie ein einzelnes Detail, sodass die beiden Merkmale weiterhin immer gemeinsam aktiviert werden, aber mit unabhängig voneinander variierenden Stärken – dann ändert sich das Bild. Durch Variation von x_a bei konstantem x_b wird W_a sichtbar, wodurch beide Richtungen wiederherstellbar werden. Der Satz „Korrelierte Merkmale zerstören sparsame Autoencoder“ ist daher zu pauschal, um wahr zu sein: gemeinsame Aktivierung ist harmlos, feste Stärken sind fatal – und nur das Letztere stellt ein echtes Problem dar.

Ergebnisse am Spielmodell

Das Gitter umfasste Sparsität, Aktivierungsrate sowie Stärkekopplung in 15 Bedingungen mit jeweils 3 Startwerten, was insgesamt 45 Durchläufe mit 20 echten Merkmalen, 5 Dimensionen und 40 Atomen ergab.

Zwölf der fünfzehn Bedingungen weisen genau 0 % Verschmelzung auf. Nur die drei Kombinationen aus vollständigem gemeinsamem Betrieb mit vollständig gesperrten Stärken brechen bei 20 %, 50 % und 40 % ein, während der halbe gemeinsame Betrieb mit voller Stärke-Kopplung völlig unverändert bleibt. Es handelt sich hier um einen Abbruch statt um einen Anstieg, und dieser tritt genau dort auf, wo ein Paar nicht mehr identifizierbar ist.

Die schlimmste Bedingung wird anhand von vier Metriken dargestellt. Der Autoencoder versagt hier nicht. Er erkennt bei den drei fehlerhaften Bedingungen jeweils die Summenrichtung des verschmolzenen Paares mit Werten von 0,878 sowie zweimal mit 1,000 wieder. Was er findet, ist eine echte Struktur – nur nicht die als Ground Truth gekennzeichnete Struktur, da die fehlende Unterscheidung in den Daten nicht vorhanden ist.

Auch die Reproduzierbarkeit erfasst das Problem nicht. Die Übereinstimmung zwischen verschiedenen Ausführungen bleibt bei 0,878 bis 0,925 – selbst dort, wo eine Verschmelzung stattgefunden hat –, weil die Ausführungen stets auf dieselbe Lösung kommen. Das zeigt eine stabile Optimierung, sagt aber nichts darüber aus, ob die Lösung korrekt ist.

Die verschmolzenen Atome liegen genau zwischen den beiden Eigenschaften, die sie aufgenommen haben, was ihre hohen Bewertungen gegenüber jeweils einer dieser Eigenschaften erklärt.

Überlebt es in einem echten Sprachmodell?

Ein berechtigter Einwand ist, dass es absurd eng ist, 20 Eigenschaften in 5 Dimensionen unterzubringen, weshalb sie natürlich verschmelzen. Bei 768 Dimensionen eines echten Sprachmodells könnte der Druck verschwinden, da zufällige Richtungen dort bereits aus Zufall 87,9° voneinander entfernt sind. Die Überprüfung dieses Ansatzes stößt jedoch auf Grenzen, da keine der beiden Einstellungen allein eine Antwort liefern kann.

Die obige Tabelle zeigt auf, was jede Einstellung bietet. Das Spielzeugmodell kennt die wahre Situation, ist aber nicht realistisch, während ein echtes Modell realistisch ist, dessen tatsächliche Eigenschaften jedoch unbekannt sind.

Synthetische Einbettung

Synthetische Einbettung verbindet beides miteinander. Man nimmt echte GPT-2-Aktivierungen, fügt einige im Voraus entworfene Eigenschaften hinzu, trainiert einen Autoencoder an dieser Mischung, ohne anzugeben, welche Eigenschaften hinzugefügt wurden, und bewertet ihn ausschließlich anhand dieser. Es funktioniert wie eine Spike-in-Kontrolle. Ein Metalldetektor kann nicht in einem Feld mit unbekanntem Inhalt getestet werden, doch das Vergraben einiger Münzen und die Überprüfung, ob er sie findet, funktioniert – der Rest des Feldes kann weiterhin unbekannt bleiben.

In der Konfiguration steht h_real für eine echte Aktivierung mit 768 Zahlen aus GPT-2 small in Schicht 8, während dieses echten Text liest. Die 24 Richtungen v_k sind im Voraus festgelegte zufällige Einheitsvektoren, und die Stärken a_k sind steuerbar, einschließlich der Bestimmung, welche Paare miteinander verbunden werden. Drei Bedingungen weisen dieselben Aktivierungen mit jeweils vier Paaren auf: Paare, die zu unabhängigen Zeitpunkten aktiviert werden (die Kontrollbedingung), Paare, die immer mit freien Stärken gemeinsam aktiviert werden, sowie Paare, die immer mit festgelegten Stärken gemeinsam aktiviert werden. Nur die letzte Gruppe sollte ausfallen.

GPT-2 small verarbeitete mehr als 2 Millionen Tokens, und der Reststrom nach Schicht 8, etwa auf halbem Weg durch das Netzwerk, wurde als 768-dimensionalen Vektoren gespeichert. Das ergab 2 Millionen Vektoren, etwa 2,9 GB, in etwa sieben Minuten auf der GPU eines Laptops. Die Position 0 wurde weggelassen, da sie als Aufmerksamkeitsansammlung mit einer Norm von fast 3.100 gegenüber etwa 128 an allen anderen Stellen, das etwa 24 Mal höher ist, die Statistiken überwältigen würde.

Die zufällige Basislinie

Jeder gemeldete Wert ist die beste Übereinstimmung aus einer großen Menge, und ein „Best-of-Many“-Ergebnis hängt teilweise vom Zufall ab. Deshalb muss es eine Basislinie dafür geben, welche sinnlosen Richtungen eine Bewertung erhalten würden. Für ein einzelnes Paar haben zwei zufällige Einheitsrichtungen in d Dimensionen eine erwartete quadrierte Ausrichtung von 1/d, sodass ein typischer Wert 1/√768 = 0,036 beträgt. Beim „Best-of-Many“ werden Tausende von Kandidaten verglichen, und nur der beste bleibt übrig.

Theorie und Messung weichen leicht voneinander ab. Bei N = 2.543 Atomen prognostiziert die Formel 0,143, während die Simulation 0,126 ergibt; bei N = 31.295 prognostiziert sie 0,164, während die Simulation 0,145 anzeigt. Die Formel liegt damit um etwa 15 Prozent zu hoch, weshalb hier für alle Vergleiche die simulierten Werte verwendet werden. Was die Formel jedoch richtig erfasst, ist die Form – eine Basislinie, die mit der Quadratwurzel des Logarithmus der Anzahl der Atome ansteigt. Ein zwölfmal größeres Wörterbuch verschiebt den Wert nur von 0,126 auf 0,145 und nicht weiter, sodass allein die Größe keinen hohen Wert ergibt.

Ergebnis

Bei der Ausführung wurden 1 Mio. Token, 3.072 Atome, TopK mit k = 32 sowie 3 Seeds verwendet, wobei nur die 24 berücksichtigten Merkmale bewertet wurden.

Der Fehler tritt genau wieder auf. Alle verschlüsselten Paare verschmolzen unter allen Seeds, wobei die entsprechenden Werte 0,416, 0,418 und 0,417 lagen. Der Wechsel auf 768 Dimensionen der echten Sprache ändert nichts – das Problem liegt also nicht am mangelnden Platz; was in den Daten fehlt, ist die Information, die die beiden Merkmale voneinander unterscheiden würde.

Es handelt sich dabei um eine Verschmelzung und nicht um einen Kollaps. Die kombinierte Richtung jedes Paares wurde mit einem Kosinuswert von 0,998 erfasst, was dem Wert des Kontrollfalls entspricht. Das bedeutet, der Autoencoder hat die tatsächliche Struktur fast perfekt erfasst und lediglich zwei Merkmale zu einem zusammengefügt. Eine naive Metrik hätte dies übersehen und einen Wert von 0,702 gegenüber dem ermittelten Wert von 0,417 angegeben – was zwar nicht alarmierend, aber auch nicht besonders gut ist, da beide Merkmale denselben zusammengeführten „Atom“ beanspruchen können.

Das linke Panel zeigt die Erholung pro Bedingung – die verschlossene Linie kollabiert, während die anderen stabil bleiben. In der Mitte werden alle verschlossenen Paare unter jedem „Seed“ dargestellt. Rechts wird gezeigt, wie der Wert auf 0,998 zurückkehrt, was dem Wert der Kontrollgruppe entspricht, sobald die kombinierte Richtung das Ziel ist.

Direkte Suche nach Verdächtigen für Fusionen

Eine separate Überprüfung untersuchte einen veröffentlichten OpenAI-Autoencoder für GPT-2 und suchte nach Merkmalspaaren, die niemals getrennt voneinander auftauchen. Dabei wurden die 1.024 häufigsten Merkmale in 2 Millionen Tokens betrachtet, insgesamt 476.408 Paare. Die obige Algebra liefert zwei Warnsignale: dass das Paar miteinander verbunden ist und dass die Stärken übereinstimmen.

• Nur 3 Paare sind nahezu untrennbar.
• In 17.403 Paaren weisen die Stärken eine starke Korrelation auf.
• Kein Paar erfüllt beide Bedingungen.
• Die 200 am stärksten verbundenen Paare weisen eine mittlere Stärkenkorrelation von lediglich 0,024 auf.

Der reale Text weist eine harmlose Art von Ko-Occurrence auf: Elemente, die gemeinsam auftauchen, deren Intensitäten sich jedoch unabhängig voneinander verändern.

Der Streudiagramm zeigt das Gefahrenquadrant – hoch auf beiden Achsen – völlig leer. Paare bilden sich entlang der Ränder, entweder gebunden, aber in ihrer Stärke unabhängig, oder in ihrer Stärke korreliert, aber nicht immer gemeinsam, und niemals beides zugleich.

Die Suche weist eine Blindstelle auf, und das ist der Grund für das Einfügeexperiment. Nachdem ein Autoencoder zwei Merkmale verschmolzen hat, bleibt nur noch ein Atom übrig, und es gibt kein Paar mehr zu erkennen; daher geht die Paarsuche einfach an einer bereits stattgefundenen Verschmelzung vorbei. Ein leeres Gefahrengebiet ist beruhigend bezüglich der Merkmale, die getrennt blieben, und schweigsam bezüglich jener, die es nicht taten.

Finden zwei Autoencoder die gleichen Merkmale?

Alle bisherigen Autoencoder zeigten manipulierte Aktivierungen, die die 24 eingefügten Merkmale enthielten. Deshalb wurde ein weiterer Autoencoder mit sauberen Aktivierungen trainiert – mit 1 Million Tokens, 3.072 Atomen, TopK k = 32 sowie zwei Startwerten, wobei jeder Trainingsvorgang vier Minuten dauerte. Er wurde mit dem veröffentlichten OpenAI-Wörterbuch verglichen, das 31.295 aktive Atome sowie etwa eine Milliarde Trainings-Token aufweist.

Ist das kleinere Modell ausreichend gut?

Die Rekonstruktion wird innerhalb des Modells bewertet und nicht im Aktivierungsraum, da der quadratische Fehler alle 768 Richtungen gleich wichtig behandelt, während GPT-2 dies nicht tut. Die Rekonstruktion wird in den Vorwärtslauf eingefügt, und der Test prüft, inwieweit dadurch die Vorhersage des nächsten Tokens beeinträchtigt wird.

Der Diagramm zeigt die Kreuzentropie, den Vorhersageverlust des Modells in nats, wobei das saubere Modell einen Wert von 3,302 aufweist. Beide Varianten erreichen denselben Ergebniswert, indem sie 93,76 % bzw. 93,97 % des Verlusts wiederherstellen, 78,9 % bzw. 79,0 % der Varianz erklären und 2.543 bzw. 2.597 von insgesamt 3.072 Atomen erhalten bleiben. Das veröffentlichte Wörterbuch wiederherstellt 97,1 %. Das kleinere Modell ist nach Branchenstandards untertrainiert, aber für Vergleiche ausreichend.

Dieses Diagramm zeigt den durchschnittlichen Cosinus-Wert für die beste Übereinstimmung, wobei nur noch lebende Atome berücksichtigt werden, wobei jeder Wert gegen seine eigene zufällige Basislinie bewertet wird.

Links wird jeder Wert gegen seine eigene zufällige Basislinie dargestellt, wobei sich die Basislinien aufgrund unterschiedlicher Stapelgrößen unterscheiden. Rechts erscheinen dieselben Zahlen als Winkel. Die Balken schrumpfen deutlich, was genau der Punkt ist, da der Cosinus großzügig ist, während Winkel ehrlich sind.

Die beiden Modelle stimmten in allen Gesundheitsmetriken überein, waren sich jedoch über die Definition einer Eigenschaft uneinig: 93,76 % gegen 93,97 % an wiederhergestellten Verlusten, 78,9 % gegen 79,0 % an erklärter Varianz sowie 2.543 gegen 2.597 lebende Atome. Ihre Wörterbücher lagen 38,6° auseinander, und keine Standardqualitätsprüfung erkannte Unterschiede.

Ist das größere Wörterbuch einfach eine Aufteilung unseres?

Das veröffentlichte Wörterbuch enthält 12 Mal mehr Atome. Die übliche Erklärung ist die Aufteilung von Eigenschaften, bei der zusätzliche Kapazität es ermöglicht, dass eine grobe Eigenschaft in feinere unterteilt wird – beispielsweise eine Zitatreigenschaft in Anfangs- und Schrägstriche, Zuordnungen zu Dialogen sowie Schrägstriche. Falls dem so ist, sollten zwei Dinge gelten: Die veröffentlichten Atome sollten sich um die Eigenschaften des kleinen Wörterbuchs gruppieren, und jede Eigenschaft sollte als positive Mischung aus benachbarten Atomen wiederaufgebaut werden können, da eine grobe Eigenschaft ihre Feinheiten ohne signierte Abschwächung kombinieren sollte.

In dem Test ist q eine Eigenschaftsrichtung aus dem kleinen Wörterbuch. Die erste Messgröße zählt die freigesetzten Atome innerhalb eines Winkels von 0,4 Kosinus zu q, was 66,4° entspricht und absichtlich großzügig ist. Die zweite Messgröße verwendet die 16 nächstgelegenen freigesetzten Atome als Spalten einer Matrix B, passt die beste Mischung an, wobei keine negativen Koeffizienten zulässig sind, und gibt den Anteil an q an, der erklärbar ist – wobei R² = 1 eine perfekte Rekonstruktion und 0 keinerlei Erklärung bedeutet.

Sowohl Messgrößen werden zweimal ausgeführt, einmal mit den tatsächlichen Eigenschaften und einmal mit 400 zufälligen Einheitsrichtungen. Die zweite Ausführung ist notwendig, weil Atome, die aufgrund ihrer Nähe zu einer Richtung ausgewählt werden, dieser Richtung unabhängig von ihrer tatsächlichen Eigenschaft etwas entsprechen, was zu einem Selektionsverzerrung führt. Nur der Abstand zwischen den Spalten hat Bedeutung.

Ergebnis

Jede Bedingung verwendete 400 Abfragedirektionen gegenüber den 31.295 freigegebenen Atomen. Das Clustering war entscheidend: Ein echtes Merkmal weist etwa sechs in der Nähe liegende freigegebene Atome auf, während bei den 400 zufälligen Richtungen keines innerhalb von 66° zu finden war. Die beiden Wörterbücher deuten offensichtlich auf dieselben Bereiche hin.

Die Abdeckung war nur teilweise. Die 16 nächstgelegenen freigegebenen Atome bilden 0,696 der Merkmale neu, während das beste einzelne Atom nur 0,495 ausmacht, was etwa 30 % unerklärt lässt. Dieser Rest könnte eine echte Feinabstimmung sein, die im freigegebenen Wörterbuch fehlt, oder Rauschen von untertrainierten Merkmalen. Um die beiden voneinander zu trennen, wäre eine Untersuchung mit einer Kapazität von 8×, 16× und 32× notwendig, was zwar konzipiert, aber nicht durchgeführt wurde.

Das linke Panel zählt die freigesetzten Atome in der Nähe jeder Abfrage – die realen Merkmale reichen von etwa eins bis fünfzehn, während die Spalte mit zufälligen Werten einen einzigen Wert bei null aufweist. Das rechte Panel vergleicht die Qualität der Neuberechnung mit dem besten einzelnen Atom mit der Qualität der Neuberechnung mit den sechzehn nächstgelegenen Atomen.

Hauptergebnisse

• ReLU ist erforderlich: Ohne es behält die lineare Steuerung unabhängig von der Spärheit genau 5 Merkmale bei.
• Superposition teilt die vorhandene Kapazität auf und erzeugt niemals mehr, da die Gesamtdimension in allen 20 Durchläufen bei 4,94 bis 5,00 bleibt.
• Paare, die nicht voneinander unterschieden werden können, verschmelzen selbst bei 768-dimensionalen GPT-2-Aktivierungen, da ihre individuellen Richtungen nicht in den Daten enthalten sind.
• Ein einfacher Wiederherstellungswert kann eine Verschmelzung verbergen, da ein verschmolzenes Atom zu beiden Merkmalen gut passt. Die Wiederherstellung bei Übereinstimmung liegt bei 0,702 im Vergleich zu 0,417 bei GPT-2.
• Reproduzierbarkeit sagt nichts über die Wahrheit aus: Die Algorithmen kamen immer wieder zur gleichen falschen Antwort, was lediglich zeigt, dass die Optimierung reproduzierbar ist.

Es stellte sich heraus, dass das Einbringen einer Eigenschaft in eine Dimension für ein neuronales Netz zu langweilig war.

Die Experimente stützen sich auf die Arbeit zum Spielmodell für die Einrichtung und die Dimensionenmessung, auf frühere Studien zur Monosemantik und Interpretierbarkeit von sparsen Autoencodern für das Autoencoder-Verfahren sowie auf die Skalierungsstudie von 2024 für die TopK-Formulierung. Insgesamt umfassten sie 185 Trainingsläufe mit Spielmodellen plus 2 Millionen Aktivierungen von GPT-2.

Verwandte Literatur

• Suche nach Video- und Audiodateien nach Bedeutung: Ein multimodaler RAG-Ansatz mit Gemini Embedding 2 — Wie ein einheitlicher Embedding-Raum für Texte, Audio, Video und PDFs Transkriptionsprozesse ersetzt hat, einschließlich Chunking, ChromaDB, Abfragerweiterung, Neubewertung und Schwellenwerten.
• Neubewertung in RAG: Cross-Encoders gegenüber LLM-Judges und deren Latenz — Wie ein zweistufiger Neubewertungsmechanismus die Reihenfolge der Ergebnisse in RAG korrigiert, wobei Cross-Encoders mit LLM-Judges verglichen werden, sowie Kosten, Fehlermöglichkeiten und Bewertungsmethoden erläutert werden.