Startseite / Artikel / Wenn die Quantisierungsphasen die Verwirrung erhöhen und heimlich die Sicherheit des Modells gefährden

LLM Quantization AI Safety Model Evaluation Inference

Wenn die Quantisierungsphasen die Verwirrung erhöhen und heimlich die Sicherheit des Modells gefährden

Die Quantisierung des Low-Bit KV-Caches kann die Ablehnungsrate eines Modells beseitigen, während sich die Perplexität kaum verändert; hier ist der Grund, warum die Standardmetriken dies übersehen, und was Sie zu Ihren Gate-Funktionen hinzufügen sollten.

1625 Wörter

Eine solche Messung sollte jeden beunruhigen, der komprimierte Modelle versendet. In einer Bewertung von elf instruktionstauglichen Modellen mit 3,8 Milliarden bis 72 Milliarden Parametern, die an fünf Benchmarks sowie 1.894 Anfragen getestet wurden, führte die Komprimierung des KV-Caches auf ein niedriges Bitbreitenniveau dazu, dass Mistral-7B 15,2 Prozent seiner Ablehnungen verlor. Die Veränderung der Perplexität durch diese Komprimierung lag bei einem Faktor von 1,03. Eine Veränderung von drei Prozent würde von den meisten Teams als Messfehler abgetan und ohne weiteres in Betracht genommen. Die üblichen Kriterien für eine quantisierte Version – stabile Perplexität, stabile Aufgabengenauigkeit sowie reduzierte Latenz – hätten diese Variante genehmigt. Im Folgenden finden Sie die Studie, die den Effekt aufzeichnete, das Mechanismus, der ihn erklärt, sowie eine kurze Liste von Änderungen am Quantisierungsmechanismus, damit keine Funktionen verloren gehen, während alle Anzeigen weiterhin eindeutig grün bleiben.

Was die Forschung dokumentiert hat

Das Werk ist ein Preprint mit dem Titel „Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation“ (arXiv:2606.09864). Seine These ist unangenehm und direkt: Aggressive Kompression des KV-Caches kann heimlich die Sicherheitsausrichtung eines Modells zerstören; keine einzige Bitbreite ist für alle Modelle sicher; und der Zusammenbruch tritt als plötzlicher, modellbezogener Wandel auf, den die von den Metrik-Teams üblicherweise genutzten Methoden einfach nicht erkennen können. Da es noch keine Peer-Review durchlaufen hat, ist es sinnvoll, es eher als überzeugenden Fall denn als abgeschlossenes Ergebnis zu betrachten – ein Punkt, der am Ende noch einmal erörtert werden sollte.

Das Wort, das den Inhalt dieser These trägt, ist unsichtbar. Nicht nur schwach oder schwer zu erkennen, sondern auch von den üblicherweise verwendeten Instrumenten nicht nachweisbar – schließlich messen diese Instrumente eine andere Größe als die, die fehlerhaft ist. Die eindrucksvollste Demonstration nutzt spekulative Dekodierung, genau das Verfahren, auf das sich die Beschleunigungsteams stützen, um Inferenzen direkt am Gerät machbar zu machen. Mit einem 4-Bit-Modell als Überprüfer sank die Ablehnungsrate von 63,2 % auf 0,0 %, während die Zulassungsrate bei 23,5 % und die Durchsatzrate bei 17,0 Tokens pro Sekunde blieb – beides liegt deutlich im normalen Betriebsbereich. Eine bestimmte Leistungskennzahl fiel auf null, während alle anderen gemessenen Werte normal blieben.

Der Mechanismus – der Teil, den man beibehalten sollte

Auch nur die beängstigenden Zahlen reichen schon aus, um eine Schlagzeile zu bilden; die dahinterliegende Logik ist es, um einen Prozess aufzubauen, und diese Logik ist geometrischer Natur. Die für sicheres Verhalten verantwortlichen Eigenschaften befinden sich in einem schmalen Bereich des Aktivierungsraums, und die Studie schätzt, dass dieser Bereich 100 bis 1.000 Mal empfindlicher auf Kompressionsrauschen reagiert als der größere Raum, den die Perplexität zusammenfasst.

Diese Schätzung ist von Bedeutung, denn sie liegt im Kern der Sache. Die Perplexität ist eine einzige Zahl, die aus allen Dimensionen gebildet wird, die das Modell verwendet. Wenn eine geringe Menge an Fehler auf tausend dieser Dimensionen verteilt ist, bemerkt die gebildete Zahl dies. Wenn drei Dimensionen vollständig beseitigt werden, während die verbleibenden tausend unverändert bleiben, ändert sich die Zahl kaum, da eine von der unberührten Mehrheit dominierte Zusammenfassung weiterhin stabil bleibt.

Der nächste Schritt erklärt, warum ein Modell versagt und ein anderes nicht – es kommt letztendlich auf die Struktur an. Die Quantisierung einer Gruppe von Werten erzwingt eine Wahl eines Skalenniveaus, das groß genug ist, um den größten vorhandenen Wert aufzunehmen. Aktivierungen enthalten Ausreißer, einzelne Kanäle deren Größe um einen Größenordnungsklassenerhöhung über der ihrer Nachbarn liegt, und genau diese Ausreißer bestimmen den Wertebereich. Wenn die Ebenen so angepasst werden, um diese Ausreißer zu erreichen, kollabiert jeder Wert, der weit unter dem ersten Niveau liegt, auf Null. Somit hängt das Schicksal eines bestimmten Modells von einer einzigen Frage ab: Sind die Kanäle, die das von Ihnen benötigte Verhalten kodieren, in der Nähe dieser Ausreißer gruppiert, oder befinden sie sich in dem Bereich mit geringer Amplitude, den die Kompression auslöscht?

Dies beruht auf früheren Ergebnissen, die zeigen, dass die Neigung eines Modells zum Ablehnen nur von einer Handvoll Richtungen im Aktivierungsräumlichen bestimmt wird (Arditi und Kollegen 2024 sowie Pan und Kollegen 2025), und dass die Ausrichtung bereits in den ersten Ausgabetoken erfolgt (Qi und Kollegen 2025). Wie sich der Kompressionsrausch auf diese Richtungen auswirkt, hängt vollständig davon ab, ob die beteiligten Kanäle mit den dominierenden Ausreißern übereinstimmen, für die der Quantisator Platz schaffen muss. Genau diese strukturelle Übereinstimmung – und nicht die Anzahl der Parameter oder die Trainingsmethode – bestimmt das Überleben des Modells.

Warum es kein universelles Standardmaß für die Bitbreite geben kann

Der Kontrast, der die Argumentation entscheidet, ist auffällig. Qwen-2.5-7B funktioniert bei 6 Bit nicht mehr, während Gemma-2-9B bei 3 Bit weiterhin intakt ist. Beide sind Anweisungsoptimierte Modelle im Bereich von 7 bis 9 Milliarden Parametern, die mit weitgehend ähnlichen Verarbeitungswegen erstellt wurden – doch bereits ein Unterschied von vier Bit trennt zwei Modelle, die man eigentlich austauschbar annehmen würde. Eine Richtlinie, die besagt „Unser Standard ist ein 4-Bit-KV-Cache“, liefert daher keine nützlichen Informationen: Sie ist für eines der Modelle völlig unbedenklich, für das andere jedoch katastrophal – und kein mit dem Modell geliefertes Artefakt gibt Aufschluss darüber, in welchem Fall man sich befindet.

Um dies in etwas zu verwandeln, das vor dem Einsatz getestet werden kann, bietet die Studie einen Diagnosewerkzeug namens Per-Channel Reduction an, das ein Modell im Voraus in eine von drei unterschiedlichen Fehlerkategorien einteilt. Das ist sein praktischer Nutzen, und er ist kostengünstig genug, um in die üblichen Vorbereitungsarbeiten vor dem Einsatz integriert zu werden.

Eine Verallgemeinerung, die die Studie nicht vornimmt

Alles oben Genannte bezieht sich auf Sicherheitsablehnungen, und Präzision ist entscheidend: Ablehnungen sind das einzige Verhalten, das in der Studie tatsächlich gemessen wurde. Dennoch sollte man nochmals betrachten, was der Mechanismus erfordert. Er benötigt ein Verhalten, das sich in einem kleinen Unterraum konzentriert, in Kombination mit einer Metrik, die über einen größeren Raum gewichtet wird. Ablehnungen erfüllen beide Kriterien. Es gibt keinen offensichtlichen Grund, warum sie das einzige Verhalten sind, das dies tut, und die Erweiterung dieser Erkenntnis so weit ist eher eine Extrapolation als ein dokumentiertes Ergebnis.

Nehmen wir Document AI – dort weisen mehrere Verhaltensweisen genau dieses Profil auf. Die Einhaltung von Schemata ist eines davon: Ob die Ausgabe JSON ist, das der vorgesehenen Struktur entspricht, oder ob stattdessen immer wieder dieselbe Struktur zurückgegeben wird. Die Entscheidung zwischen leer und erfunden ist ein weiteres Beispiel: Ob ein vom Modell nicht lesbares Feld als leer gemeldet wird oder mit etwas Plausiblem ausgefüllt wird. Bei der Bewertung der Extraktion werden Auslassungen und Fälschungen absichtlich voneinander getrennt, da ihre Folgen stark unterschiedlich sind. Eine erfundene Menge in einem eingehenden Dokument erzeugt einen Phantom-Einzelbestandseintrag, während ein weggelassenes Feld lediglich ein Support-Ticket auslöst – nur das Erstere bleibt verborgen. Gut formatierte Toolaufrufe sind ein drittes Kriterium: Ob das Modell einen gültigen Aufruf durchführt oder lediglich Ausgabe liefert, die wie Text aussieht.

Jedes davon ist ein Verhalten und keine Wahrscheinlichkeitsverteilung über Token. Ein Modell kann eine durchaus angemessene Perplexität für den Dokumenttext aufweisen, während es heimlich einen Wert erfindet, für dessen Auswertung es keine Grundlage hatte, und Quantisierungsverfahren, die auf einer fundierten Verarbeitung auf Feldebene abzielen, existieren praktisch nicht. Ob diese Verhaltensweisen auf dieselbe Weise auftreten, ist eine offene Frage, die anscheinend noch nicht veröffentlicht wurde – genau das ist der Grund, warum man sie messen statt nur raten sollte.

Drei kostengünstige Änderungen, die jetzt vorgenommen werden können

Niemand dieser Kosten ist besonders hoch. Fügen Sie zu Ihrer Quantisierungslogik eine Verhaltensprüfung hinzu, die kein Benchmark-Ergebnis ist, sondern eine Rohzählung eines bestimmten Verhaltens bei einer festgelegten Prompt-Gruppe – erfasst mit voller Präzision sowie anschließend bei der gewünschten Bitbreite – und vergleichen Sie diese Werte direkt miteinander; wählen Sie das Verhalten, wofür Ihr Produkt tatsächlich jemanden wecken würde. Hören Sie auf, die Bitbreite als Einstellung zu betrachten, die das gesamte Team teilt, denn sie gehört zum jeweiligen Modell und möglicherweise auch zur jeweiligen Modellversion, weshalb die Überprüfung bei jedem Update erneut durchgeführt werden muss. Schützen Sie sich außerdem vor kumulativen Auswirkungen – wie im Fall der spekulativen Dekodierung gezeigt: Zwei Optimierungen schienen für sich genommen in Ordnung zu sein, doch gemeinsam führten sie zum Verlust einer Funktion; daher müssen Sie den gesamten Prozess der Quantisierung, Pruning und spekulativen Dekodierung validieren, statt nur seine einzelnen Bestandteile.

Bewerten Sie die Einschränkungen, bevor Sie die Zahlen angeben

Ehrlich zu den Beweismitteln zu sein, ist ein Bestandteil ihrer richtigen Nutzung. Es handelt sich um einen Vorabdruck von drei Forschern, der noch unter Überprüfung steht, etwa 61 Seiten lang mit neun Abbildungen. Das ist umfangreich, doch da die Fachbegutachtung noch nicht abgeschlossen ist, sollte er eher als überzeugendes Argument denn als endgültiges Urteil angesehen werden. Die angegebenen Zahlen erscheinen in leicht abgewandelter Form sowohl im arXiv-Posting als auch in der überprüften Version – letztere trägt einen anderen Titel und enthält außerdem ein Ergebnis zu FP8-Formaten in vLLM. Bevor man eine konkrete Zahl zitiert, sollte man sich den aktuellen PDF ansehen und ihn direkt überprüfen, anstatt sich auf eine indirekte Zusammenfassung zu verlassen. Die Erweiterung auf Extraktionsverhalten ist ebenfalls eine Schlussfolgerung aus dem Mechanismus und nicht etwas, was im Paper behauptet wird; die Logik stützt dies, doch Logik ist kein Beweis.

Was man sicher mitnehmen kann, ist enger gefasst und robuster als die in den Schlagzeilen angegebenen Zahlen: Wenn man nur Wahrscheinlichkeiten misst, bleibt man blind für den Moment, in dem ein Verhalten verschwindet. Das galt bereits vor Erscheinen dieser Arbeit. Der Beitrag der Studie besteht darin, einer Zahl darauf zuzuweisen.

Referenzen

"Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation" (Preprint). Identifier arXiv:2606.09864v2; veröffentlicht am 8. August 2026.
Eine Überarbeitung in Review, neu betitelt mit Fokus auf eine 35-minütige Deployment-Audit, auf OpenReview unter BqKhzrtkGe; sie fügt ein Ergebnis zu FP8-Formaten in vLLM hinzu.
Arditi und Kollegen (2024) sowie Pan und Kollegen (2025) zu der These, dass Ablehnungsverhalten durch wenige Aktivierungsraum-Richtungen gesteuert wird.
Qi und Kollegen (2025) zur Konzentration der Ausrichtung in den ersten Ausgabetokens.

Ashkboos und Kollegen, „QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs“, arXiv:2404.00456.