BitNet und Cassandra: Wie ternäre Gewichte lokale LLMs auf CPUs beschleunigen

Ein großes Sprachmodell auf dem eigenen Rechner laufen zu lassen, fühlte sich immer an, als würde man ein Düsentriebwerk in einen Kleinwagen schrauben. Der Speicherbedarf erstickt Consumer-Laptops, und die Generierung kriecht Token für Token voran, sodass eine einfache Frage zur akkuzehrenden Tortur wird. Jahrelang galt die Annahme, dass klügere Modelle mehr Präzision, mehr Leistung und teureres Silizium brauchen. Genau das meint man mit dem GPU-Burggraben.

Diese Annahme bekommt Risse. Zwei Ideen, ternäre Gewichte und selbstspekulatives Decoding, legen nahe, dass die KI gerade ihre Ford-Model-T-Phase erlebt: eine grobe erste Version von etwas, das irgendwann überall sein wird. Wenn clevere Architektur rohe Hardware-Gewalt ersetzt, verschiebt sich die Wirtschaftlichkeit. Hier sind sechs Erkenntnisse aus aktuellen Arbeiten zu ternären Modellen und Inferenz am Edge.

1. Gewichte mit nur drei Werten

Die Idee der 1-Bit-LLMs beruht auf dem Design BitNet b1.58, bei dem jeder Parameter auf einen von drei Werten beschränkt ist: -1, 0 oder 1. Das wirkt widersinnig, denn normalerweise nimmt man an, dass mehr Präzision besseres Schlussfolgern bringt. Trotzdem liegt der Checkpoint BitNet b1.58 2B4T mit 2,4 Milliarden Parametern und 4 Billionen Trainings-Tokens gleichauf mit vollpräzisen FP16- und BF16-Modellen.

Der Trick steckt in der Hardware. Ein herkömmliches Modell zwingt den Prozessor zu teuren, stromhungrigen Gleitkomma-Multiplikationen. BitNet ersetzt sie durch einfache bedingte Additionen. Mit Lookup-Table-Operationen (LUT) kann der Chip die Gleitkommaeinheiten ganz umgehen. Multiplizierer belegen viel Chipfläche, Additionen sind dagegen billig zu berechnen. Einfachheit ist wieder in Mode.

2. Spekulatives Decoding als Ratespiel

Um zu verstehen, warum solche Modelle schnell sind, muss man sich klarmachen, dass LLM-Inferenz speichergebunden ist. Wenn du ein Modell lokal laufen lässt, setzt nicht die Denkgeschwindigkeit des Prozessors die Grenze, sondern das Tempo, mit dem Gewichte aus dem Speicher zum Prozessor wandern. Die arithmetische Intensität ist niedrig, also wartet die Hardware oft untätig auf Daten.

Spekulatives Decoding setzt genau an diesem Engpass an. Ein kleines, schnelles Entwurfsmodell schlägt eine Folge von Tokens vor, und das große Modell prüft sie parallel. Das funktioniert aus zwei Gründen:

• Vorhersagbarkeit: Manche Tokens sind leicht zu erraten, etwa "York" nach "New".
• Parallele Prüfung: Fünf Vermutungen zu prüfen kostet ungefähr so viel wie ein Token zu erzeugen, weil das Zielmodell den ganzen Stapel in einem Durchgang über seinen Speicher abarbeitet.

3. Cassandra und der Vorteil ohne Training

Gewöhnliches spekulatives Decoding braucht ein separat trainiertes Entwurfsmodell. Das Cassandra-Framework kommt ohne aus. Es baut einen brauchbaren Entwurf aus dem ursprünglichen Modell selbst, indem es unstrukturiertes Werte-Pruning und Mantissen-Kürzung anwendet.

Denk an einen einzelnen Nutzer auf einem Laptop oder Smartphone, wo die Batches klein sind. Der Engpass verlagert sich vom Attention-Mechanismus auf das Laden der Gewichte für das Feed-Forward-Netz (FFN). Cassandra findet die wichtigsten Bits, die das Ergebnis tatsächlich bestimmen, und lädt diese Spekulationsdaten zuerst. Der Gewinn erreicht bis zu 2,41-fach gegenüber einer BFloat16-Basis, eine Edge-spezifische Beschleunigung, die Optimierungen für Rechenzentren nicht nachbilden können.

4. Menschliche Lesegeschwindigkeit auf einer normalen CPU

All das läuft auf Demokratisierung hinaus: weg von Enterprise-GPUs für 30.000 Dollar, hin zu gewöhnlichen Consumer-Chips. Die technischen Berichte zu BitNet zeigen große Gewinne gegenüber FP16-Modellen:

• ARM: 1,37- bis 5,07-mal schneller
• x86: bis zu 6,17-mal schneller

Das Spitzenergebnis ist ein Modell mit 100 Milliarden Parametern auf einer einzigen CPU mit 5 bis 7 Tokens pro Sekunde. Das entspricht etwa dem Lesetempo eines Menschen, und damit werden riesige Modelle auf normaler Bürohardware nutzbar. Das Framework bitnet.cpp kannst du selbst ausprobieren:

# Running inference with the 1-bit 2B4T model
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "Explain the significance of ternary logic." -cnv

5. 82,2 % Energieersparnis

Effizienz zählt vor allem mobil. Auf x86 senkt BitNet b1.58 den Energieverbrauch um 82,2 %, auf ARM um 70 %. Für dich heißt das: Modelle, die den Laptop-Akku nicht leeren und keine aufwendige Kühlung wie High-End-GPUs brauchen. Das ist mehr als eine Nettigkeit. Es ist die Voraussetzung dafür, KI aus der Cloud in die Hosentasche zu holen, mit dauerhaft verfügbarer Intelligenz direkt auf dem Gerät, die nicht wegen Hitze drosselt.

6. Kompression ohne Genauigkeitsabsturz

Oft wird angenommen, dass Kompression die Denkfähigkeit eines Modells zerstört. Bei "denkenden" Modellen wie DeepSeek-R1-Distill-Llama-8B und Qwen3-8B-Thinking ist Genauigkeit nicht verhandelbar, und verlustbehaftetes Pruning scheitert oft gerade an komplexer Logik.

Am deutlichsten zeigt das der Mathe-Reasoning-Benchmark AIME2025. Im direkten Vergleich lieferte Wanda-Pruning, eine beliebte verlustbehaftete Methode, keine einzige richtige Antwort, also 0 %. Cassandra und BitNet lassen das ursprüngliche Modell unangetastet. So stehen die beiden Seiten da:

• Verlustbehaftete Kompression mit Wanda: schadet dem Schlussfolgern und verwirft Nuancen in komplexer Logik, 0 % bei AIME2025, ein Fehlschlag bei jeder Aufgabe.
• Cassandra-1 und BitNet: behalten die volle Genauigkeit des Zielmodells, verlustfreie Ergebnisse identisch mit BFloat16.

Das Ende der Multiplizierer?

Was sich abzeichnet, könnte man beredte Einfachheit nennen. Der Wechsel von siliziumhungrigen Multiplizierern zu einfachen Additionen und klugem Raten deutet darauf hin, dass der GPU-Burggraben nicht so breit ist, wie er aussah. Der nächste Schritt sind wahrscheinlich ASICs und LUT-basierte Beschleuniger, die nur für 1-Bit-Logik gebaut werden. Wenn Modelle mit 100 Milliarden Parametern auf einer normalen Büro-CPU in menschlichem Lesetempo laufen, ist das Hindernis für fortgeschrittene KI kein 30.000-Dollar-Chip mehr. Es geht dann darum, cleverer zu rechnen.