BitNet і Cassandra: як тернарні ваги пришвидшують локальні LLM на CPU

Запуск великої мовної моделі на власній машині завжди нагадував спробу поставити реактивний двигун у хетчбек. Вимоги до пам'яті душать споживчі ноутбуки, а генерація повзе по одному токену, перетворюючи просте запитання на виснажливе випробування для батареї. Роками вважалося, що розумним моделям потрібні більша точність, більше потужності й дорожчий кремній — саме це й називають «GPU-ровом».

Це переконання дає тріщину. Дві ідеї, тернарні ваги й самоспекулятивне декодування, натякають, що зараз у ШІ епоха «Моделі T»: груба перша версія того, що з часом буде всюди. Коли розумна архітектура замінює залізо «в лоб», змінюється економіка. Ось шість висновків із нещодавніх робіт про тернарні моделі та інференс на периферійних пристроях.

1. Ваги лише з трьома значеннями

Ідея 1-бітних LLM спирається на архітектуру BitNet b1.58, де кожен параметр може мати лише одне з трьох значень: -1, 0 або 1. Це здається нелогічним, адже зазвичай вважають, що більша точність дає кращі міркування. Проте чекпойнт BitNet b1.58 2B4T, у якого 2,4 мільярда параметрів і 4 трильйони токенів навчання, працює на рівні повноточних моделей FP16 і BF16.

Секрет криється в залізі. Звичайна модель змушує процесор виконувати дорогі й ненажерливі множення з рухомою комою. BitNet замінює їх простими умовними додаваннями. З операціями на таблицях пошуку (LUT) чип може взагалі обійтися без блоків із рухомою комою. Помножувачі займають багато площі кристала, а додавання обчислюються дешево. Простота знову в моді.

2. Спекулятивне декодування як гра у вгадування

Щоб зрозуміти, чому такі моделі швидкі, згадайте, що інференс LLM упирається в пам'ять. Коли ви запускаєте модель локально, межу задає не швидкість «мислення» процесора, а швидкість, з якою ваги переміщуються з пам'яті до процесора. Арифметична інтенсивність низька, тому залізо часто простоює в очікуванні даних.

Спекулятивне декодування б'є саме в це вузьке місце. Маленька швидка чернеткова модель пропонує послідовність токенів, а велика модель перевіряє їх паралельно. Це працює з двох причин:

• Передбачуваність: деякі токени легко вгадати, наприклад «York» після «New».
• Паралельна перевірка: перевірити п'ять здогадок коштує приблизно стільки ж, скільки згенерувати один токен, бо цільова модель обробляє весь пакет за один прохід своєю пам'яттю.

3. Cassandra і перевага без навчання

Звичайному спекулятивному декодуванню потрібна окремо навчена чернеткова модель. Фреймворк Cassandra обходиться без неї. Він будує тямущу чернетку з самої вихідної моделі, застосовуючи неструктуроване проріджування значень і обрізання мантиси.

Уявіть одного користувача на ноутбуці чи телефоні, де пакети маленькі. Вузьке місце зміщується з механізму уваги на завантаження ваг для повнозв'язної мережі (FFN). Cassandra знаходить найвагоміші біти, ті, що справді визначають результат, і завантажує ці дані для спекуляції першими. Виграш сягає 2,41 раза відносно базового BFloat16 — прискорення, характерне саме для периферії, яке оптимізації для дата-центрів повторити не можуть.

4. Швидкість читання людини на звичайному CPU

Усе це веде до демократизації: геть від корпоративних GPU за 30 000 доларів, до звичайних споживчих чипів. Технічні звіти BitNet показують великий виграш проти моделей FP16:

• ARM: у 1,37–5,07 раза швидше
• x86: до 6,17 раза швидше

Головний результат — модель на 100 мільярдів параметрів на одному CPU зі швидкістю 5–7 токенів на секунду. Приблизно з такою швидкістю читають люди, тож величезні моделі стають придатними на звичайному офісному залізі. Фреймворк bitnet.cpp можна спробувати самому:

# Running inference with the 1-bit 2B4T model
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "Explain the significance of ternary logic." -cnv

5. Економія енергії на 82,2%

Ефективність найважливіша для мобільних пристроїв. На x86 BitNet b1.58 знижує енергоспоживання на 82,2%, на ARM — на 70%. Для вас це означає моделі, які не висаджують батарею ноутбука і не потребують потужного охолодження, як топові GPU. Це не просто приємна дрібниця. Це умова, без якої ШІ не переїде з хмари в кишеню, з постійно ввімкненим інтелектом просто на пристрої, що не скидає частоти через перегрів.

6. Стиснення без обриву точності

Часто вважають, що стиснення моделі руйнує її здатність міркувати. Для «думаючих» моделей на кшталт DeepSeek-R1-Distill-Llama-8B і Qwen3-8B-Thinking точністю жертвувати не можна, а проріджування з втратами часто провалюється саме на складній логіці.

Найнаочніше це видно на бенчмарку математичних міркувань AIME2025. У прямому порівнянні проріджування Wanda, популярний метод із втратами, не дало жодної правильної відповіді — результат 0%. Cassandra і BitNet зберігають вихідну модель недоторканою. Ось як виглядають обидві сторони:

• Стиснення з втратами через Wanda: шкодить міркуванням і викидає нюанси складної логіки, 0% на AIME2025, провал на кожній задачі.
• Cassandra-1 і BitNet: зберігають повну точність цільової моделі, результати без втрат збігаються з BFloat16.

Кінець помножувачів?

Вимальовується те, що можна назвати красномовною простотою. Перехід від ненажерливих до кремнію помножувачів до простих додавань і розумного вгадування натякає, що GPU-рів не такий широкий, як здавалося. Наступним кроком, імовірно, стануть ASIC і прискорювачі на таблицях пошуку, створені лише для 1-бітної логіки. Якщо моделі на 100 мільярдів параметрів працюють на звичайному офісному CPU зі швидкістю читання людини, перешкодою для просунутого ШІ перестає бути чип за 30 000 доларів. Усе зводиться до того, щоб рахувати розумніше.