Чаму завантажэнне модэля ў розмяре 17 ГБ не означае, што для його роботы патрэбна 17 ГБ памяці.
Дазвольце даклэ научыцца, як актыўныя параметры, загальныя параметры, зростанне KV-кэша і зусілля для аналізу вплываюць на рэальныя витраты на память і вычыслення пад час роботы мовнага модэля локальна.
Крыніцы: A 17 GB AI Model Sounds Small. Running It Is a Different Story.
Апавяўся новы атварты модель, у заглавлі пісаецца, што ён конкуруе з набагато большымі системамі, і адна цифра прывлекае увагу всіх: размер файлу становіць толькі 17 ГБ. Це здаецца значыць, што серйозная дапамога у програмаванні стае доступной для звычайнага рабочага столу, але як толькі завантажуецца рэальны кодавы база або дугі чат, процес выкарыстоўвае весь доступны памяць. Размер файлу, колькасць актыўных параметраў і памяць, якая на самае працуючая модель фактычна трэбуе, — гэта тры разныя величыны. У этай статыце пояснюецца, якія межы между ўсімі імі, тады вы зможаце ацэніць, сколькі на самае будзе коштаць запуск модэлю, перш чым планаваць апаратную частку на адной толькі заглавле.
Колькасць параметраў — гэта слабейшы показнік, чым быў раней
Працюючы з порэвнянням модэляў мовы, большасць людзей спачатку атрымлівае інформацыю пра колькасць параметраў. Гэта разумны падход: параметры — это выучаныя вагі сеткі, і здаецца прыродным, што чым ўсё больш іх, тым масівней, розумней і дорожэй модель.
Савременныя архітектуры значна размякчылі гэты зв’язак. Аднам з першых важных крокаў стала даследжоўка DeepMind пад назвай Chinchilla, пры якой аналізавалася оптимальная для вычыслаў трэнування. Яна паказала, што модель з 70 мільярдаў параметраў, трэнаваная на значна большым колькасці дадзеных, можа перамагаць нават моцнейшыя моделі, укладзенныя ў 280 мільярдаў параметраў, калі обе викорыстоўваюць падобную колькасць вычыслаў для трэнування.
Вывад не быў у тым, што маленькія моделі выграюць. Ён быў болей нюансавым і корыстным: спосаб, якім модель викорыстоўвае сваія параметры, можа маты такое ж значэнне, як і ўся колькасць параметраў. Гэя ідея стала цэнтрам іншай архітектуры, якая сёньня домінуе ў дыскусіях пра эфектывныя моделі — Mixture of Experts.
Актыўныя параметры проты ўсіх параметраў
Модель типу Mixture of Experts (MoE) складаецца з многа падсетей-экспертаў. Уместо таго, каб кожны токен праходзіў через усю сеть, невялікі рутэр выбирае калякіх экспертаў для кожнага токена, і толькі этыя эксперты выкааноўваюць работу.
Прыдатны аналагія — гаспадаркі з 100 працавнікаў. Для кожнага запиту кліента можа знадобіцца толькі пяць з іх, таму можна сказаць, што пяць чалавек ўвайшлі "у актыўную роботу" для гэтага запиту. Аднак гаспадаркі все раве должна запрацавваць, утримваць і платіць усім 100 працавнікам, тым болей што наступны запит можа знадобіцца іншыя пяць.
Моделі MoE працуюць аднойчы:
- Колькасць актыўных параметраў — гэта апрыксамна колькі параметраў берае участь у стварэнні адного токена.
- Аб’ём усіх параметраў — гэта загальная колькасць параметраў у модэлі.
Разлік межаў між гэтымі двума моделямі може быть вельмі великі. ГлыбокаяSeek-V3 — знаменіты прыклад: ўсьго бацько 671 мільярд параметраў, з якіх прыблізна 37 мільярда актывацыйных на кожны токен. Таму стварэнне адного токена ў разы дешавае, чым у модэлі з 671 мільярдам параметраў. Але гэта не значыць, што DeepSeek-V3 па всіх практычных аспектах будзе дзейваць як модэль з 37 мільярда параметраў, і самэ гэта часта стварае памылкі ў порэвананнях.
Косць вычысленняў і косць памяці — гэта разны бюджеты
Актывацыйные параметры ўжо ёсць хорашым показнікам для вычысленняў: якія колькасць операцый умножэння-скаладанняя потрэбны кожнаму токену, і якім чынам можна швыта ствараць токены на заданай апаратуре.
Памяць — это адзінэчны бюджет. Механізм выважвання не можа адчыніць доступ да экспертаў, якія не былі выбраны для текущага токена, адтуды што рутэр можа выбраць будзь-каго з іх для наступнага токена. Усія яны павінны заставацца доступнымі, зазвычай у GPU або аеануваленай памяці, адтуды што чытанне вагоў з дыска для кожнага токена было б занадта медзленым.
Такім чынам, модель можа быць недорогай у вычысленні, але ўсё раве запатрабаваць великую колькасць памяці. Компактная правіла ўзроумевае гэта:
Актыўныя параметры паказваюць, сколькі вычысленняя потрэбна кожнаму токену. Аб’ём моделі паказвае, сколькі памяці павінна быць доступная.
Гэтыя два показнікі ўзаемна адносуюцца, але адпавядаюць на разныя запытанні і не можу быть заменены адзіным другым.
Што на самай працэ запуску 17 ГБ
Іменна гэта прычына, чаму „модель AI размерам 17 ГБ“ ўскладнюе розумэнне. Файл з квантаванымі вагамі дзе-нейкуд можа імаць такы размер. Квантаванне дазволяе зберагаць кожную вагу ў меншай колькасці бітоў, напрыклад 4 замест 16, што кілька разоў зменшывае размер файлу за меркавання якосці.
Але файл на вашым SSD — толькі адна з складовых, якія патрэбны для роботы процеса. Кроме яго, патрэбна памяць для:
- ваг, якія пасля завантажэння зберагаюцца ў памяці,
- свойых витрачэнняў часу выконання аналізу,
- тэмпаратырных буфероў, якія викорыстоўваюцца пад час вычыслення,
- контэксту, які зберагаецца ў кешы KV,
- і всього таго, што вже викорыстоўвае операцыйная система і іншыя програмы.
Таму файл размерам 17 ГБ не значыць, што апарат з 17 ГБ вольнай памяці можа комфортна запускать модель, або ўзагалі — калі контэкст стане большым.
Расчынкі спяльнай адукацыі для Qwen3.8-27B чытраяць гэты момант. Квантаваная версія моделі размахам прыблізна 17 ГБ можа патрабаваць значна большую колькасць памяці, калі завантажваецца дзейны контэкст; пры натывной дужыні контэкста моделі, якая станавіцца 262,144 токенам, сама тэрміналка KV становіцца вельмі большай. Ёсць прычыны, чаму так адбываецца — трэба разглядаць, як модель запам’ячвае розмову.
Сама розмова займае памяць
Трансфармер не чытае ваш запит раз і збрасцоўвае яго. Пад час стварэння кожнага новага токена ён адсылаецца да кожнага паканальнага токена ў контэксте. Перысчытанне внутранняй рэпрэзентаціі всього контэкста для кожнага новага токена было б надта медзленым, таму механізмы інферэнса зберагаюць проміжныя рызультаты.
Эты магазін — це KV cache, скрацана форма для key/value cache. Для кожнага токена ў контэксте кожны слой увагі зберагае вектар ключа і вектар значэння. Таму кеш расте прыблізна лінейна з дужынай контэкста: модель, якая легка падходзіць для короткага чату, можа стаць значна важэйшай, калі ў яе подаецца дзесяткі або сотні тысяч токенаў, напрыклад, цэлы репазітарый.
За данымі карточкі моделі Qwen3.8-27B на Hugging Face, модель падтрымляе натыўны контэкст ад 262,144 токенаў. Яна выкарыстоўвае гібрыдны дизайн, у яком толькі дзеякі слоі выкарыстоўваюць звычайную увагу, і самэ гэта робіць такі дзяўны прыглед практычным.
Адзін аналіз архітектуры паказвае, што для слоёў, якія ўсё ўтримваюць традыцыйны кэш, на кожны токен патрэбна прыблізна 64 КБ дадзейнаў кэша FP16. Якщо палічыць 262,144 токанаў, то выйдзе прыблізна 16,8 ГБ кэша KV, не рахуючы нічога іншага. Тады прыблізны бюджет памяці для сесіі з полным контекстам выглядае так:
- вагі модэлю: прыблізна 17 ГБ
- кэш KV у режыме полнага контексту: прыблізна 17 ГБ
- додатковыя витраты памяці та буферы: дапаможні элементы
Модель ніколі не стае програмай размерам 17 ГБ. Вы завантажылі 17 ГБ квантызаваных вагоў, а рэальная навантажэння можа быць прыблізна удвое большай або нават больш. Вы таксама можете зрозумець, чаму дужына контэкста ёсць тым фактарам, які трэба выкарыстоўваць, калі памяць обмежана: падвоўкай дужыны контэкста прыблізна падвоюецца і розмер кэшу, а багатыя сістэмы можаць квантызаваць сам кэш KV, ўскорыстаючы гэта для яшчэ большага зменшэння розмеру, хоць і за рахунак падышчы точнасці. Такія даныя з спальні ёсць толькі апрыскамі; парабяльвайце іх з данымі пра викорыстоўвання памяці, якія паказвае ваша сістэма.
Як гібрыдная атэнцыя дапамагае справляцца з дужымі контэкстамі
Сама архітектура ёсць тым местам, дзе все становіцца цікавым. У звычным трансфармере кожны слой атэнцыі зберагае свои вхідныя даны KV, таму розмер кэшу зрастае як з адзынкай лепеней, так і з колькасцю токэнаў.
За данымі публікаваных аналізаў яго прымет, Qwen3.8-27B выкорыстоўвае гібрыдны падход. З 64 яго слоёў толькі стосункава невялікая канцэнтрацыя викорыстоўвае повнае зважанне, тады як большасць — лінейнае зважанне. Слоі з лінейным зважаннем падсумовуюць минулыя даныя у стан фіксаванага розмеру замест таго, каб зберагаць ключы і значэнні для кожнага токена, таму яны не падвышають розмер кэша. Толькі слоі з повным зважаннем падлегаюць витратам за кожны токен, і самэльга цяжкія показнікі за токен є такімі низкімі.
Самэльга такія трыкі робяць можлівым викорыстоўванне дужа большых вікна контэксту. Без іх памяць, неабходная для чверці мільйона токенаў, быстра стане непрактычной без апаратуры дата-цэнтраў.
Таму, калі модель адзвярцается вялікім вікном контэксту, запытайце дапаможным пытаннем: што робіць архітектура, каб такі контэкст быў доступны? Толькі дужыня контэксту сама па сабе нічога не паведамляе.
Перамога на аптэкстасі не значыць перамогу ў цалым
Заголовкі маюць ўсё той жа недагад: модель „перамагае Claude“ або „перамагае GPT“ на адной аптэкстасі, і робится вывар, што яна кращая ў цалым. Аптэкстасі меряюць конкретныя задачы за адзінаковых умоў, і адна лиш табелка показуе мало інфармацыі пра ўсё іншае.
Qwen3.8-27B добра ілюструе гэта. Яго опублікованыя рэзультаты паказваюць высокія показнікі ў кодаванні:
- Terminal-Bench 2.1, які тэстуе роботу ў тэрмінале: 73.0
- SWE-bench Pro, які тэстуе выправленне рэальных проблем у репазітарыях: 61.7
- GPQA Diamond, набор запытанняў з науки для студэнтаў вышых курсаў: 89.2
У порэванаўшчыне модэляў на адной карце, дзе таксама паказаны рэзультаты Opus 4.6 Max, атмасфера сумешаная. У Terminal-Bench 2.1 показнік Qwen стоўіць нижэй за 78.2, паказаныя для Opus 4.6 Max. У SWE-bench Pro яго показнік 61.7 вышы ў порэванаўшчы з 53.4 для Opus. У GPQA Diamond яго показнік 89.2 стоўіць нижэй за 91.3.
Калькі модель лепшая? Гэта залежыць ад задачы. Работа з терміналам, выправленне бягаў на рэпазітарыях і науковыя запытанні на адукуецкам рэвэле — гэта разныя навыки, а задачі для агентаў з далекаю перспэкtyвай таксама адрозненыя. Кожны тэст ўскладнень — гэта падтверджэнне адной конкрэтной спроможнасці, а не універсальны рангін інтэлекту.
Методалогія таксама мае значэнне. Апарат для ацэнкі, стратэгія стварання запытанняў, доступныя інструменты, метод ацэнкі та настройкі моделі можуць усе гэта паўтарыць рэзультаты, а праўодчыкі не завжды запускаюць конкурэнтныя моделі за ідэнтычных умоў. Такое тверджэнне, як «Модель X перамагае Модель Y», не включае важлівай часткі. Точная версія выглядае так:
У гэтай ацэнкі, за гэтыя умоў, Модель X паспеўшыла Модель Y.
Гэта менш захопліва, але набагато корыстнейша.
Зусілля па логічным аналізе — цэ это скрыты мульыплікатар вартасці
Нават калі параметры та памяць вже зрозумелы, ўсё ж існуе ещэ адна зменная, якая можа тыхо паўтарыць вартасць запуску моделі: ступень её логічнага аналізу пры адпаведзе.
Модэлі, адаптаваныя для разумовых вычынкаў, все чэргавей апусцеляюць настройкі для гэтага. Qwen3.8 падтрымляе параметр reasoning_effort з рэвалюмаціямі low, medium і xhigh; значэнне xhigh ўжо ўсталявана як стандарт. У його дасведчэннях гэтыя рэвалюмаціі чытальна описваюцься як засобы кантролю глыбіны і вартосці разумовых вычынкаў.
Компрэсія ў гэтым случае простая: больш разумовых вычынкаў можа дапамагчы ў складных задачах, але кожны крок вычынкаў стварае токены — больш вырахункаў, больш затрымакоў, а таксама, у разы дужых ланцаў вычынкаў, больш памяці KV-кэша. Таму два чалавекі, якія запускаюць аднаковую модэль, можу пабачыць вельмі разныя вартасці выключна з-за гэтай настройкі.
Гэта ўсё болюча актуальна для агентаў, які займаюцца кодаваннем і выконваюць задачы з вельмі разным ступенем складнасці. Пораўняйце запит на перайменаванне зменнай з запытом пра аналіз незнайомага репазітарыя, пошук архітектурнага браку, зміну шасця файлоў, запуск тэстаў, діагностику несправнасцей і стварэнне патча. Для першага не трэба нічога на кшталт розумовых ресурсаў, якія патрабуюцься для другага. Выкарыстоўванне максымальных розумовых зусілляў для кожнага запыту — гэта як прывучэнне высокакваліфікованага інжынера да участі ў нарадзе пра абазаванне кнопкі: гэта можа запрацаваць, але ў такі спосаб разгарачваюцца ресурсы неэфектыўна.
Існуе адзін застерэжны момант, які сама дакументацыя Qwen адзначае. Зменшэнне зусіль можа прыяўляць скорасць кожнага окремага крока, але вызывае большыя прабавы чы ўпадкі пад час багатоэтапных заданняў агента, што можа знішчыць эфект эканоміі. Практычны падход — мераваць загальную вартасць задання, а не затрымку за кожны крок, і перадаваць простыя та складныя задання ў разныя настройкі, якщо вашы інструменты гэта дазваляюць. Не існуе ўніверсальных настройкаў, якія падходзілі б для всьога.
Чаму эфектывае акыўнае вычысленне все ўсё заступае важлівасць
Пасля всіх эўтых застерэжнасцей можна было б легка вырашыць, што історыя про моцныя маленькія локальныя моделі — гэта працяг. Але гэта не так. Програс рэальны: моделі з невялікім бюджетам на акыўнае вычысленне тепер можу выпрацоўваць серйозную роботу па програмнай інжынерыі, якая колькісць рокаў таму была вельмі складнаю для запуску локальна.
Едынакі неабяжны корэктаванне — гэта тое, што эфектыўныя вычысленні не абавязкова значаць малую вакууматыруемасць памяці.
Гэта разлік мае ўжо большое значэнне на рэвэліцыях дадзенаў. Прадаўца, які обслужвае тыячы корыстувачаў, завантажвае вагі аднойчы і дзеліць іх між усіма запитамі. У працоўнай памяці KV, на адміншчыну, ўсё належыць кожнай окремай розмове. Скорачэнне памяці, якая трэба кожной актыўнай розмове, дазволяе разам размістіць больш адночасных корыстувачаў на той самай апаратуре, і гэта безпасебна знижвае выклікі обслужвання модэлю.
Якща адносіцца да гэтага падходу, архітектурныя деталі, якія выглядаюць як таёмныя доследнічыя трюкі, такія як гібрыдная увага або стысненне памяці KV, становяцца важлівымі эканамічнымі фактарамі. Модэлю не трэба быць маленькім у всіх аспектах. Ям трэба быць эфектыўным там, дзе інфраструктура падваўляе найбольшы тырон.
Калі модэль на 17 ГБ справды ўзятае рашэнне
Есць таксама дужа позытывная сторона. Багато рэальных задач выкарыстоўваюць коракты контекст:
- адзін файл,
- адзіна спецыялізаваная проблема кодавання,
- маленькі проект,
- звычайны чат.
У такіх случаях добра квантаваная модель з гэтай класы можа быць справдзільна вражаючай. Ёй не патрэбны большыя хмарныя серверы, каб яе працаваць. Можна запускаць супэльную модель на прыбутковай апаратуры, зберагаць своі даны на сябе і ухіліцца ад платы за кожны токен у API для кожнага експерымента. Чыба прыклад такога падходу, адзірніце стварэнне локальнага клону Angry Birds з Qwen3.8-27B і Pi.
Это расшырвае круг людзей, якія могу эксперыментаваць з серйозным ІІ, што, можна сказаць, мае большое значэнне, чым тое, што адзіны показначык бенчмарка на тры пункты вышэй, чым іншы.
Чатыры запитанні, якія трэба задаць замест «сколькі параметраў?»
Калі наступны раз у заглавле паведамляецца пра малыя значэння колькасці параметраў або малыя розмеры загрузкі, расгляньце гэтыя чатыры запитанні.
Сколькі параметраў ёсць актываўых?
Гэта дае вам мярку пра вычысленні на адны токен, і такім чынам пра тое, насколькі швядка модель можа генераваць на вашай апаратуре.
Сколькі параметраў ёсць у цэлым?
Гэта дае вам мярку пра аб’ёмных выкарыстаных ресурсаў, і гэта ёсць галоўны фактар, які вяліць у колькасці памяці, якая трэба для ваг.
Насколькі великі становіцца кэш KV?
Гэта залежыць ад архітектуры і ад дужнасці контэкста, яку вы плануеце выкарыстоўваць, і ён стае галоўным фактарам пры дужнасці контэкста.
Сколькі часу модель размышляе пры адпаведзі?
Гэта вяліць за час адпаведзі, спрацоўванне токенаў і вартасць, і гэта можна налаштаваць па кожнай задачы.
Ўжоўсабраныя гэтыя чатыры адказы расскажуць вам набагато больш, чым калі-небудзь зможа размах завантажэння.
Моделі сталі эфектывнейшымі, але не обавязкова меньшымі
Загальны тэндэнцыя — рэальныя падышчы ў эфектывнасці ў всій структуре: кращыя стратэгіі навчання і масштабаванне дадзэнняў, кращая система направлення запытанняў экспертаў, кращая квантызацыя, кращыя архітектуры уваги, а таксама можласць налаштавання процэсу рассуджэння пад час выконання запытанняў.
Нічога з гэтага не робіць эфектывных вычыслаў тым самым, што і маленькі расход памяці:
- Модель типу MoE можа актываціраваць толькі частку своих параметраў на кожны токен, пры тым застаючыся вельмі большай сеткой.
- Квантызаваная модель можа займаць невялікі прастор на дыску, але пад час выконання запытанняў захоць значна большай памяці.
- Дзейсны вялікі прыгорка контэксту можа змусіць самаю розмову захопляць гігабайты памяці.
- Вышэйшы режым рассуджэння можа зробіць той самы запыт набагато болей вычысляўна дорогім.
Таму лепшы вопыт — не гэта, скількі параметраў мае модель. Ён болей прыбліжаны да гэтага:
Сколькі памяці та вычыслювальных ресурсаў патрэбны для адпрацоўкі гэтага конкретнага завадзка, ад загрузкі моделі да стварэння фінальнага токена?
Ключовыя выводы
- Размах файла з модэлью павярнуты толькі ў яе вагах; KV-каш, додатковыя витраты часу вычысленняў та буферы дадаюцца да гэтага і можу удвоіць рэальныя патрэбы пры дужа дзейнай контекстнае далёкасці.
- Актыўныя параметры паказваюць вычыслювальныя зусиллі на адзін токен, тады як загальная колькасць параметраў вялічы, сколькі памяці трэба заставіць у доступе.
- Размах KV-каша зростае ў завіснасты ад дзейнай далёкасці контекста і сильна залежыць ад архітектуры, таму гібрыдныя дизайны атэнцыі маюць значэнне пры дужа дзейных контекстах.
- Перамогі ў тэстах-бенчмарках є спецыфічныя для конкрэтных задач і залежнае ад методыкі; спрыймайцы іх як „лепшыя у гэтай ацэнцы“, а не як „лепшыя загалом“.