Маленькія спецыялізаваныя моделі таямніча перамагаюць великія LLM-ы.
Логічная модель з 3B параметрамі перевершае 120B-му LLM у формальному мышлении на звычнай апаратуре, адкількі можа обробляць большае колька токенав за секунду. Чаму падходямасць задачы мае большое значэнне, чым простая велічына.
Ўжо не трэба моцнага комп’ютера, каб зазначыць якіясь незвычныя рэгламенты ў маленькіх моделях апошнім часам. Большасць ноутбукав страждае, калі трэба адночасна запускать два вікна браузера і сервер для разработкі, пры тым што самэўсёль гэтыя апаратныя з’еднанні є предметам нашай розповесці.
Таму, калі модель з 3 мільярда параметраў пачала пораўнювацца на прыязнай ноте з моделью з 120 мільярда параметраў, натуральной рэакцыёй была скептычнае ставленне, а не адзіванне.
Тверджэння пра тое, што „маленькая модель перамагае велікую“, зазвычай рушаюцца ў нікуды, як толькі паглянеш за заголовак і аберашся да рэальных дадзеных тэстаў.
Дакладны аналіз цых цифраў па кожнам з такіх тверджэнняў апкрывае ўсё цікавейшыя факты, чым проста якісь адзіны экстраполятыўныя рэзультаты.
Існуе ўсё большая група маленькіх модэляў, якія тыхо стаюць дастатнека супэльнымі, каб маты значэнне, і гэтыя тэндэнцыі, здаецца, засталі па большай часткі незазначанымі.
Чым глэбже мы прыглядзімся, тым больш стае зрозумелым, што справжня ідея не ў тым, што «маленькія моделі перамагаюць великія». Йдзе пра тое, каб розмер моделі паспадзяў на розмер конкрэтнай задачы, якая трэба вырашыць.
Модель, якая ўсё гэта започаткувала
Модель, пра якую йдзе мова, называецца TwIL-LM3; яе выдала компанія webAI 10 серпня 2026 года.
Это доўна налаштаваная версія SmolLM3-3B ад Hugging Face, створаная для аднаго, вузкага цілі — формальной логіки.
Якщо падаць яе ў вхід просты англійскі рэченне, яна перакладае ўсё гэта на логіку першага порядку. Потым яна пераканальваецца, чы робіцца выведзенне дэйсна з даных прыяўных тверджэнняў.
Это не чат-асистент і не прызначана для творчага пісьменніка. Це чыстая дедукцыйная логіка — той самы тип мышлення, які лежыць у основе правіл салідарнасці, юрайдычных тэкстаў і летакі аудыту.
Па данай конкрэтной задачы ён працюе краща за модель OpenAI gpt-oss-120B прыблізна у 40 раза, якія мае большыя розмеры, у чатырох з пяці категорый у сэрыі тестаў формальнага абдумавання, створанай самай webAI.
Ён таксама значна быстрейшы: прыблізна у 2,6 раза быстрейшы па рэзультатах тестаў праасобленасці, створаных самай webAI, пры чым разлік ў дзеярых памерэннях ёш большы, хоць гэтыя два моделі не теставаліся за аднаковых умоў апаратуры.
Таму трэба быць адзяржлівым ў калькуляцыях па параметру шчыльнасці працы. Усё-такі загальны тэндэнцыя ясны: меньшая модель є быстрая.
Частка, якую большасць пастаўкі прыхоўчвае
Гэта та частка, якая часта не практыкуецца ў такіх аналізах.
gpt-oss-120B застаецца лепшым, як толькі падсумаваць рэзультаты ў всіх шасці категоріях ацэнкі. Qwen3-8B таксама пераганяе TwIL-LM3 па главным показніку эфектывнасці, хоць вялікая частка гэтага прынадзе надаецца ад болей вольнага методыки оцэнкі. Пад строгейшым стандартам ацэнкі гэтыя два моделі фактычна застаюцца майже на роўных.
Таму історыя тут не ёсць такой:
"Маленькі модель пахамляе велікі модель. Усё, што стосуецца ШІ, проста змянілася."
Це болей супамінае:
"Маленькі, спецыяльна створаны модель ясна выграўа ў той задачы, для якой была розроблена."
Это знaczна менш драматычная тэза, але гэта самая правдападобная і, можна сказаць, найболей корыстная.
Самэлькі тут маленькія моделі пачынаюць адзначацца своей цэннасцю.
Модель на 3 мільярды параметраў не павінна пераганяць модель на 120 мільярдаў параметраў у всіх аспектах.
Яго простаўка — дастаткова хорашасць у адной вузкай, павтаральнай чыстаўцы або дорогай задачы.
Падумайце пра калькулятар. Ніхто не называе яго гэтым меншым комп’ютерам толькі таму, што ён не можа рэдагаваць відеа. Ён ценны саме таму, што быў створаны для адной конкрэтнай задачы. Маленькія моделі AI можу працаваць па той самый логікі.
Є адна застерэжненне, якое варта запамятаць: TwIL-LM3 поставляецца пад некамерчыяй ліцэнзыёю.
Гэта падходзіць для навучання і експерыментаў. Але ўбудова яго ў продукт, які мае прыносіць дохад, будзе вымагаць аднароднага ліцэнзыйскага угоды з webAI.
Тое, што мае значэнне для людзей без высокаспекатывальнага апарату
Версія 3B поставляецца як файл з квантывацыяй 1,78 GB. Ён легка помішчаецца ў 4 GB VRAM, або можа проста працаваць на CPU. Па даннім webAI, ён стварае прыблізна 300 токенав за секунду на M2 MacBook.
Есць таксама легшая версія 1.7B, створаная спецыяльна для роботы на тэлефонах.
Ёй являецца компактны адаптер LoRA размерам 289 MB, які дадзеныяўна нарабатываеся на базе SmolLM2-1.7B, і, як паведамляецца, ён прыблізна удвое падваігае точнасць логічных выводам дакументальнай модэлі.
Це вартуе увагі – модэль розмерам з тэлефон, якая выкананае формальныя логічныя выводы, і ўсё гэта на самай прыстроі.
Нічога не трэба выважваць з прыстрою, і самэ гэта ўсё тое, чаму webAI націленае гэта на такія сектары, як охорона здароў’я, фінансы і фармацэутыка, дзе даныя часта не могу выважваць з локальных інфраструктур.
Тэставанне на справжняй старыяй апаратызацыі
Тэстовыя крывыя показуюць толькі частку рэальнасці, таму паглядзіце, што будзе, калі SmolLM3 3B будзе тэставаны на апаратызацыі, якая зовсім не падобнае на рабочую станцыю, прызначаную для AI.
Тэставальны прыстрой быў Dell OptiPlex 3020M з следуючымі характэрыстыкамі:
- Intel Core i5-4590T
- 4 ядра CPU
Тэставаны варіянт — ggml-org/SmolLM3 3B з викорыстаннем квантызаціі Q4_K_M.
Ўсьме деталі, якія варта адзначыць.
Быў даны просты запрос у стылі разработчыка: прабаваць заставіць модель дзеяць як разработчык і стварыць калькі розных версій функцыі факторіялу.
Модель выкорыстала калькі падходаў, уключаючы як рекурсыўныя, так і ітэратывныя.
Пад час аднаго запуску інтэрфейс паказаў прыблізна 24,83 токенаў за секунду, прычаму першы выхад з’явіўся пасля прыблізна 0,8 секунд.
Таксама быў працаваны просты запрос у формате канверсаціі — простая прывітанне.
Эты суперангаванне даў меравальную шчыльнасць працы апошней 36,45 токенаў за секунду.
Потым запускаўся зноў фактарыяльны запрос, гэты раз з большай увагай стараючыся разумець, як модель яго адмаўляе.
Пад час гэтага запуску модель пасвятила больш часу на размышленні, і меравальная шчыльнасць генеравання знизілася да праўда 5,39 токенаў за секунду.
Гэтае разніця на самай працоўцы ёсць значным дадзеннем.
Нічога з гэтага не паводзіцца на тое, што стары настольны камп’ютер ператворыўся ў якісь суперкомп’ютер для ШІ. Звычайна, гэтага не сталося.
Шчыльнасць працы змінялася залежна ад характару задання, дужыны выходных дадзенняў і ступеня внутраніх размышленняў моделью. Але гэта не ёсць галоўным вывадам.
Справжній вывод заключаецца ў тым, што модель на 3 мільярды параметраў прадаўала робочыя рэзультаты на дэсктопным комп’ютеры з паўгодовага віку, які меў толькі 16 ГБ памяці і не мела окремай відгуковай карты, працюючы практычна як звычны локальны асистэнт.
Не было выкарыстана жадная хмарная API.
Не было выкаранае інстанцыя GPU.
У фоне не працаваў жадны сервер на 80 ГБ.
Это быў проста стары дэсктопны комп’ютер, які сам працаваў з модэлью.
Гэты тест являецца падставай для тверджэння, што для атрымання корыстных рэзультатаў з такой модэлі не патрэбна відгуковая карта. Це не тверджэння, што кожная модель на 3 мільярды параметраў даходзіць да ідэнтычных скорасцей на кожным прыстрое, а толькі апавешчэнне пра тое, што адбылася на адной скромнай, незначный установцы.
Рэальны прыклад, таму гэта не ўявнае
Уявіце сабе маленькую фінтэх-компанію, якая мае каманду з дапэўнення супакоўнасці, якая напісала правілы простай мовай: транзакцыі, якія пераследжуюць певны ліміт у доларах і прыходзяць з аблікаванняў, якія ўсё ж такі дасць недавна створеныя, павінны аўтаматычна быць пазначаныя для ручнага перагляду, а не обрабатваныя без увагі.
Тепер заўважкайце, што транзакцыя з сумой, якая явна пераследжуе гэты ліміт, прыходзіць з аблікаванняў, створаных менш чым за две недзелі раней, і система яе не пазначыла.
Чы гэта нарабіла адхыленняя ад правілаў?
Чалавек можа вырашыць гэта за калькі секунд. Але система, якая обрабоцвае тыячы транзакцый на дзень, не можа раслучвацца з тым, што кожны случай будзе ручна пераглядвацца чалавекам.
Вялікія модэлі, якія храняцца ў хмарах, зазвычай є дорогія, медленныя, і ў регулююцамым фінансавым контэксте часта нават не дазволяюцца да перагляду первісных дадзеных.
Ніхто не хоча, каб чалавек ручна пераглядаў кожную транзакцыю.
Ніхто таксама не хоча прынесць чутлівыя фінансавыя дакументы ў хмарны модель толькі каб рашыць простае логічнае пытанне.
Гэта самэ ў тым родзе проблема, якую створаны спецыяльны модель формальнай логіки, каб рашыць.
Основныя правілы можна разбіць працоўна так:
- Сума перавышае прагу → правда
- Вік рахунку ў межах прагу → правда
- Обея умовы выпалююць → правда
- Аператыю трэба было пазначыць → правда
- Чы была яна насправдзе пазначана? → неправда
- Вывад: правіло было наражана → правда
Тут важнае не тое, што модель мае якое-небудзь рэальнае разумеўне таго, што такое банкавы рахунак.
Няма патрэбы ў творчасці і няма неабязковасці здагадвацца — проста пашаговая логічная аналіз, яка працуе на недорогай апаратырэй у звычным офісе, пры чым ніякіх дадзеных не выкарыстоўваецца для звязку з занятымі.
Самэ гэтая прычына змушвае спецыялізаваны, не такі прыгожы модель стаць важлівейшым у павсякдзеннай бізнес-практычнасці, чым болей прыгожы універсальны модель. Контракты, умовы страхавання, спісы пераканальных заходаў, правілы аудыту, выражаныя простай мовай — усе гэта проста логічная структура, адзначаная професыяльным формулюваннем.
Існуе ўтроці прыклад практычнасці, які мне здаецца ўсё бол прыгожым: выкарыстоўванне TwIL-LM3 як шар адпраўлення на верхній ярус іншага модэля.
Ідея простая. Дазвольце вашаму великаму універсальнаму модэлю, як зазвычай, падготавіць адпаведзь, а потым перадайце гэтую адпаведзь маламу модэлю, які спецыялізуецца на логіцы, і папросіце яго пераканацца, чы розумовыя выводы дэйсна ўзаемна супараднаваны.
Уявіце саблегкі прыстрой для пераконтроўкі фактов, які стоіць па боку вялікага, творчага пісьменніка. Работа ўжо цых двух прыстроёў практычна не стварае жадных каштоў.
Гэта не ўсе, што варта знать
Калі пачнёте дакладней розбірацца, стане ясна, што категорыя модэляў, якіе эфектыва працуюць на скромным апаратным забезпечэнні без проблем, стала набагато болей населенай, чым чакалася. Калькі з іх варта ставіць у прыорітет:
- SmolLM3-3B — базовы модэль, з якога быў адточаны TwIL-LM3. Сам по сабе ён вже ўстойчывы універсальны 3B-модэль з двума режымамі аналізу, якія дазволяюць яму або шаг за шагам рашаць проблему, або даўаць відпаведзь напрэму, пры чым яго вагі є абсалютна відкрытымі.
Ніякі з эых модэляў не ўважаюцца справжнімі скарбамі. Але лёгка недаценіць тое, які прырост быў досягнут у менш вырабленай частцы галузі, пакуль вы не пачнёте шукать конкрэтны модэль і не знайдзеце цэлую групу адпоўнай прыемнасці, якія знаходзяцца проста побачы.
Чаму гэта насправдзе мае значэнне
Не так давно фразы „работае на ноутбуку“ і „праўда прыемны“ здаваліся працуположнымі пунктамі канфлікту. Прыходзіла неабходнасць выбраць адны з іх.
Этая прыемнасць скора зменшваецца, чым большасць людзей могла б падумаць. TwIL-LM3 ёсць найновейшым і найлёгкім у цитаванні падтверджэнням гэтага зменшэння, не таму, што ён яшчэ найбольш спроможны модэль, а таму, што його спецыялізацыя є намеранай, а не лімітаваннем.
Ўсім жа ёсць што-та адностайна для такога спецыялізаванага модэля, створанага самэўсёль для аднай-едзінай навыкі, які прывлекае увагу, а не шырэйшы маленькі універсальны модэль. Але можа самэўсёль гэта і ёсць сутнасць ціх слоў.
Найшырэйшы спосаб прымусіць 3B-модэль конкуруваць з 120B-модэлем — гэта не робіць яго розумней у всіх аспектах. Гэта перастаць прасіць яго быць хорашым у всім і дазволіць яму сфокусавацца.
Якщо ваша апаратная база нагадвае звычную спожывчую, варта на момант зупініцца над гэй ідеяй. Вы не такі вже й адстаеце ад значымай роботы з AI, як можа здавацца з загалоў пра велічзюя кластэры GPU.