Невеликі спеціалізовані моделі тихо перевершують величезні LLM.
Логічна модель з 3B параметрів перевершує 120B-модель LLM у формальному міркуванні на звичайному обладнанні, обробляючи більше токенів на секунду. Чому відповідність завданню важливіша за просту величину моделі.
Вам не потрібна потужна машина, щоб помітити дивні тенденції у маленьких моделях останнім часом. Багато ноутбуків ледве справляються з одночасним використанням двох вкладок браузера та сервера для розробки, проте саме про таке обладнання йдеться в цій історії.
Тож коли модель з 3 мільярдами параметрів почала порівнюватися на користь моделі з 120 мільярдами параметрів, природною реакцією було скептицизм, а не захоплення.
Твердження про те, що „маленька модель перевершує велику“, зазвичай руйнуються, як тільки переглядаєш не лише заголовок, а й справжні дані тестування.
Детальний аналіз цифр, які підтримують таке твердження, виявив щось цікавіше, ніж просто один виняток.
Існує все більше груп малих моделей, які поступово стають достатньо потужними, щоб мати значення, і ця тенденція, схоже, залишилась майже непоміченою.
Чим глибше ви дивитеся, тим більше здається, що справжня ідея не в тому, що «мале перемагає велике». Йдеться про підбір розміру моделі до розміру конкретної задачі, яку потрібно вирішити.
Модель, яка все це почала
Розглядувана модель називається TwIL-LM3; її оприлюднила компанія webAI 10 серпня 2026 року.
Це доопрацьована версія моделі SmolLM3-3B від Hugging Face, створена для однієї конкретної мети — формальної логіки.
Якщо надати їй речення звичайною англійською мовою, вона перекладає це речення у форму первинної логіки. Потім вона перевіряє, чи справді зазначений висновок випливає з наданих передумов.
Це не чат-асистент, і вона не призначена для творчого письма. Це суто дедуктивне міркування — той самий тип мислення, який лежить в основі правил дотримання норм, юридичної формулювання у контрактах та записів аудиту.
У цьому конкретному завданні він перевершує модель gpt-oss-120B від OpenAI приблизно у сорок разів за розміром у чотирьох з п’яти категорій у власному наборі тестів на формальне мислення від webAI.
Він також значно швидший: приблизно у 2,6 рази швидший за результатами власних тестів продуктивності від webAI, причому розрив ще більший у деяких показниках, хоча обидві моделі тестувалися не за однакових умов обладнання.
Тож до точного коефіцієнта швидкості варто ставитися з обережністю. Проте загальна тенденція очевидна: менша модель є швидкою.
Чесна частина, яку більшість публікацій пропускає
Ось та частина, яку зазвичай не враховують у подібних оглядах.
GPT-OSS-120B все ще випереджає інші моделі при середньому підрахунку за всіма шістьма категоріями оцінки. Qwen3-8B також перевершує TwIL-LM3 за основним показником ефективності, хоча більша частина цього переваги походить від більш послабленої методики оцінювання. За суворішими критеріями оцінювання обидві моделі фактично зрівнюються.
Отже, справа тут не в:
„Мала модель повалює гігантську модель. Усе в штучному інтелекті просто змінилося.“
Це більше схоже на:
„Невелика, спеціально розроблена модель чітко перемагає у тій самій задачі, для якої вона створена.“
Це значно менш драматичне твердження, але воно є точним та, можливо, кориснішим.
Саме тут малі моделі починають доводити свою корисність.
Моделі об’ємом 3 мільярди параметрів не повинні перевершувати моделі об’ємом 120 мільярдів у всіх аспектах.
Йому просто потрібно бути достатньо хорошим у одному вузькоспеціалізованому, повторюваному чи ресурсоємному завданні.
Уявіть калькулятор. Ніхто не називає його гіршим комп’ютером лише через те, що він не може монтувати відео. Він цінний саме тому, що створений для виконання однієї конкретної функції. Малі моделі ШІ можуть працювати за тією самою логікою.
Є один момент, на який варто звернути увагу: TwIL-LM3 постачається під некомерційною ліцензією.
Це підходить для навчання та експериментування. Але для вбудовування його у продукт, який має приносити дохід, знадобиться окрема угода про ліцензування з webAI.
Те, що важливо для людей без потужного обладнання
Версія 3B постачається у вигляді квантованого файлу розміром 1,78 ГБ. Він легко поміщається у 4 ГБ VRAM або може працювати просто на CPU. За даними webAI, він генерує приблизно 300 токенів на секунду на MacBook з процесором M2.
Існує також легша версія 1.7B, розроблена спеціально для роботи на телефонах.
Вона представлена у вигляді компактного адаптера LoRA розміром 289 МБ, який додається до SmolLM2-1.7B, і, за повідомленнями, приблизно подвоює точність логічних міркувань базової моделі.
Це варто зупинитися, адже йдеться про модель розміром з телефон, яка виконує формальні логічні міркування повністю на пристрої.
Нічого не потрібно виводити з пристрою, саме тому webAI націлюється на сфери, такі як охорона здоров’я, фінанси та фармацевтика, де дані часто не можуть покидати локальну інфраструктуру.
Тестування на справді старому обладнанні
Бенчмарк-дані мають свої обмеження, тож уявіть, що відбувається під час тестування SmolLM3 3B на обладнанні, яке зовсім не схоже на робочу станцію для штучного інтелекту.
Тестовий пристрій — це Dell OptiPlex 3020M з наступними характеристиками:
- Intel Core i5-4590T
- 4 ядра CPU
Тестування проводилося з використанням ggml-org/SmolLM3 3B за допомогою квантації Q4_K_M.
Ось деталі, які варто підкреслити.
Було надано простий запит у стилі розробника: попросити модель діяти як розробник та створити кілька різних реалізацій функції факторіалу.
Модель розглянула кілька підходів, включаючи як рекурсивні, так і ітеративні реалізації.
Під час одного запуску інтерфейс показав приблизно 24,83 токенів на секунду, причому перший результат з’явився приблизно через 0,8 секунди.
Також було протестовано звичайний конверсаційний запит — просте привітання.
Ця заміна призвела до швидкості обробки близько 36,45 токенів на секунду.
Потім запит було виконано знову, цього разу уважніше стежачи за тим, як модель його обробляє.
Під час цього виконання модель витратила більше часу на роздуми, і швидкість генерації знизилась до приблизно 5,39 токенів на секунду.
Ця зміна насправді є значущою точкою даних.
Ніщо з цього не свідчить про те, що старий десктоп перетворився на якусь потужну систему ШІ. Очевидно, що це не так.
Швидкість змінювалась залежно від характеру завдання, довжини результату та обсягу внутрішніх міркувань моделі. Але це не є основним висновком.
Справжній висновок полягає у тому, що модель об’ємом 3 мільярди параметрів генерує робочий результат на десятирічному офісному ПК із лише 16 ГБ оперативної пам’яті та без окремої відеокарти, поводячись майже як звичайний локальний асистент.
У цьому процесі не було використано жодних хмарних API.
Не було орендованих інстанцій GPU.
У фоновому режимі не працював жоден сервер об’ємом 80 ГБ.
Це просто старий настільний комп’ютер, який самостійно запускає цю модель.
Цей тест є підставою для твердження, що для отримання корисних результатів від такої моделі не потрібна відеокарта. Це не означає, що кожна модель об’ємом 3 мільярди параметрів досягає однакової швидкості на кожному пристрої — це лише звіт про те, що сталось на одному скромному, незначному обладнанні.
Приклад з реального життя, тож це не щось абстрактне
Ніхто також не хоче передавати конфіденційні фінансові записи в хмарний сервіс лише для того, щоб вирішити просте логічне питання.
Саме такі проблеми призначені для вирішення спеціалізовані моделі формальної логіки.
Основне правило можна розбити приблизно так:
- Сума перевищує поріг → істина
- Вік рахунку нижчий за встановлений ліміт → істина
- Обидві умови дійсні → істина
- Транзакцію слід було позначити → істина
- Чи була вона насправді позначена? → хиба
- Висновок: правило було порушене → істина
Тут важливим не є те, чи має модель реальне розуміння того, що таке банківський рахунок.
Не потрібна жодна креативність чи здогадки — лише поетапні висновки, які можна здійснити на недорогому обладнанні в звичайному офісі, без будь-якої передачі даних назовні.
Саме тому простий спеціалізований модель може виявитися кориснішим у повсякденному бізнес-використанні, ніж більш приваблива універсальна модель. Контракти, умови страхування, списки перевірок безпеки, правила аудиту у простій мові — усе це лише логічна структура, оформлена у професійній формулюванні.
Є ще одне застосування, яке здається мені ще більш привабливим: використання TwIL-LM3 як шару перевірки поверх іншої моделі.
Ідея проста. Дозвольте вашій великій універсальній моделі, як зазвичай, сформулювати відповідь, а потім передайте цю відповідь меншій моделі, орієнтованій на логіку, та попросіть її перевірити, чи справді міркування є послідовними.
Уявіть собі компактний пристрій для швидкої перевірки фактів, який знаходиться поруч із великим, творчим письменником. Робота цієї пари майже не вважається витратою.
Це не єдиний пристрій, про який варто знати
Як тільки ви почнете досліджувати, стане зрозуміло, що категорія моделей, які ефективно працюють на скромному обладнанні без проблем, стала набагато більш насиченою, ніж очікувалося. Ось кілька моделей, на які варто звернути увагу:
- SmolLM3-3B — базова модель, на основі якої була доопрацьована TwIL-LM3. Вже сама по собі це здатна універсальна 3B-модель із подвійним режимом мислення, який дозволяє їй або поступово вирішувати проблему, або надавати відповідь безпосередньо, причому її ваги повністю доступні для користування.
Жоден з цих моделей не є справжньою скарбницею. Але легко недооцінити той прогрес, який відбувся у найменших моделях цієї галузі, поки ви не почнете шукати певну конкретну модель та не натрапите на цілу родину схожих моделей, які знаходяться прямо поруч із нею.
Чому це насправді має значення
Не так давно фрази „функціонує на ноутбуці“ та „справді корисний“ здавалися протилежними крайнощами компромісу. Доводилося обирати одне з них.
Ця прірва зменшується швидше, ніж більшість людей могли б припустити. TwIL-LM3 є найновішим та найпростішим у посиланні доказом цього зміщення — не тому, що це найсильніша модель на ринку, а тому, що її спеціалізованість є навмисною, а не обмеженням.
У такій спеціалізованій моделі, створеній саме для однієї навички, все ще є щось трохи контрінтуїтивне — саме вона привертає увагу, а не якась більш загальна модель. Але можливо, саме в цьому й полягає справжній урок.
Найшвидший шлях до того, щоб 3B-модель могла конкурувати з 120B-моделлю, — це не робити її розумнішою в усьому. Це припинити вимагати від неї досконалості у всьому та дати їй можливість зосередитися.
Якщо ваше обладнання схоже на звичайне споживче, варто замислитися над цією ідеєю. Ви не настільки відсторонені від значущої роботи з ШІ, як може здатися з заголовків про величезні кластери GPU.