Небольшие специализированные модели тихо превосходят гигантские LLM.
Логическая модель с 3B параметрами превосходит 120B-модель LLM в формальном рассуждении на обычном оборудовании, обрабатывая больше токенов в секунду. Почему подходящая задача важнее, чем просто размер модели.
Источники: I Don’t Own a GPU. These Models Don’t Care.
В последнее время для обнаружения необычностей в работе небольших моделей совсем не обязательна мощная машина. Многие ноутбуки с трудом справляются с одновременной работой двух вкладок браузера и сервера разработки, однако именно о таком оборудовании идет речь в этой статье.
Поэтому, когда модель с 3 миллиардами параметров начала сравниваться в пользу модели с 120 миллиардами параметров, естественной реакцией было скептицизм, а не восторг.
Утверждения о том, что «маленькая модель превосходит большую», как правило, рушатся, как только вы заглядываете за заголовки и смотрите на реальные данные тестирования.
Изучение цифр, лежащих в основе одного из таких утверждений, показало нечто более интересное, чем просто единичный аномальный результат.
Существует все больше небольших моделей, которые постепенно становятся достаточно мощными, чтобы иметь значение, и этот тренд, по-видимому, в основном остается незамеченным.
Чем глубже мы в это заглядываем, тем больше кажется, что настоящая идея не в том, что «маленькие модели побеждают большие». Речь идет о соответствии размера модели объему конкретной задачи.
Модель, которая все начала
Речь идет о модели под названием TwIL-LM3, выпущенной компанией webAI 10 августа 2026 года.
Это отрегулированная версия SmolLM3-3B от Hugging Face, созданная с единственной узкой целью — формальной логике.
Если ввести ей предложение на простом английском языке, она переводит его на логику первого порядка. Затем она проверяет, действительно ли из заданных предпосылок следует указанный вывод.
Это не чат-ассистент и не предназначен для творческого письма. Это чистое дедуктивное мышление — тот же тип рассуждений, который лежит в основе правил соблюдения норм, юридических формулировок в контрактах и записей аудита.
По этой конкретной задаче он превосходит модель gpt-oss-120B от OpenAI примерно в сорок раз благодаря своим меньшим размерам, показав лучшие результаты в четырех из пяти категорий в собственном наборе тестов на формальное рассуждение от webAI.
Он также значительно быстрее: примерно в 2,6 раза быстрее согласно тестам на пропускную способность от webAI, причем разница еще больше по некоторым показателям, хотя обе модели тестировались не в одинаковых аппаратных условиях.
Поэтому к точному коэффициенту скорости следует относиться с осторожностью. Тем не менее общая тенденция ясна: более маленькая модель работает быстрее.
Часть, которую обычно опускают
Вот та часть, которую обычно не упоминают в подобных материалах.
GPT-OSS-120B по-прежнему оказывается лучше при среднем подсчёте по всем шести категориям оценки. Qwen3-8B также превосходит TwIL-LM3 по основному показателю эффективности, хотя большая часть этого преимущества обусловлена более свободным методом оценки. При более строгих критериях оценки оба модели оказываются практически на одном уровне.
Следовательно, ситуация здесь не такая:
«Маленькая модель свергла гигантскую модель. Всё в области ИИ только что изменилось».
Это скорее похоже на:
«Небольшая, специально разработанная модель однозначно побеждает в той задаче, для которой она была создана».
Это гораздо менее драматичное утверждение, но оно более точное и, пожалуй, более полезное.
Именно здесь маленькие модели начинают доказывать свою ценность.
Модели объёмом 3 миллиарда параметров не обязаны превосходить модели объёмом 120 миллиардов параметров во всех аспектах.
Ему просто нужно быть достаточно хорошим в одной узкой, повторяющейся или ресурсоемкой задаче.
Вспомните калькулятор. Никто не называет его слабым компьютером только потому, что он не может редактировать видео. Он ценен именно потому, что создан для выполнения одной конкретной функции. Небольшие модели ИИ могут работать по той же логике.
Следует учесть одно ограничение: TwIL-LM3 поставляется по некоммерческой лицензии.
Это подходит для обучения и экспериментов. Но включение его в продукт, предназначенный для получения дохода, потребует отдельной договоренности о лицензировании с webAI.
Что важно для тех, у кого нет высокопроизводительного оборудования
Версия объемом 3 миллиарда параметров поставляется в виде 1,78 ГБ квантизированного файла. Он легко помещается в 4 ГБ видеопамяти или может работать просто на процессоре. По данным webAI, он генерирует примерно 300 токенов в секунду на MacBook с процессором M2.
Существует также более легкая версия объемом 1,7 млрд параметров, разработанная специально для работы на телефонах.
Это компактный адаптер LoRA объемом 289 МБ, добавленный к модели SmolLM2-1,7B; по сообщениям, он примерно вдвое повышает точность логических рассуждений базовой модели.
Это действительно стоит внимания — модель размером с телефон, способная к формальным логическим рассуждениям, работающая полностью на устройстве.
Ничто не должно покидать устройство, и именно поэтому webAI нацеливается на использование этой технологии в таких сферах, как здравоохранение, финансы и фармацевтика, где данные часто не могут покидать локальную инфраструктуру.
Тестирование на действительно устаревшем оборудовании
Бенчмарк-тесты имеют свои ограничения, поэтому стоит рассмотреть, что происходит при тестировании SmolLM3 3B на оборудовании, далеком от рабочих станций, предназначенных для работы с ИИ.
Тестовым устройством был Dell OptiPlex 3020M с следующими характеристиками:
- Intel Core i5-4590T
- 4 ядра процессора
Тестировалась версия ggml-org/SmolLM3 3B с использованием квантизации Q4_K_M.
Вот ключевые детали, заслуживающие внимания.
Была дана простая команда в стиле разработчика: попросить модель действовать как разработчик и создать несколько различных реализаций функции факториала.
Модель рассмотрела несколько подходов, включая как рекурсивные, так и итеративные реализации.
Во время одного запуска интерфейс показал скорость примерно 24,83 токена в секунду, причем первый результат появился примерно через 0,8 секунды.
Также была протестирована простая разговорная команда — приветствие.
В результате этого теста быстрая скорость обработки составила примерно 36,45 токенов в секунду.
Затем запрос с использованием факториала был выполнен снова, на этот раз уделяя больше внимания тому, как модель рассуждала при его обработке.
Во второй раз модель потратила больше времени на размышления, и скорость генерации снизилась до примерно 5,39 токенов в секунду.
Это изменение на самом деле является значимой точкой данных.
Ничто из этого не указывает на то, что устаревший настольный компьютер превратился в какой-то мощный ИИ-сервер. Очевидно, это не так.
Скорость менялась в зависимости от характера задачи, длины результата и степени внутренних рассуждений модели. Но это не самое главное.
Главный вывод заключается в том, что модель объемом 3 млрд параметров смогла генерировать рабочий результат на десятилетнем офисном ПК с всего 16 ГБ оперативной памяти и без отдельной видеокарты, ведя себя примерно как обычный локальный ассистент.
В процессе не использовалось никаких облачных API.
Не применялись арендованные инстансы GPU.
В фоне не работал сервер объемом 80 ГБ.
Это был просто устаревший настольный компьютер, самостоятельно обрабатывающий модель.
Этот тест служит основанием для утверждения, что для получения полезных результатов от подобной модели не требуется GPU. Речь не идет о том, что каждая модель объемом 3 млрд параметров будет работать с одинаковой скоростью на любом устройстве — это лишь отчет о том, что произошло на одной скромной, ничем не примечательной конфигурации.
Пример из реальной жизни, поэтому это не абстракция
Представьте себе небольшую финтех-компанию, у которой команда по соблюдению нормативов разработала политику простым языком: транзакции сверх определенного долларового порога, исходящие с счетов, открытых сравнительно недавно, должны автоматически отмечаться для ручной проверки, а не обрабатываться без внимания.
Теперь предположим, что поступила транзакция на сумму, явно превышающую этот порог, с счета, открытого менее двух недель назад, и система ее не отметила.
Нарушает ли это политику?
Человек может разобраться в этом за несколько секунд. Но система, обрабатывающая тысячи транзакций в день, не может полагаться на ручную проверку каждого случая человеком.
Крупные модели, работающие в облаке, зачастую бывают дорогими, медленными, и в регулируемой финансовой среде им часто даже не разрешают просматривать сырые данные.
Никто не хочет, чтобы человек вручную проверял каждую транзакцию.
Никто также не хочет передавать конфиденциальные финансовые записи в облачную среду лишь для решения простого логического вопроса.
Именно такие проблемы и предназначены для решения специализированные модели формальной логики.
Основное правило можно разложить примерно так:
- Сумма превышает установленный порог → истина
- Возраст счета меньше установленного времени → истина
- Обе условия выполняются → истина
- Транзакция должна была быть отмечена → истина
- Была ли она действительно отмечена? → ложь
- Вывод: правило было нарушено → истина
Здесь важно не то, что у модели есть реальное понимание того, что такое банковский счет.
Не требуется никакой креативности и угадывания — достаточно пошагового вывода с использованием недорогого оборудования в обычном офисе, причем данные никогда не отправляются наружу.
Именно поэтому простой специализированный инструмент может оказаться более полезным в повседневной деловой практике, чем более красиво оформленный универсальный инструмент. Контракты, условия страхования, списки проверок безопасности, правила аудита, изложенные простым языком — всё это лишь логическая структура, облеченная в профессиональную формулировку.
Есть ещё одно применение, которое кажется мне ещё более привлекательным: использование TwIL-LM3 в качестве слоя проверки поверх другой модели.
Идея проста. Пусть ваша крупная универсальная модель, как обычно, составит черновик ответа, а затем передаст его небольшой модели, ориентированной на логику, с просьбой проверить, действительно ли рассуждения логичны.
Представьте себе компактный инструмент для быстрой проверки фактов, стоящий рядом с мощным и творческим писателем. Работа этих двух инструментов вместе практически не сопряжена с затратами.
Это не единственный инструмент, о котором стоит знать
Как только вы начинаете исследовать, становится ясно, что категория моделей, которые могут эффективно работать на скромном оборудовании без существенных проблем, оказалась гораздо более населенной, чем ожидалось. Несколько моделей, на которые стоит обратить внимание:
- SmolLM3-3B — базовая модель, на основе которой была отточена TwIL-LM3. Сама по себе она уже является мощной универсальной 3B-моделью с двумя режимами обработки информации: возможность пошагового решения задачи или непосредственного ответа, причем её веса полностью доступны для использования.
Ни одна из этих моделей не является настоящим сокровищем. Но легко недооценить прогресс, достигнутый в более простых версиях этой области, пока вы не начнёте искать конкретную модель и не наткнётесь рядом с ней на целую серию сопоставимых вариантов.
Почему это действительно важно
Не так давно понятия «работает на ноутбуке» и «действительно полезен» казались противоположными полюсами компромисса. Приходилось выбирать что-то одно.
Эта пропасть сужается быстрее, чем многие могут себе представить. TwIL-LM3 оказалась самым свежим и легко цитируемым примером этого сдвига — не потому, что это самая мощная модель на рынке, а потому, что её ограниченность является целенаправленной, а не недостатком.
Всё ещё есть что-то довольно противоречивое в том, что именно такая специализированная модель, созданная исключительно для одного навыка, привлекает внимание, а не более общая универсальная модель. Но возможно, именно в этом кроется главный урок.
Самый быстрый способ сделать модель объёмом 3 миллиарда параметров конкурентоспособной по отношению к модели с 120 миллиардами параметров — это не делать её умнее во всех аспектах. Нужно перестать требовать от неё совершенства во всём и позволить ей сосредоточиться.
Если у вас оборудование похоже на обычное потребительское, стоит задуматься над этой идеей. Вы не настолько отстранены от значимой работы с ИИ, как может показаться из заголовков о гигантских кластерах GPU.