MiniCPM5-2B против 4B: почему агентный подход рассказывает другую историю

Модель с 2,5 миллиарда параметров, которая, как утверждается, превосходит конкурентов с 4 миллиардами параметров в экзаменах по программированию высокого уровня, кажется отличной сделкой. Однако при использовании в реальной многоэтапной системе агентов её производительность снижается в три раза. Оценки, полученные при однократном выполнении задач, мало что говорят о сложной реальности разработки программного обеспечения в производственных условиях. Если не сосредотачиваться только на суммарных показателях и проверять производительность локально, можно получить чёткую критерию того, когда эта модель является подходящим инструментом.

Утверждение

OpenBMB опубликовал MiniCPM5-2B 7 сентября 2026 года. Это глубокая каузальная языковая модель с 2,516 миллиардами параметров, лицензией Apache 2.0 и нативным контекстом из 131,072 токенов. Согласно заявлению разработчиков, это лучшая открытая модель с объемом данных менее 4 миллиардов параметров: она показывает средний результат 53,9 по 34 тестам и превосходит несколько конкурентов класса 4 миллиарда параметров, включая Qwen3.5-4B, с следующими показателями: MATH-500 — 94,6, AIME 2026 — 86,5, LiveCodeBench v6 — 69,1 и SWE-bench Verified — 46,4.

Здесь никто не размахивает отобранным скриншотом табло лидеров. Запуск прошел организованно и серьезно: восемь артефактов были загружены одновременно. Набор включает контрольные точки для базовой стадии, средней фазы обучения и отдельной фазы SFT, а также финальную модель, отрегулированную с использованием методов RL и OPD, конвертации в форматах GGUF и MLX, версию GPTQ в 4 бита и прототип модели с методом спекулятивной декодирования под названием MiniCPM5-2B-DSpark. Лаборатория, которая тихо тестирует свои решения на эталонных задачах, не выпускает результаты в таком виде. Похоже, здесь ожидают тщательной проверки, и поставляются файлы для каждой целевой среды выполнения — от llama.cpp и Ollama через LM Studio, vLLM и SGLang до Transformers, MLX и многочиповой системы FlagOS.

Согласно утверждениям, при полной производительности модель, примерно на 44 процента меньшая по размеру, чем Qwen3.5-4B, превосходит её по показателям в области математики, программирования и инженерии программного обеспечения. Если бы это утверждение было верным без каких-либо оговорок, оно стало бы значимым данным относительно масштабируемости моделей, ориентированных на рассуждения после обучения. Однако оно не верно без оговорок, и самое интересное — это то, где и почему оно теряет силу.

Что скрывается за кулисами

Знание того, что на самом деле используется, помогает, поскольку архитектура учитывает как сильные стороны, так и слабые места. MiniCPM5-2B — это декодер, построенный примерно так же, как LlamaForCausalLM: 42 слоя трансформера с использованием группового внимания к запросам, при этом 16 голов запросов делятся 2 головами ключей/значений. Соотношение 8 к 1 является впечатляющим для модели такого размера. Оно значительно уменьшает размер кэша KV на токен, что полезно, когда необходимо сохранять длинные истории вызовов инструментов или когда несколько сессий агентов используют одну GPU. Не применяется никакое необычное разреженное или линейное внимание, хотя аналогичные модели из семейства MiniCPM, MiniCPM-SALA и MiniCPM4, экспериментировали с гибридными подходами. Команда осталась при знакомом механизме и сосредоточила усилия в других областях.

Факторы, влияющие на это, — длина контекста и процесс отбора обучающих данных. Нормальное количество токенов в 131 072 является необычным для моделей с 3 млрд параметров, поскольку большинство моделей такого размера достигают пика в 32–64 тыс. токенов, после чего качество снижается. В задачах с агентным поведением, где модель должна вести всё более длинный журнал вызовов, различий и вывода из оболочки, такой запас важнее, чем простое количество параметров.

Модель работает только с английским и китайским языками, не имеет возможностей для обработки изображений и аудио. Это целенаправленное ограничение, а не упущение, поскольку каждый параметр, затрачиваемый на мультимодальную синхронизацию, — это параметр, не затрачиваемый на рассуждения и использование инструментов. OpenBMB также опубликовала данные после обучения: UltraData-SFT-Agent-2609 с 500 тыс. примеров траекторий действий агента и UltraData-RL-2609 с более чем 80 тыс. примеров для метода RL. Это настоящая прозрачность, поскольку поведение агента, встроенное в модель, можно проверить непосредственно, а не только предполагать на основе различий в результатах тестов.

После понимания архитектуры утверждения, содержащиеся в тестах, превращаются из абстрактных чисел в проверяемые гипотезы относительно конкретного декодера и определенного способа обучения.

Первый прорыв: 23 против 15

Проблемы возникли в течение дня после запуска. В объявлении OpenBMB указывалось, что оценка по индексу искусственного аналитического интеллекта для этой модели составляет 23, тогда как независимый трекер Artificial Analysis показал значение 15. Позже индекс был скорректирован, и его значение приблизилось к 13. Естественной реакцией стало вопрос о том, не завысила ли OpenBMB собственные показатели.

Этого не произошло, и этот случай заслуживает тщательного рассмотрения, поскольку импульсивное возмущение — это неправильная, но в то же время самая распространённая реакция на расхождения в показателях. В пояснении к методологии от Artificial Analysis объясняется причина этого различия. По сути, разница обусловлена не ухудшением качества модели. Изменилась процедура оценки: теперь частные тестовые наборы составляют 40 процентов от общего веса оценки, что выше, чем в предыдущих версиях, а в версии 4.2 были добавлены два новых компонента — оценка агентности с использованием инструмента AA-Briefcase и тест на обработку длинных контекстов.

Цифра 23, приведённая OpenBMB, была получена с использованием версии Интеллектуального индекса v4.1.1. К тому времени, когда люди начали сравнивать эти цифры, публичный трекер уже обновился до версии v4.2, в которой изменилась система взвешивания показателей и появились два компонента, отсутствовавших при расчёте первоначальной цифры. Сравнение значения 23 в одной версии с цифрой 15 в другой не является ложью — речь идёт о сравнении двух разных методик измерения, после чего выражается удивление из-за несоответствия результатов.

Настоящая ошибка заключается в ранних публикациях, где обе цифры печатались рядом без указания того, что они получены из разных версий индекса; это привело к ошибочному выводу, который никогда не подтверждался данными. В статьях, приводящих суммарный балл индекса, необходимо указывать версию, с которой он был рассчитан. Если этого не делать, цифры 23 и 15 нельзя сравнивать — на самом деле это два разных показателя, объединённых одним названием.

Эту проблему можно решить. Вторую же решить почти так же просто не удастся.

Настоящий разрыв: инструменты для управления агентами

Цифра, которая должна изменить восприятие этой модели, приводится в Terminal-Bench v2.1. У MiniCPM5-2B там показатель от 8,6 до 9, в то время как у Qwen3.5-4B — 25,8. Это примерно тройной разрыв, из-за которого MiniCPM5-2B занимает восьмое место в этом тесте, хотя он лидирует в Индексе интеллекта среди моделей своего размера. SWE-bench Pro показывает аналогичную картину: у MiniCPM5-2B показатель 14,4 против 28,2 у Qwen3.5-4B, что составляет примерно двойной разрыв.

Укажите это рядом с утверждением о запуске. Результат OpenBMB в тесте SWE-bench Verified, составляющий 46,4 и приводимый в качестве доказательства превосходства над Qwen3.5-4B, является одним из оснований для заголовка о превосходстве над 4B. Однако SWE-bench Pro — это не тот же тест с более пугающим названием. В нем используется более широкий и сложный набор реальных проблем из репозиториев, и тест выполняется с использованием реальной системы агентов, при этом версия Verified ближе к генерации патчей за один раз. Terminal-Bench ещё дальше отходит от оценки за один раз: это живая терминальная среда, в которой модель должна планировать действия, выполнять команды, читать результаты и исправлять свои ошибки на протяжении множества этапов.

Независимая оценка, проведённая MindStudio, говорит прямо: модель показывает потенциал в некоторых тестах на способности агентов, но сильно отстаёт от Qwen в более сложных тестах на такие способности, как SWE-bench Pro и Terminal-Bench.

Этот результат, гораздо более значимый, чем несоответствие версий индекса, должен скорректировать ожидания. Предусмотрены награды за написание корректного патча для выполнения четко определенной задачи, представленной в виде однократной генерации в рамках инженерных решений. Тесты Terminal-Bench и SWE-bench Pro предусматривают награды за стабильную работу модели на протяжении множества этапов использования инструмента, восстановление после неудачной команды терминала и избежание срыва выполнения плана на третьем шаге. Очевидно, что модель хорошо справляется с первым типом задач, но значительно слабее — со вторым. Любой, кто будет использовать ее в качестве автономного подагента для программирования вместо инструмента для написания патчей за один этап, столкнется с проблемами второго типа.

Эта разница реальна и не устранена, и никакие методологические факторы ее не объясняют, поэтому ее следует проверить вручную, а не полагаться на суммарные показатели любой из сторон.

Воспроизведение локально

Похоже, никто не публиковал систематических данных о количестве токенов в секунду в зависимости от уровня квантования на реальном оборудовании. Предоставляемая информация в основном повторяет таблицу тестов из версии программы или приводит единичные показатели скорости. Приведённые ниже цифры относятся к одному запуску, а не к контролируемым тестам с разными настройками, поэтому они служат лишь ориентиром для локальных измерений, а не окончательным выводом.

Занимаемая память при квантовании в контексте 8K:

• Q4_K_M: примерно 2,78 ГБ
• Q8_0: примерно 3,7 ГБ
• BF16/FP16: примерно 6,3 ГБ

По данным независимых источников, скорость обработки составляет примерно 144,23 токена в секунду на видеокарте RTX 3070 Ti с 8 ГБ VRAM, при использовании модели с квантованием Q4 в LM Studio с одним потоком — это довольно скромная потребительская карта. В обсуждениях на Hacker News упоминалось, что на одной системе DGX Spark могут одновременно работать 32 подагента, что дает среднюю скорость в 931 токен в секунду, а максимальная скорость достигает 1 364 токенов в секунду. Это второе значение соответствует предполагаемому использованию: цель не в победе в соревновании по задержкам при одном потоке. Коэффициент GQA и небольшие размеры системы предназначены для одновременной обработки множества сессий, и 32 агента, работающих на одном узле, идеально подходят для этой цели.

Самый быстрый способ воспроизведения таких результатов — это Ollama:

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Recommended flags for flash attention + quantized KV cache
OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve &

# Run directly from Ollama's registry
ollama run openbmb/minicpm5-2b

Для конкретной квантовки, взятой из Hugging Face и использованной в llama.cpp:

huggingface-cli download openbmb/MiniCPM5-2B-GGUF \
  MiniCPM5-2B-Q4_K_M.gguf \
  --local-dir ./minicpm5-2b-gguf

Для масштабированной работы, совместимой с OpenAI, vLLM:

pip install vllm

vllm serve openbmb/MiniCPM5-2B \
  --max-model-len 131072 \
  --dtype bfloat16 \
  --port 8000

# Query it like any OpenAI chat completion endpoint
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model": "openbmb/MiniCPM5-2B", "messages": [{"role": "user", "content": "Write a quicksort in Rust"}]}'

Качество работы модели варьируется в зависимости от задачи таким образом, который не отражается в общих показателях эффективности. Практические тесты GGUF в MindStudio показали, что модель Q8_0 хорошо справляется с автономным программированием, а также с проверяемыми математическими и физическими вычислениями, однако сильно терпит неудачу при отладке SQL-запросов, специфичных для определенной структуры данных, и при многоязычном переводе, давая уверенные, но фактически неверные ответы.

Такое уверенное, но неверное поведение имеет большее значение, чем любой процент точности. Очевидные ошибки легко обнаружить в процессе проверки, но именно уверенные в своей правоте ошибки приводят к тому, что неисправная миграция SQL попадает в производственную среду. Еще одна проблема связана с воспроизводимостью: llama.cpp ведет себя совершенно по-разному в зависимости от версии сборки и от того, как фронтенд использует шаблон чата. Если локальные значения отличаются от значений у кого-то другого, сначала проверьте версию сборки, прежде чем делать вывод о изменении модели.

В целом местные данные согласуются с наблюдаемыми различиями в тестах Terminal-Bench и SWE-bench Pro. Задачи с четкими ограничениями и возможностью проверки выполняются успешно, тогда как ситуация становится более нестабильной там, где требуется точное знание внешней структуры или многократное принятие решений без четких критериев. Независимые источники единообразно подтверждают эту закономерность, что позволяет полагаться на нее при принятии решения.

Когда эту модель следует выбирать

После устранения споров, связанных с тестами, остается полезная система принятия решений, которая не предполагает оценки «хорошо» или «плохо».

Идеальные случаи применения:

• Работа большого количества подагентов одновременно. Критически важными являются эффективность использования памяти благодаря технологии GQA и скорость обработки 931 токена в секунду при работе 32 агентов на устройстве DGX Spark; это значительно важнее, чем показатель индекса.

Развертывание на устройстве и на периферии. Файл размером 2,78 ГБ, требуемый в четвертом квартале, комфортно работает на потребительском оборудовании, телефонах и мини-ПК с использованием форматов GGUF или MLX.

Рабочие процессы, в которых хранятся длинные логи инструментов или документы, и при этом действительно используется окно размером 131 КБ, без отдельного слоя поиска информации.

Локальная обработка данных, где важна задержка, с использованием модели MiniCPM5-2B-DSpark в качестве промежуточной модели для спекулятивной декодировки.

Слабые стороны:

• Генерация кода в свободной форме или для творческих целей. Во внешних тестах были получены худшие результаты по сравнению с специализированными моделями для программирования при выполнении таких задач, как создание HTML-страниц или SVG-иллюстраций, поскольку сильные стороны модели заключаются в логическом мышлении, математике, использовании инструментов и вызове функций.
• Отладка SQL с учетом специфических схем и многоязычный перевод, в которых модель часто демонстрирует неуверенные ошибки вместо гибкого решения проблем.
• Любые задачи, обрабатываемые с использованием более сложных агентных механизмов. Продакшн-агенты, работающие с многократными терминальными сессиями или задачами уровня Pro на платформе SWE-bench, показывают отставание в два-три раза по сравнению с Qwen3.5-4B, и это не ошибка округления.

Справедливости ради стоит отметить: возражения о том, что для сравнений используются устаревшие версии моделей, такие как Qwen2.5-2B или Gemma-2B, относятся к второстепенным комментариям, а не к официальной информации о модели. В официальных данных сравнение проводится с самыми современными моделями — Qwen3.5-2B, Gemma-4-E2B-it, granite-4.2-3B и LFM2.5-2.6B. Критика этой версии должна быть направлена на её действительно слабую сторону — отставание в использовании агентных механизмов, а не на возражения по поводу устаревших базовых моделей, которые опровергаются первоисточником.

Утверждения о результатах тестирования касаются конкретных тестов

Если не обращать внимания на эту конкретную модель, более важным является общий урок, который стоит запомнить. Утверждение о модели Beats-4B верно, но ограничено в своих рамках. Оно основано на математических расчётах OpenBMB и наборах тестов для однократного кодирования AIME, LiveCodeBench и SWE-bench Verified, а также на агрегированных результатах Artificial Analysis после их корректировки. Однако модель показывает слабые результаты на Terminal-Bench и SWE-bench Pro, где Qwen3.5-4B опережает её в два-три раза. Все эти утверждения одновременно верны.

Стандартная процедура для любых будущих утверждений о моделях с объёмом данных меньше 4 миллиардов параметров: сначала протестировать их по как минимум одному конкурентному тесту, имитирующему реальные задачи, такому как Terminal-Bench, SWE-bench Pro или аналогичным, прежде чем позволять наборам тестов для однократного применения предсказывать производительность модели. Создание одного патча и выполнение многократных задач — это разные навыки, и модель может отлично справляться с первым, оставаясь средней по второму. В опубликованных в Твиттере агрегированных результатах никогда не указывается, какой именно навык оценивается.

Для любого агрегированного индекса с фиксированной версией, будь то от Artificial Analysis или кого-либо ещё, номер версии является обязательным метаданным. Он позволяет отличить настоящее несоответствие от искусственно созданного. История с разницей 23 против 15 казалась скандалом примерно день, пока примечания к методологии не показали обычное повышение версии. Следующий спор по поводу критериев оценки может разрешиться таким же образом или нет, и единственный способ узнать это — проверить.

Что можно извлечь

Учитывая свои размеры, MiniCPM5-2B действительно хорошо спроектирован: он содержит 42 слоя, соотношение GQA составляет 8 к 1, имеет 131K элементов нативного контекста, открытые данные для обучения и восемь согласованных артефактов, работающих с устройствами от DGX Spark до ноутбука. То, что в некоторых критериях оценки он демонстрирует хорошие результаты, а в других — нет, ничего из этого не меняет. Критерии оценки — это узкие инструменты, каждый из которых измеряет что-то конкретное, и общий балл никогда не может рассказать всю историю.

Прежде чем принимать решение о покупке следующей небольшой модели, которая звучит слишком хорошо, чтобы быть правдой, проведите тестирование по как минимум одному стандарту оценки агентных систем и убедитесь в достоверности версии, лежащей в основе любого суммарного индексного рейтинга. Одна лишь цифра из заголовка не должна определять выбор архитектуры.