MiniCPM5-2B супраць канкурэнтаў на 4B: чаму агентная абвязка паказвае іншае
MiniCPM5-2B перамагае канкурэнтаў на 4B у аднакрокавых тэстах, але ў агентных абвязках адстае ў два-тры разы. Блытаніна з бенчмаркамі і прапускная здольнасць у Ollama.
Крыніцы: The 2B Model That Beats 4B Rivals — Until You Test It as an Agent
Мадэль з 2,5 мільярда параметраў, якая, як стверджуецца, перавышае показнікі своіх супернікав з 4 мільярда параметраў у прыголэткавых тэстах з програмавання, здаецца вельмі прыемной пропозыцыяй. Аднак як толькі такую ж мадэль включаюць у рэальную сістэму з калькуляцыямі на калькуляцыях, яе эфектывасць падае аж у тры разы. Оцэнкі, атрыманыя пасля адной тэставання, мало ў чым павідамляюць пра складную рэальнасць розрабоцтва програмнага забезпечэння. Аналіз па аддзінам показніку індэкса і перацэлаванне працы на месцы даюць конкрэтную схему для выбору часу, калі гэтая мадэль ёсць правым інструментам.
Тэза
OpenBMB выпусціў MiniCPM5-2B 7 септэбра 2026 года. Гэта ўплотненыя лінгвістычныя мадэлі з прычынна-наследным падходам, якія маюць 2,516 мільярда параметраў, ліцэнзію Apache 2.0 і внутршній кантэкст на 131,072 токэнаў. За данымі выпуску, гэта лепшая адкрытая мадэль у катэгорыі менш 4 мільярда параметраў; ў яе сярэжны бал складае 53,9 па 34 прабамкам, і яна перавышае кілька конкурэнтам у катэгорыі 4 мільярда параметраў, укладаючы ў сябе Qwen3.5-4B, з такімі рэзультатамі: MATH-500 — 94,6, AIME 2026 — 86,5, LiveCodeBench v6 — 69,1 і SWE-bench Verified — 46,4.
Ніхто тут не показвае выбраныя скрыншоты таблыцы лідэраў. Запуск быў арганізаваны і серьзны: восьма артыфактав падышлі разам. У комплекце ўключаныя контрольныя пункты для базовага этапу, серэдзіны трэнінгу і толькі SFT, а таксама фінальная мадэль, настроеныя за дапамогою RL і OPD, канверсіі у фарматах GGUF і MLX, версія GPTQ у 4-х бітах, а таксама прыкладная мадэль дэкадавання пад назвай MiniCPM5-2B-DSpark. Лабараторыя, якая тыха працуе над тэстамі, не выклікаецца такім чынам. Цяжкая мадэль, здаецца, спакоўна чакае рэгулярнага аналізу і прыходзіць разам з файламі для кожнага магчымага рэжыму выканання — ад llama.cpp і Ollama праз LM Studio, vLLM і SGLang да Transformers, MLX і мультычыповага FlagOS.
За ўсіма прамэтрамі стверджуецца, што мадэль, якая ў 44 процэнты меньшая за Qwen3.5-4B, перавышае яе па рэзультатах тэстаў у галузі матэматыкі, програмавання і інжынерыі прыладоў. Якбы гэта было правдай без жадных адзінакоў, гэта была бы значымая інформацыя пра можлівасці розшырэння такіх модэляў для задач, якія выклікаюць логічнае мышлэнне пасля трэніравання. Аднак гэта не ўсё так проста, і цікавае там, дэкле гэта не працуе і чаму.
Што знаходзіцца за кулісамі
Знанне таго, што на самай працоўвае, дапамага, таму што архітэктура урахоўвае як сілы, так і слабасі. MiniCPM5-2B — гэта дэкадэр, побудаваны падобна да LlamaForCausalLM: 42 шары трансфармера, якія выкарыстоўваюць групаванае зверненне з запітамі, пры чым 16 галоў запіта дзеліцца 2 галовамі ключа/значэння. Спявазанне 8 да 1 ў такой большай модэлі ўважаецца адважным рашэннем. Ён значна зменшывае розмер кэша KV на адны токен, што ёсць корыстным, калі трэба зберагаць дужа дзьвінкія історыі вызываў інструментаў або калі калькі сэсій агентаў дзеліцца аднай GPU. Не выкарыстоўваецца ніякага экзотычнага розрэджанага чы лінейнага звернення, нават якіх, хоця модэлі з сям’і MiniCPM, MiniCPM-SALA і MiniCPM4, експерыментавалі з гібрыдамі. Команда засталася пры звычным механізме і направіла зусілля ў іншыя аспекты.
Прычына гэтага — дужыня кантэксту і адзначна падборка дадзенняў для навчання. Нормальная колькасць токэнаў у 131 072 ёй являецца нечыстаю для модэляў з 3 мільярдаў параметраў, адколькі большасць модэляў такога размеру досягаюць максімуму у 32–64 тысяч токэнаў, пасля чаго якосьць падупае. У задачах, дзе модэль павінен ведаць пра ўсе дэльнейшыя логі вызываў, разлікоў і выходных даных шэлу, такі запас мае большое значэнне, чым проста колькасць параметраў.
Мадэль падчырхоўвае толькі англійскі і кітайскі языкі, без возможнасці аналізу візуальных дадзенняў і аудыя. Гэта ўсвядомленая практыка, а не працяжка, адтолькі кожны параметр, які вітрачаецца на мультымадальную супараднасць, — гэта параметр, які не вітрачаецца на логічныя выводы і вікорыстоўванне інструментаў. OpenBMB таксама выдала дадзеныя пасля трэнавання: UltraData-SFT-Agent-2609 з 500 тысячам прыкладаў траекторыі дзеяння агента і UltraData-RL-2609 з аднакоў 80 тысячам прыкладаў RL. Гэта справжняя працяжнасць, адтолькі поведзенне агента, убудованае ў мадэль, можа быць пераглянута, а не толькі спадзявацца на розлікі па крытэрыях.
Калі архітэктура зрозумела, тэзы крытэрыяў ператвараюцца з абстрактных цыфр у перапытныя гіпотэзы пра аднаго конкрэтнага дэкадэра і адну конкрэтную схему трэнавання.
Першы прыклад: 23 проты 15
Уж чырвоць дзён пасля запуску з’явіліся проблемы. У аанаунсе OpenBMB быў наведэны рэйтынг індэкса штучнага інтэлекту для гэтага модэлю у розмярэ 23, тады як незалежны трэкер Artificial Analysis паказаў 15. Пазнейшая перакалібраванне індэкса дала значэнне блізкое да 13. Цілкам зрозумелым быў запітанне, чы не перавысіла OpenBMB сабее ці фігуры.
Гэтага не было, і гэты случай заслуговае на атрыбутыўны анаіз, адтак як рэфлектарны гнев — гэта неправыя рэакцыі на розніцу ў показніках, а таксама найбольш распашчастая з іх. У прымэтце да методалогіі ад Artificial Analysis пояснюецца гэта разліка. Коротка сказанне, розніца не вынікае з таго, што модэль паслабіўся. Змянілася методыка ацэнкі: прыватныя наборы тэстаў цяпер станавяць 40 процэнтав ад загальнага вага, у працоўнасці з паказванням пакананых версіях, а версія 4.2 дадала два новыя элементы — ацэнку агентнай дзеяльнасі AA-Briefcase і тэст на дзейнасць у дужым кантэксце.
Цяклік 23 ад OpenBMB быў вылічаны на адпаведнасці Intelligence Index v4.1.1. Калі людзі пачалі пораўнюваць цыфры, версія індэкса ў публічным трэкеры ўжо была v4.2, з іншым спосабам вазавання элементаў і двума складовымі, якіх не было пад час вылічэння пачатковага цякліка. Параўнанне цякліка 23 ад аднай версіі з цяклікам 15 ад іншай не ўскрывае брэхні — гэта проста параўнанне двух разных методаў вылічэння, пасля чаго выражаецца здзівленне з-за розніцы рэзультатаў.
Праўая прычына проблемы крыўціцца ў ранніх публікаціях, якія прадавалі обе цыфры пашыроўна, не адзначаючы, што яны вылічаны на разных версіях індэкса, што прывела да неправедных вывадаў, якія ніколі не падтрымваліся дакументамі. У артыкулах, дзе наводзіцца сумарны бал індэкса, неабходна адзначаць версію, на якой ён вылічаны. Калі гэтага не робіцца, цяклікі 23 і 15 нельга пораўнюваць — гэта насправды два разных показнікі, якія проста маюць аднаковую назву.
Першую проблему можна рашыць. Другую ж рашыць значна сложней.
Праўdziва разліка: агентныя супорныя прылады
Цыфра, якая павінна змяніць спрыт да гэтага модэлю, выведзена з Terminal-Bench v2.1. У цім тэсце MiniCPM5-2B пасягае 8.6–9 балоў, тады як Qwen3.5-4B — 25.8 балоў. Гэта стварае разліку прыблізна у тры разы, і з-за гэтага MiniCPM5-2B займае восьмое месца ў гэтым тэсце, хоця ён лідыруе ў Індэксе інтэлігэнціі сярод модэляў сваёй велічыны. SWE-bench Pro паказвае аднаковую картыну: у MiniCPM5-2B 14.4 балоў проты 28.2 балоў у Qwen3.5-4B, тое ўсьмо разліка прыблізна у два разы.
Значэнне 46,4, якое паказае SWE-bench Verified ад OpenBMB і якое наводзіцца як перамога над Qwen3.5-4B, ўтварае адну з аснов для заголовка пра перамогу над 4B. Але SWE-bench Pro — гэта не той жа тэст, толькі з болей страшным назвам. У ям вікорыстоўваецца шырэйшы і болей агрэсіўны набор рэальных проблем рэпазітарыяў, і ён працюе за дапамогою рэальнага агентнага інструментарыя; пры тым метод Verified бліжэй да стварэння патча за адну спробу. Terminal-Bench ўсё больш адстае ад оцэнкі за адну спробу — гэта жывая тэрмінальная асяроддзе, у якой мадэль должна планаваць, выкананыць каманды, чытаць выходныя даны і восстанавляцца з сабеўласных памылак працуючы ў тэчэнні часу.
Незалежная оцэнка ад MindStudio ясна паказала: мадэль параджае надзеі на дзеякіх агентных тэстах, але значна астаецца позаду Qwen на болей складных агентных тэстах, такіх як SWE-bench Pro і Terminal-Bench.
Гэты рэзультат, які значна больш за несасварэнне версій індэкса, павінен скорэктаваць аспекты. Апрацоўкі, якія падтверджваюць адплата за правільны патч да аднароднага, структураванага заведамства, якое ўособліваеся як аднаэтапна генерацыя і прыкладынваецца як інжынерыя, а таксама аплата Terminal-Bench і SWE-bench Pro за стабільную працэю працоўніка працоўніка ў многія раунды выкарыстоўвання інструментаў, вярненне пасля неудачнага каманды шэлу і адвэтыранне краху на трохох кроках у плане, паказваюць, што модэль явна супэрна ў першым тыпе задач і явна слабей у другім. Кожны, хто выкарыстоўвае яе як автонамнага падагента для кодавання замест аднаэтапнага стваральніка патча, будзе сталкнуцца з другым тыпам.
Гэты разлік рэальны і нерашаны, і жадны методалагічны факт яго не адказвае, таму яго трэба пераканаць рукамі, а не павержацца сумамі або адной з сторон.
Відтворэнне яго локальна
Здаецца, ніхто не публікав сістэматычных дадзеных пра колькасць токенав на секунду за рублем квантызацыі на рэальнай апаратнасці. У большасці случаў паказаны толькі табелі з тэстаў, якія былі выданы, або ж адзін-два каскадныя показнікі скорасці. Далей прыведзеныя цыфры — для аднаго запуску, а не для кантролюемых тэстаў з разнымі настройкамі, таму яны служаюць толькі прамаўкай для локальных замероў, а не заключэннем.
Займаемасць памяці пад час квантызацыі пры 8K кантэксце:
Q4_K_M: апошней 2,78 ГБQ8_0: апошней 3,7 ГБBF16/FP16: апошней 6,3 ГБ
Даныя працэздатнасці, практычна апрэцаваныя незалежнымі джэрэламі: апошнейша цыфра складае або 144,23 токена за секунду на карце RTX 3070 Ti з 8 ГБ VRAM, калі выкарыстоўваецца метод Q4 quant у LM Studio з аднам стрымам; гэта сяродніца для спожытчыцкіх карточак. У аналізах на Hacker News па часе выходу прылады згадвалася можлівасць аднойчы працаваць 32 падагентаў на адной карце DGX Spark, што даўае сярэдню працэздатнасць 931 токен за секунду, а максімум — 1 364 токена за секунду. Гэтае значэння адпавядае запланаванам цілям. Мета не ў тым, каб выграць супернікаванне па затрымкі ў аднам стрыме. Співвядэнне GQA і малы розмер прылады розраблены для адразу адправкі даных да большай колькасці сесій, і 32 агентаў, якія дзеляцца аднам узлом, чырпаюць з іх максымум.
Спышны спосаб працаваць з такімі прыладамі — гэта Ollama:
# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.com/install.sh | sh
# Recommended flags for flash attention + quantized KV cache
OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve &
# Run directly from Ollama's registry
ollama run openbmb/minicpm5-2b
Для спецыяльнай квантызацыі, якая была запчынена з Hugging Face у llama.cpp:
huggingface-cli download openbmb/MiniCPM5-2B-GGUF \
MiniCPM5-2B-Q4_K_M.gguf \
--local-dir ./minicpm5-2b-gguf
А для масштабавання сэрвіса, сумасвяцелага з OpenAI, vLLM:
pip install vllm
vllm serve openbmb/MiniCPM5-2B \
--max-model-len 131072 \
--dtype bfloat16 \
--port 8000
# Query it like any OpenAI chat completion endpoint
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "openbmb/MiniCPM5-2B", "messages": [{"role": "user", "content": "Write a quicksort in Rust"}]}'
Якасць разлічваецца залежна ад задачы спосабамі, якія не паказваюцца ў агрэгаваных крытэрыях. Практычныя тэсты GGUF у MindStudio паказалі, што мадэль Q8_0 добра справляецца з самастойным кодаваннем і пераканальваннем матэматычных і фізычных задач, але сільна паспялівае пад задачамі дэбаггінгу SQL, спецыфічнымі для певных схем, і пад багатыязычным перакладам, даваючы впэўненыя, але фактычна некарэктныя адпаведзі.
Такое впэўненае, але некорэктнае паведанне мае большое значэнне, чым любы пакіт акуратнасці. Явныя паспялівання лёгка ўваідзіць пад час перагляду, але самэўпэўненае паспяліванне — гэта як некорэктная міграцыя SQL потрапляе ў працэс вырабоцтва. У воспаміннасці таксама ёсць іншая пастка: llama.cpp паводзіцца досыць інако залежна ад версіі яе будавання і ад таго, як фронтэнд застаўляе шаблон чату. Калі локальныя цыфры разлічваюцца ад цыфраў іншага чалавека, пераканайцеся ў версіі будавання пры вынікненні рашэння, чы не змянілася мадэль.
У сукупнасці местныя дапамогі збігаюцца з розбіжнасцямі на тэстах Terminal-Bench і SWE-bench Pro. Задачы з чыстымі, пераконтраційнымі правіламі выпалююцца добра, а сітуацыя стае ненадзеянай там, дзе трэба тачная інформацыя пра зовнішню структуру або багатыя, бяспрынцупныя працэсы прыняцтва рашэння. Незалежныя джэрэлы адностайна падтверджаюць гэты патэрн, таму можна на яго паслацца, і гэта ведае да самага рашэння, якое ў пыткі.
Калі гэты мадэль — правы выбор
Калі адмахнуцца ад спораў пра крытэрыяы тэставання, застаецца корыстная рамка для прыняцтва рашэння, якая не ўключае вердыкта пра тое, чы ён хорашы чы паслабы.
Адпаведныя сцэнарыі:
- Групы з многа пад-агентаў, якія працуюць адразу. Эфектываасць памяці завдакі GQA і 931 токену на секунду, якія атрымліваюцца 32 агентамі на DGX Spark, ёсць ключовымі показнікамі, якія маюць большое значэнне, чым рэйтынг індэкса.
Слабыя стороны:
- Генераванне коду у вольнай форме або для творчых цэлей. У тэстах парадзельна з’яўіліся слабейшыя рэзультаты па супорачанню з спецыялізаванымі мадэлямі для кодавання па такімі заданням, як стварэнне HTML-сторанак або SVG-малюнкаў, адтуды што сіла модэля закладана ў разумаванне, матэматыку, выкарыстоўванне інструментаў і вызыванне функцый.
- Дэбаггін SQL, спецыфічны для певных схем, і багатыяязычны пераклад, дзе модэль часта паспяшаеся з рашэннямі, а не працюе акуратна.
Хочаце ці не, адзін слова пра справядлівасць: працоўкі пра тое, што для парабяранняў выкарыстоўваныя застарэлыя базовыя мадэлі, такія як Qwen2.5-2B або Gemma-2B, належыць да дадатковых прымэтак, а не да офіцыяльнай інфармацыі пра мадэль. У офіцыяльных даных парабяранняя выкананы з найсавечнейшымі мадэлямі — Qwen3.5-2B, Gemma-4-E2B-it, granite-4.2-3B і LFM2.5-2.6B. Крытыка гэтага выдання павінна быць спрамована на яго сапраўдны слабы момент — разлік у карыстоўванні агентным прыемнікам, а не на працоўкі пра застарэлыя базовыя мадэлі, якія сама асновная інфармацыя заперачвае.
Тэзы бенчмарка ёсць спецыфічныя для таго бенчмарка
Калі не зважаць на этот конкрэтны мадэль, глэбэйшыя вывыкі ў тым, што варта запамятаць. Тэза пра Beats-4B правядзіцца, але ёй не хапае масштабу. Яна апоўнюецца матэматыкай OpenBMB і наборамі для кодавання тыпу AIME, LiveCodeBench і SWE-bench Verified, а таксама агрэгатнымі данымі Artificial Analysis пасля выправлення версіі. Однак ёй не хапае ў Terminal-Bench і SWE-bench Pro, дзе Qwen3.5-4B праўяе на два-тры разы. Усе гэта адночасова ў правіле.
Стандартна процедура для будучых тэзаў пра мадэлі з магчымасцю пад 4B: спачатку працаваць з прынеймна аднім адварсарскім тэстам, які апоўнюецца рэальнымі завадамі, такімі як Terminal-Bench, SWE-bench Pro або чымса адпоўнажным, перш чым дазваляць наборам для аналізу на адну спробу працаваць і прыняць рашэнне пра працу агента. Стварэнне аднаго патча і выкананне багатоэтапнага завады — гэта разныя навыкі, і мадэль можа быць выдатной у першым, але сярэдней у другім. У твітаваных агрэгатных даных ніколі не пісана, калькі з якіхіх навыкаў йдзе мова.
Для будзь-яга агрэгатнага індэкса з фіксаваным выключкам версіі, незалежна ад таго, чы гэта робіцца за дапамою Артыфіцыяльнага аналізу чы іншых, номер версіі не ўжо ўзлегкай метаадзеі. Ён дазволяе адразніць справжнія расхідленнія ад тых, што створаны штучна. Працэс 23 проты 15 выглядаў як скандал прыблізна дзень, пакуль прыміткі да методалогіі не паказалі звычайнага падвышэння версіі. Наступныя суперэфекты можа рашыцца такім жа спосабам, а можа і не рашыцца, і ўжо ўсё, што можна знайсці — гэта пераканацца самім.
Што трэба запамятаць
З урахоўваннем сваёй велічыны, MiniCPM5-2B ўсё-такі ўжо добра спраектаваны: ён мае 42 шары, спявазанне GQA 8 да 1, 131K натыўнае кантэкста, адкрытыя даны для навчання і восьма скоордынаваных артыфактов, якія працуюць з устройстваў ад DGX Spark да ноутбука. Тое, што ён паспелівае на дзеяных тэстах, але не паспелівае на іншых, нічога з гэтага не скасоўвае. Тэсты — гэта вузкія інструменты, кожны з якіх мерыць ўзе ўзе вузкія показнікі, і загальны бал ніколі не розпаведае всю історыю.
Перш чым адоптаваць наступную маленькую мадэль, якая здаецца занадта хорашаю, каб быць правдай, неабяжна запрацаваць прынеймна адзін тэст на адварсарскія агенты і парабяліцца версію, якая стоіць за будзь-якім сумарным рэйтынгам. Адна-едынственная цыфра з загалоўнай статыі не павінна вяліць рашэнне пра выбор архітэктуры.
Спадневана літэратура
- Стварэнне планавальнага агента ў LangGraph: планаванне, выкананне, перэпланаванне, атрыбуты — планавальны агент з чатырох вузлаў у LangGraph для фінансавых даследжэнняў: структураваныя планы, рэўістар інструментаў, які ведае прастор імен, ліміты перэпланавання і прыклад выканання з атрыбутамі.