AI-агенты на MacBook: чаму oMLX перамагае чысты MLX
Чыстаму MLX на M1 Max патрабавалася каля 20 секунд на агентны кантэкст у 8,7 тыс. токенаў. oMLX скараціў гэта прыкладна да 3 дзякуючы батчынгу і шматузроўневаму KV-кэшу. Лічбы і налады.
Крыніцы: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX
Проблема: чысты MLX здаваўся занадта медленным для агентаў
Адно з распашчацых цялей у працоўніках на базе Apple Silicon — запуск локальнага LLM як «мозга» для агентаў. Тут тэстуецца два працоўнікі: M1 Max з 64 ГБ аб’еднанай памяці і M4 Max з такой жа колькасцю памяці. Оба працуюць пад кераваннем MLX ад Apple. На паперы оба выглядаюць спроможнымі.
Была завантажана 4-бітная версія MLX чэкпоінта Unsloth Qwen3.6 35B MoE (прыблізна 21 ГБ на Hugging Face) праз чысты MLX. Метаю была праца агентаў з дужа дзяўгім кантэкстам: кодавыя базы, дакументы, історыя кансэртацый, пры чым адпаведзі здаваліся момантальнымі.
Рэзультаты працы чыстага MLX былі разчароўваючымі. На M1 Max апрацоўка кантэксту з 8 700 токенаў займала або-блізка 20 секунд прычыму не было жаданага токена адпаведзі. M4 Max прабачыўся лягчэй — прыблізна 5,75 секунды, але і гэта не ўсё так ужо й добра. Агент, які выканае дзесяткі запыткаў за адну задачу, кожны раз перачытваючы весь кантэкст, ў такіх тэхнічных характэрэх ўжо не можа быць выкарыстаны.
Потым з’явіўся oMLX
oMLX — гэта сервер для вычыслення LLM на адміністрацыі адкрытага кода, створаны на базе MLX, прызначаны для працы з процэсарамі Apple Silicon, з функцыямі паўтаральнага групавання заданняў і іерархічнага кэшавання дадзенняў KV. Неспакою па аднойшым «экрані», яго ж такі ж спробавалі: клонавалі, стваралі віртуальную срэду, наставілі на існуючыя мадэлі MLX і запускалі сервер.
git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"
# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models
Сервер адаптаваў мадэль Qwen і стварыў API, сумэсны з OpenAI, па адрэсе http://localhost:8000/v1. Былі практыкаваны тыя ж тэсты, што і з выкарыстоўваннем прыроднага MLX. Чысырыя рэзультаты спачатку здаваліся неправдападобнымі.
З двадцяці секунд да прыбліжна адной
Тая ж мадэль, той жа апарат, запрацоўваны кэш, два Mac-камп’ютары, прыродны MLX протыпа oMLX.
Час адпаведзі
З прыродным MLX чаканне на апрацоўку дужа дзялёгіх тэкстаў робіла работу агента практычна немагчымай: толькі для чытання 8 700 токэнаў трэбавалася прыбліжна дваццаць секунд. З oMLX час апрацоўкі такіх тэкстаў знізіўся да прыбліжна 2,95 секунды на M1 Max і прыбліжна 1,01 секунды на M4 Max. Час адпаведзі на короткія і сяроднія запыты таксама паспрабаваў, але саме проблема з дзялёгімі тэкстамі была крытычная, і oMLX яе рашыў.
Стварэнне выходу
Калі працэс прадаўнення завершыцца, пачынаецца стрымаванне токенав. Чысты MLX і oMLX генеруюцца прыблізна з аднаковай шыроўней: адпаведна або 42 токен/секунду на M1 Max і або 95 токен/секунду на M4 Max. oMLX не прыяўляе шыроўні генеравання. У яго і няма такой патрэбы; 95 токен/секунду ужо ўзможвае інтэрактыўнае вядзенне. Проблемай ніколі не была дэкодаванне — проблемай было прадаўнення.
Прадаўнення: дзе выклікае вялікі эфект oMLX
Прадаўнення — гэта шыроўнь, з якой мадэль чытае вхідныя даны першым, прычымуя генераванне. Для агентаў, якія ў кожны вызов падаюць тыячы токенав коду, запрошэнняў сістэмы, інструментаў і історыі, прадаўнення мае вельмі важлівую ролю. Медленнае прадаўнення прыводзіць да таго, што агент стае «мертвым» з точкі зору рэакцыі.
На M1 Max чысты MLX чытаў кантэкст прыблізна 579 токен/секунду; oMLX — або 2,975 токен/секунду, тое ў 5,1 раза больш. На M4 Max чысты MLX — або 1,520 токен/секунду, тым часом як oMLX — або 8,664 токен/секунду, тое ў 5,7 раза больш.
Не менш важна дыя: oMLX зберагае гэты кантэкст. Пасля таго, як мадэль прачытае кодбазу з 8 700 токенав, стан KV застаецца доступным. Наступны запрос яго перадае. Чысты MLX не мае такога кэшу і ўсё час пачынае з нуля.
M4 Max проты M1 Max
За дапамогою oMLX M4 Max явна быстрэйшы: часы на выданне короткіх адказоў зменіліся з апошніх 1,08 секунды на 0,16 секунды, а часы на обработку длігіх кантэкстоў — з апошніх 2,95 секунды на 1,01 секунду, тое ўсё прыблізна у 2–3 разы. Швальнасць выдання адказоў падвойвалася (42 → 95 токен/с), а швальнасць прадзействавання практычна утроілася (2 975 → 8 664 токен/с). Гэта мае значэнне для цілодзённай працы агента.
Тым не менш, старэйшы M1 Max з oMLX таксама достатньа швырак для рэальнай працы. Часы на обработку длігіх кантэкстоў у дваццаць секунд зменіліся на тры секунды. Адказы выдаюцца момантальна. Кэш робіць павтарэння выканання задач мгновеннымі. Для модэля тыпу MoE, такога як Qwen3.6–35B-A3B, oMLX мела большое значэнне, чым новы MacBook. Для болей ўжоўтрамленых модэляў, такіх як Qwen3.6–27B, можа застацца неабходным M4 Max або новейшыя версіі.
Чаму oMLX лепшы за просты MLX
Гэта не магія. Ёсць чатыры функцыі, якіх не хапяць просты MLX.
Непаўзлівая групаванне запытак
Агенты выкананяюць многа запытак: вызовы інструментаў, дадатковыя дзеянні, паралельныя пошукі. Просты MLX выкананяе іх по аднаму. oMLX групавае адночасныя запыткі ў адну процэсуру GPU. Рэальны эфект, калі агент зайняты: часта 2–5 разоў.
Шаровая кэш-сістэма KV (RAM + SSD)
Актыўны кантэкст зберагаецца ў RAM у «гарачым» шарэ; старэйшы кантэкст, які не павінен вытысняць актыўныя даны, — у SSD у «холадным» шарэ. Пасля першага чытання большога кодавага базы пазнейшыя запыткі воспользваюцца ўжо зберажанымі парамі KV. Змена кантэксту і перагляд пакульніх крокаў застаецца дышэўным.
API, сумесны з OpenAI
http://localhost:8000/v1 адпавядае структуры OpenAI. Направіце Claude Code, Cursor, спецыяльную рамку агентаў або будзь-які кліент, які падтрымлівае OpenAI, на localhost. Просты MLX — гэта бібліятэка на Python; сервер трэба стварыць самастаўна.
Работа з калькама модэляў
oMLX сама адаптуюцься да модэляў у каталозе і можа аддаўаць кілька з іх адразу, заменяючы іх у памяці па запатранню. Эмбедынгі для пошуку плюс модэль на 35 мільярда параметраў для рассудкавання можу выкорыстоўваць аднойчы той самы процэс.
Як парадукаць перакананне
- З’явіце oMLX з рэпазітарыя GitHub і створыце virtualenv, як паказана ў вышэйшым фрагменце.
- Укажыце
--model-dirна папку, якая вялічыць вагі MLX (падойдзе каталог модэляў LM Studio). - Задзейніце канцэнтры OpenAI-сумесны
/v1/chat/completionsз запітам, у яком колькасць токэнаў становіць апошнія 8–9 тысяч. - Запісваце час ад першага токэна (з домінаваннем прадзейнаў) і колькасць токэнаў за секунду пад час дэкодавання.
- Негайна парадукуйце той самы запіт. Якшто кэш працюе правільна, другі запуск будзе значна шырэйшы за рахунак прадзейнаў.
Паруцеце гэтыя часы з чыстым скрыптам MLX, які завантажвае тыя ж вагі без сервера. Разлік у выпадку дзейнаў з дужа дугім тэкстам — гэта тое, што стварае можлівасці для працы агента.
Важныя зауважэнні
Ціфры, паказаныя вышэй, аплікуюцца да аднай сямейкі модэляў, двух Mac-аў і запускаў з ужо запрацоўваным кэшам. Старт з нуля, разная квантызацыя, архітэктуры тыпу dense проты MoE, а таксама іншыя завантажэння на GPU зменяюцыя характарыстыкі, будуць вплываць на графікі. Тэзу пра 5-кратнае падготавленне даных спрыймайце як „ордэн велічыны на гэтым наладжэнні“, а не як універсальную гаранцыю. Кроме таго, локальная обработка даных значыць, што вы самі адпавядзаеце за абнаўленні, ліміты дыска і тэмпературы. oMLX усунея самыя большыя проблемы з падготавленнем даных; але ён не усунея всіх аперацый.
Вывад
Чыстыя версіі MLX змусілі локальныя агенты на MacBook здавацца непрактычнымі: для адзінаго запіту на 8 700 токенав трэба было 20 секунд на процэсары M1 Max. За дапамою oMLX: прыблізна 3 секунды на M1 Max і прыблізна 1 секунда на M4 Max, пры чым кантэкст захоўваецца ў кэшы. Апаратная частка не была галоўной проблемай — проблемай была сама структура апрацоўкі даных.
Apple Silicon з 32 ГБ і больш RAM вялікія вучынкі для серйозных локальных агентоў, калі сервер дадае падтрымку групавай апрацоўкі запытоў і кэшу KV. Не трэба ні хмарных API, ні месячных платэжаў за апрацоўку даных, ні затрымакаў па часе перэдачы даных за межы стола.
- oMLX: github.com/jundot/omlx
- Мадэль: Qwen3.6–35B-A3B-UD-MLX-4bit (21 ГБ, 4-бітна)
- Апаратная частка: MacBook Pros з процэсарамі M1 Max і M4 Max, по 64 ГБ кожны
- macOS: 26.x (Sequoia)