Головна / Статті

Робота штучних інтелектуальних агентів на MacBook: чому oMLX кращий за базовий MLX

Raw MLX потребував близько 20 секунд для обробки контексту агента з 8,7 тисяч токенів на процесорі M1 Max. oMLX скоротив цей час до приблизно 3 секунд завдяки батчуванню та ієрархічній кеш-системі KV. Цифри та причини.

Видавець: REACTAPP.TOP5 хв читання1157 слів

Джерела: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX

Проблема: чистий MLX здавався занадто повільним для агентів

Поширеною метою на чіпах Apple Silicon є використання локального LLM як „мозку“ для агентів. Тут тестувалися два пристрої: M1 Max із 64 ГБ об’єднаної пам’яті та M4 Max із такою ж кількістю пам’яті. Обидва використовують MLX від Apple. На папері обидва здаються здатними до виконання завдань.

Була завантажена 4-бітна версія MLX чекпоїнта Unsloth Qwen3.6 35B MoE (приблизно 21 ГБ на Hugging Face) через чистий MLX. Метою була робота агента з довгим контекстом: кодові бази, документи, історія розмов, з відповідями, які мали б бути миттєвими.

Результати роботи чистого MLX розчарували. На M1 Max обробка контексту обсягом 8 700 токенів займала близько 20 секунд до отримання першого токена вихідних даних. M4 Max показав кращі результати — приблизно 5,75 секунди, але це все одно не ідеально. Агент, який робить десятки запитів за завданням, перечитуючи при цьому весь контекст, є непридатним за такими швидкостями.

Потім з’явився oMLX

oMLX — це сервер інференсу для LLM з відкритим кодом, створений на основі MLX, призначений для Apple Silicon, з функціями безперервної групування запитів та ієрархічного кешування даних KV. Хоча автори скептично ставилися до ще одного обгортка, вони все ж спробували: склонували код, створили віртуальне середовище, вказали на існуючі моделі MLX та запустили сервер.

git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"

# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models

Сервер виявив модель Qwen та зробив доступною API, сумісну з OpenAI, за адресою http://localhost:8000/v1. Були знову проведені ті самі тестування, що й з використанням базового MLX. Цифри спочатку здавалися неймовірними.

Від двадцяти секунд до приблизно однієї

Та сама модель, той самий обладнання, активна кеш-пам’ять, обидва Mac, використання базового MLX порівняно з oMLX.

Час відповіді

З використанням базового MLX чекання на обробку довгих текстів робили роботу агента майже неможливою: лише для читання 8 700 токенів потрібно було приблизно двадцять секунд. З oMLX цей час скоротився до приблизно 2,95 секунди на процесорі M1 Max та приблизно 1,01 секунди на процесорі M4 Max. Покращилися також швидкість генерації коротких та середніх відповідей, але саме проблема з довгими текстами була ключовою, і oMLX її вирішив.

Генерація результату

Як тільки завершується процес попереднього заповнення, починається потік токенів. Чистий MLX та oMLX генеруються приблизно з однаковою швидкістю: близько 42 токенів/сек на M1 Max та близько 95 токенів/сек на M4 Max. oMLX не прискорює процес генерації. У нього немає до цього потреби; 95 токенів/сек вже є достатньо високою швидкістю для інтерактивної роботи. Вузьким місцем ніколи не було декодування — це було попереднє заповнення.

Попереднє заповнення: де проявляється перевага oMLX

Попереднє заповнення — це швидкість, з якою модель читає вхідні дані перед початком генерації. Для агентів, які до кожного запиту вводять тисячі токенів коду, системних запитів, інструментів та історії, попереднє заповнення має вирішальне значення. Повільне попереднє заповнення робить агента майже неробочим.

На M1 Max чистий MLX читав контекст приблизно зі швидкістю 579 токенів/сек; oMLX — близько 2 975 токенів/сек, що на 5,1 раза більше. На M4 Max чистий MLX — близько 1 520 токенів/сек, тоді як oMLX — близько 8 664 токенів/сек, що на 5,7 раза більше.

Не менш важливо: oMLX зберігає цей контекст у кеші. Після того, як модель прочитала кодову базу з 8 700 токенів, стан KV залишається доступним. Наступний запит використовує його знову. У чистому MLX немає такого кешу, тож він починає роботу з нуля щоразу.

M4 Max проти M1 Max

З oMLX M4 Max явно швидший: час отримання коротких відповідей скоротився з приблизно 1,08 с до 0,16 с, а час обробки довгого контексту — з приблизно 2,95 с до 1,01 с, що на 2–3 рази швидше в цілому. Швидкість виведення даних майже подвоїлася (42 → 95 токенів/с), а швидкість попереднього заповнення майже потроїлася (2 975 → 8 664 токенів/с). Це має значення для цілодобової роботи агента.

Проте старіший M1 Max з oMLX все ще достатньо швидкий для реальної роботи. Час обробки довгого контексту, який раніше становив двадцять секунд, тепер становить три секунди. Виведення даних є інтерактивним. Кеш робить повторні запити миттєвими. Для моделі типу MoE, як-от Qwen3.6–35B-A3B, oMLX мав більше значення, ніж новий MacBook. Для більш щільних моделей, таких як Qwen3.6–27B, можливо, все ще знадобиться M4 Max або новіша модель.

Чому oMLX кращий за raw MLX

Це не магія. Є чотири функції, яких бракує у raw MLX.

Постійне групування запитів

Агенти надсилають багато запитів: виклики інструментів, підтримуючі дії, паралельні пошуки. raw MLX виконує їх по одному. oMLX об’єднує одночасні запити в один процес на GPU. У реальних умовах, коли агент зайнятий, це дає прискорення в 2–5 разів.

Ієрархічна кеш-пам’ять KV (RAM + SSD)

Активний контекст зберігається у RAM у «гарячій» зоні; старіші дані — на SSD у «холодній» зоні, щоб не викидати активні дані. Після першого читання великого кодового базису подальші запити використовують вже збережені пари KV з кешу. Переключення контексту та повторний огляд попередніх кроків залишаються дешевими.

API, сумісний з OpenAI

http://localhost:8000/v1 відповідає формату OpenAI. Направте Claude Code, Cursor, власну платформу агентів чи будь-який клієнт, що підтримує OpenAI, на localhost. raw MLX — це бібліотека на Python; сервер потрібно створювати самостійно.

Обслуговування кількох моделей

oMLX автоматично виявляє моделі в певному каталозі та може одночасно обробляти кілька з них, замінюючи їх у пам’яті за потребою. Ембеддинги для пошуку та модель об’ємом 35 мільярдів параметрів для міркувань можуть використовувати один процес.

Як повторити перевірку

  1. Встановіть oMLX з репозиторію GitHub та створіть virtualenv, як описано у наведеному вище фрагменті.
  2. Вкажіть параметр --model-dir на папку, яка вже містить ваги моделей MLX (підійде каталог моделей LM Studio).
  3. Надішліть запит до сумісного з OpenAI ендпоїнта /v1/chat/completions із запитом, довжина токенів якого становить близько 8–9 тисяч.
  4. Запишіть час до отримання першого токена (який формується за рахунок попереднього заповнення) та кількість токенів на секунду під час декодування.
  5. Негайно повторіть той самий запит. Якщо кешування працює належним чином, друга спроба має бути значно швидшою завдяки попередньому заповненню.

Порівняйте ці часи зі сирим скриптом MLX, який завантажує ті самі ваги без сервера. Різниця при довгих запитах і є тим місцем, де проявляється ефективність агента.

Важливі зауваження

Цифри вище стосуються однієї родини моделей, двох Mac та запусків з попереднім завантаженням даних у кеші. Ситуація з початковим запуском, різною квантацією, архітектурами типу dense та MoE, а також конкуруючі навантаження на GPU змінять ці криві. Твердження про 5-кратне прискорення слід розглядати як „ордер величини для цієї конфігурації“, а не як універсальну гарантію. Крім того, локальне обслуговування все одно означає, що ви несете відповідальність за оновлення, обмеження диска та температури. oMLX усуває найгірші проблеми, пов’язані з попереднім завантаженням даних; він не усуває всі операції обробки.

Висновок

Чистий MLX робив локальні агенти на MacBook непрактичними: двадцять секунд на одну заявку з 8 700 токенів на процесорі M1 Max. З oMLX: близько трьох секунд на M1 Max та близько однієї секунди на M4 Max, причому контекст зберігається у кеші після цього. Основною проблемою не був апаратне забезпечення — проблемою була стек обробки даних.

Apple Silicon із 32 ГБ+ оперативної пам’яті вже достатні для серйозних локальних агентів, якщо сервер додасть функції групування та кешування KV. Жодних хмарних API, жодних щомісячних оплат за обробку даних, жодної затримки під час передачі даних поза межами вашого робочого столу.

  • oMLX: github.com/jundot/omlx
  • Модель: Qwen3.6–35B-A3B-UD-MLX-4bit (21 ГБ, 4-бітна)
  • Апаратне забезпечення: MacBook Pros з процесорами M1 Max та M4 Max, по 64 ГБ кожен
  • macOS: 26.x (Sequoia)