Главная / Статьи

Запуск ИИ-агентов на MacBook: почему oMLX превосходит чистый MLX

Raw MLX требовал примерно 20 секунд для обработки контекста агента объемом 8,7 токена на процессоре M1 Max. oMLX сократил это время до примерно 3 секунд благодаря батчингу и иерархической кэш-системе KV. Цифры и причины.

Издатель: REACTAPP.TOP5 мин чтения1157 слов

Источники: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX

Проблема: чистый MLX казался слишком медленным для агентов

Одной из распространённых целей в устройствах на базе Apple Silicon является запуск локальной LLM в качестве «мозга» агентов. В тестах использовались два устройства: M1 Max с 64 ГБ объединённой памяти и M4 Max с таким же объёмом памяти. Оба работают с движком MLX от Apple. На бумаге оба устройства кажутся подходящими.

Была загружена 4-битная версия модели Unsloth Qwen3.6 35B MoE (размером около 21 ГБ на Hugging Face) с использованием чистого MLX. Целью была работа агентов с длинными контекстами: кодовые базы, документы, история разговоров, при этом ответы должны были поступать в реальном времени.

Результаты работы чистого MLX оказались разочаровывающими. На M1 Max обработка контекста из 8 700 токенов занимала около 20 секунд до появления первого токена вывода. На M4 Max время обработки сократилось до примерно 5,75 секунды, но это всё ещё недостаточно. Агент, выполняющий десятки запросов за задачу, при каждом из которых необходимо перечитывать весь контекст, будет неиспользуем при таких скоростях.

Затем появился oMLX

oMLX — это сервер инференса для больших языковых моделей с открытым исходным кодом, построенный на основе MLX и предназначенный для процессоров Apple Silicon; он поддерживает непрерывную группировку запросов и иерархическую кэширование ключей-значений. Несмотря на скептицизм по поводу ещё одного оберточного решения, его всё же попробовали: сделали клон, создали виртуальную среду, указали на существующие модели MLX и запустили сервер.

git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"

# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models

Сервер обнаружил модель Qwen и предоставил API, совместимое с OpenAI, по адресу http://localhost:8000/v1. Были снова проведены те же тесты, что и с использованием режима raw MLX. Поначалу полученные цифры казались невероятными.

От двадцати секунд до примерно одной

Та же модель, тот же аппаратный обеспечение, заполненная кэш-память, оба Mac-устройства, режимы raw MLX и oMLX.

Время отклика

При использовании режима raw MLX длительное время обработки больших объемов текста делало работу агента практически невозможной: всего лишь для прочтения 8 700 токенов требовалось примерно двадцать секунд. С использованием режима oMLX это время сократилось до примерно 2,95 секунды на устройстве M1 Max и примерно 1,01 секунды на устройстве M4 Max. Улучшились также времена обработки кратких и средних ответов, но именно проблема с большими объемами текста была решающей, и oMLX её устранил.

Генерация вывода

Как только завершается процесс предзаполнения, начинается поток токенов. Чистый формат MLX и формат oMLX генерируются примерно с одинаковой скоростью: около 42 токенов в секунду на процессоре M1 Max и около 95 токенов в секунду на процессоре M4 Max. Формат oMLX не ускоряет генерацию — в этом нет необходимости, поскольку скорость в 95 токенов в секунду уже позволяет вести интерактивную работу. Проблемным моментом никогда не была обработка данных в формате декодирования, а именно процесс предзаполнения.

Предзаполнение: сфера преимуществ oMLX

Предзаполнение — это скорость, с которой модель считывает входные данные перед началом генерации. Для агентов, которые в каждый запрос вставляют тысячи токенов кода, системных подсказок, инструментов и истории, предзаполнение имеет решающее значение. Медленное предзаполнение делает агента практически бесполезным.

На процессоре M1 Max скорость считывания контекста в чистом формате MLX составляла около 579 токенов в секунду, тогда как в формате oMLX — около 2,975 токенов в секунду, что в 5,1 раза больше. На процессоре M4 Max скорость считывания в чистом формате MLX составляла около 1,520 токенов в секунду, в то время как в формате oMLX — около 8,664 токенов в секунду, что в 5,7 раза больше.

Не менее важно и то, что oMLX хранит этот контекст в кэше. После того как модель прочитает кодовую базу из 8 700 токенов, состояние KV остается доступным, и следующий запрос может им воспользоваться. В чистом варианте MLX такого кэша нет, и каждый раз все начинается с нуля.

M4 Max против M1 Max

С использованием oMLX M4 Max явно быстрее: время обработки коротких ответов сокращается с примерно 1,08 секунд до 0,16 секунды, а время работы с длинным контекстом — с примерно 2,95 секунд до 1,01 секунды, что в среднем в 2–3 раза. Скорость генерации текста удваивается примерно (с 42 до 95 токенов в секунду), а скорость предзаполнения контекста почти утраивается (с 2 975 до 8 664 токенов в секунду). Это имеет большое значение для круглосуточной работы агентов.

Тем не менее старый M1 Max с oMLX достаточно быстр для реальных задач. Время обработки длинного контекста, ранее составлявшее 22 секунды, сокращается до 3 секунд. Результаты работы модели интерактивны, а кэш делает повторные запросы мгновенными. Для модели типа MoE, такой как Qwen3.6–35B-A3B, oMLX важнее, чем новый MacBook. Однако для более громоздких моделей, таких как Qwen3.6–27B, может потребоваться M4 Max или более новая модель.

Почему oMLX превосходит обычный MLX

Это не магия. Просто четыре функции, отсутствующие у обычного MLX.

Непрерывная группировка запросов

Агенты отправляют множество запросов: вызовы инструментов, дополнительные действия, параллельные поиски. Обычный MLX обрабатывает их по одному. oMLX объединяет одновременные запросы в одну операцию на GPU. В реальных условиях, когда агент занят, скорость увеличивается в 2–5 раз.

Иерархическая кэш-память KV (RAM + SSD)

Активный контекст хранится в RAM в качестве «горячего» уровня; более старый контекст, который не должен вытеснять активные данные, хранится на SSD в качестве «холодного» уровня. После первого чтения большого кодового базиса последующие запросы используют уже кэшированные пары KV. Переключение контекста и повторный доступ к предыдущим данным остаются дешевыми.

API, совместимый с OpenAI

http://localhost:8000/v1 соответствует структуре OpenAI. Claude Code, Cursor, любая собственная платформа для агентов или любой клиент, работающий с OpenAI, могут подключаться к localhost. Обычный MLX — это библиотека на Python; сервер необходимо создавать самостоятельно.

Обслуживание нескольких моделей

oMLX автоматически находит модели в каталоге и может одновременно обслуживать несколько из них, по мере необходимости заменяя их в памяти. Эмбеддинги для поиска и модель объемом 35 миллиардов параметров для рассуждений могут использовать один процесс.

Как повторить тестирование

  1. Установите oMLX из репозитория GitHub и создайте виртуальную среду, как показано в приведенном выше примере.
  2. Укажите параметр --model-dir на папку, в которой уже находятся веса модели MLX (подойдет каталог моделей LM Studio).
  3. Обратитесь к совместимому с OpenAI концепту /v1/chat/completions с запросом, содержащим примерно 8–9 тысяч токенов.
  4. Замерьте время от начала до первого токена (когда используется предзаполнение) и количество токенов в секунду во время декодирования.
  5. Немедленно повторите тот же запрос. Если кэширование работает корректно, вторая попытка должна занять гораздо меньше времени за счет предзаполнения.

Сравните эти временные показатели с чистым скриптом MLX, который загружает те же веса без сервера. Разница при обработке длинных запросов и заключается в том, что именно здесь происходит формирование ответа агента.

Важные замечания

Приведенные выше цифры относятся к одной семье моделей, двум Mac-компьютерам и запускам с использованием теплой кэш-памяти. Начало работы с чистого состояния, разная квантизация, архитектуры типа dense и MoE, а также конкурирующие нагрузки на GPU изменят эти показатели. Утверждения о 5-кратном ускорении предзаполнения следует рассматривать как «ордер величины для данной конфигурации», а не как универсальную гарантию. Кроме того, локальная обработка всё равно означает, что вы сами отвечаете за обновления, ограничения диска и температуры. oMLX устраняет самые серьезные проблемы, связанные с предзаполнением, но не устраняет сами операции обработки.

Вывод

Чистая версия MLX делала использование локальных агентов на MacBook нецелесообразным: на процессоре M1 Max на обработку одного запроса объемом 8 700 токенов уходило двадцать секунд. С oMLX время обработки составляет примерно три секунды на M1 Max и около одной секунды на M4 Max, причем контекст сохраняется в кэше. Основной проблемой был не аппаратный обеспечение, а стек инференса.

Архитектура Apple Silicon с 32 ГБ и более оперативной памяти уже достаточна для работы серьезных локальных агентов, если сервер обеспечивает группировку запросов и кэширование данных в формате KV. Никаких облачных API, никаких ежемесячных счетов за обработку данных, никакой задержки при передаче информации за пределами рабочего стола.

  • oMLX: github.com/jundot/omlx
  • Модель: Qwen3.6–35B-A3B-UD-MLX-4bit (21 ГБ, 4 бита)
  • Аппаратное обеспечение: MacBook Pro с процессорами M1 Max и M4 Max, по 64 ГБ оперативной памяти каждый
  • macOS: 26.x (Sequoia)