Strona główna / Artykuły

Uruchamianie agentów AI na MacBooku: Dlaczego oMLX przewyższa surowy MLX

Raw MLX potrzebował około 20 sekund na obsługę kontekstu agenta składającego się z 8,7 tysiąca tokenów na procesorze M1 Max. oMLX skrócił ten czas do około 3 sekund dzięki zgrupowaniu zadań oraz hierarchicznemu buforowi KV. Liczby i powody.

Wydawca: REACTAPP.TOP5 min czytania1157 słów

Źródła: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX

Problem: surowy MLX wydawał się zbyt wolny dla agentów

Częstym celem w Apple Silicon jest uruchomienie lokalnego LLM jako „mózgu” agentów. Próbowano tu dwóch urządzeń: M1 Max z 64 GB pamięci zintegrowanej oraz M4 Max z taką samą ilością pamięci. Obie maszyny używają biblioteki MLX firmy Apple. Teoretycznie obie wydają się odpowiednie do tego zadania.

Została załadowana wersja 4-bitowa MLX modelu Unsloth Qwen3.6 35B MoE (około 21 GB na Hugging Face) za pomocą surowego MLX. Celem było obsługa długich kontekstów – bazy kodu, dokumenty, historia rozmów – przy odpowiedziach wydających się nadawane w czasie rzeczywistym.

Wyniki z użyciem surowego MLX były rozczarowujące. Na M1 Max przetworzenie kontekstu składającego się z 8 700 tokenów zajęło około 20 sekund przed pojawieniem się pierwszego tokena wyniku. M4 Max radził sobie lepiej – około 5,75 sekundy, ale to nadal nie jest wystarczająco szybko. Agent, który składa dziesiątki zapytań w ramach jednego zadania, czytając przy każdym z nich cały kontekst, jest niewykorzystywalny przy takich prędkościach.

A potem oMLX

oMLX to serwer do wykonywania zadań z modeli LLM o otwartym kodzie źródłowym, oparty na MLX, przeznaczony dla platformy Apple Silicon, charakteryzujący się ciągłym grupowaniem zadań oraz warstwowym przechowywaniem danych KV. Choć sceptycznie podchodzono do kolejnego „opakowania” takiego rozwiązania, to i tak spróbowano: sklonować projekty, utworzyć środowisko venv, wskazać istniejące modele MLX i uruchomić serwer.

git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"

# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models

Serwer odkrył model Qwen i udostępnił API kompatybilne z OpenAI pod adresem http://localhost:8000/v1. Ponownie przeprowadzono te same testy co z użyciem surowego MLX. Na pierwszy rzut oka liczby wydawały się niewiarygodne.

Od dwudziestu sekund do około jednej

Ten sam model, ta sama sprzętowa konfiguracja, wyczyszczona pamięć cache, oba komputery Mac, surowy MLX w porównaniu z oMLX.

Czas reakcji

Przy użyciu surowego MLX długi czas oczekiwania na przetworzenie dużych tekstów sprawiał, że praca agenta wydawała się niemożliwa: samo odczytanie 8 700 tokenów zajmowało około dwudziestu sekund. Z oMLX ten czas spadł do około 2,95 sekundy na M1 Max i około 1,01 sekundy na M4 Max. Poprawiły się również krótkie i średnie odpowiedzi, ale to długi kontekst był decydującym problemem, który oMLX rozwiązał.

Generowanie wyników

Gdy proces wypełniania początkowego zostanie zakończony, tokeny zaczynają płynąć. Surowy format MLX i oMLX są generowane mniej więcej z taką samą szybkością: około 42 toków na sekundę na M1 Max i około 95 toków na sekundę na M4 Max. oMLX nie przyspiesza procesu generowania – nie musi tego robić, ponieważ 95 toków na sekundę już zapewnia interaktywność. Wąskim gardłem nigdy nie był proces dekodowania, lecz właśnie wypełnianie początkowe.

Wypełnianie początkowe: gdzie oMLX wyróżnia się

Wypełnianie początkowe to szybkość, z jaką model odczytuje dane wejściowe przed rozpoczęciem generowania. Dla agentów, które do każdego wezwania wkładają tysiące tokenów kodu, promptów systemowych, narzędzi oraz historii, to właśnie wypełnianie początkowe ma kluczowe znaczenie. Powolne wypełnianie początkowe sprawia, że agent wydaje się nieaktywny.

Na M1 Max surowy format MLX odczytywał kontekst z prędkością około 579 toków na sekundę, natomiast oMLX – około 2 975 toków na sekundę, czyli około 5,1 raza szybciej. Na M4 Max surowy format MLX działał z prędkością około 1 520 toków na sekundę, podczas gdy oMLX – około 8 664 toków na sekundę, czyli około 5,7 raza szybciej.

Równie ważne: oMLX przechowuje ten kontekst w pamięci cache. Po przeczytaniu bazy kodu składającej się z 8 700 tokenów model nadal ma dostępny stan KV. Następna prośba korzysta z niego ponownie. Zwykły MLX nie posiada takiej pamięci cache i za każdym razem zaczyna od zera.

M4 Max kontra M1 Max

Z oMLX M4 Max jest wyraźnie szybszy: krótkie odpowiedzi skracają się z około 1,08 s do 0,16 s, długi kontekst z około 2,95 s do 1,01 s – ogólnie o około 2–3 razy szybciej. Szybkość generowania treści podwaja się mniej więcej (42 → 95 tok/s), a szybkość wypełniania danych przed wysłaniem niemal potrójnia (2 975 → 8 664 tok/s). To ma znaczenie przy całodniowej pracy agenta.

Mimo to starszy M1 Max z oMLX jest wystarczająco szybki do rzeczywistej pracy. Czas obsługi długiego kontekstu spada z dwudziestu dwóch sekund do trzech sekund. Wyniki są interaktywne. Pamięć cache sprawia, że powtarzane operacje wydają się natychmiastowe. W przypadku modelu typu MoE, takiego jak Qwen3.6–35B-A3B, oMLX ma większe znaczenie niż nowy MacBook. Dla bardziej złożonych modeli, takich jak Qwen3.6–27B, może być nadal potrzebny M4 Max lub nowszy model.

Dlaczego oMLX przewyższa surowy MLX

To nie magia. Cztery funkcje, których brakuje surowemu MLX.

Kontynuacyjne grupowanie zapytań

Agenty wysyłają wiele żądań: wywołania narzędzi, kontynuacje, równoległe wyszukiwania. Surowy MLX obsługuje je pojedynczo. oMLX grupuje jednoczesne żądania w jedną operację na GPU. W praktyce, gdy agent jest zajęty, efekt jest często 2–5 razy większy.

Warstwowa pamięć cache KV (RAM + SSD)

Żarła w RAM dla aktywnego kontekstu; zimna warstwa na SSD dla starszych danych kontekstowych, które nie powinny wypierać danych z żarłej warstwy. Po pierwszym odczytaniu dużego kodu późniejsze żądania wykorzystują już zapisane pary KV. Przełączanie kontekstów i ponowne odwiedzanie wcześniejszych etapów pozostaje tanie.

API kompatybilne z OpenAI

http://localhost:8000/v1 odpowiada strukturze OpenAI. Skieruj Claude Code, Cursor, własną ramę agentów lub dowolnego klienta obsługującego OpenAI na localhost. Surowy MLX to biblioteka w Pythonie; serwer musisz zbudować sam.

Serwowanie wielu modeli

oMLX automatycznie odkrywa modele w określonej katalogu i może obsługiwać kilka jednocześnie, wymieniając je w pamięci w zależności od potrzeb. Embeddingi służące do wyszukiwania oraz model o wielkości 35B do rozumowania mogą dzielić ten sam proces.

Jak przeprowadzić test

  1. Zainstaluj oMLX z repozytorium na GitHubie i utwórz środowisko virtualenv zgodnie z przykładem powyżej.
  2. Ustaw parametr --model-dir na katalog, który już zawiera wagi modeli MLX (działa katalog modeli w LM Studio).
  3. Wysłaj żądanie do zgodnego z OpenAI endpointu /v1/chat/completions z promptem, którego liczba tokenów wynosi około 8–9 tysięcy.
  4. Zapisz czas od startu do pierwszego tokena (dominowanego przez prefill) oraz liczbę tokenów na sekundę podczas dekodowania.
  5. Niezwłocznie powtórz to samo żądanie. Jeśli kaskadowa pamięć cache działa poprawnie, druga próba powinna być znacznie szybsza dzięki prefillowi.

Porównaj te czasy z surowym skryptem MLX, który ładowa te same wagi bez serwera. Różnica przy długich zapytaniach pokazuje, gdzie leży zaleta tego podejścia.

Uwagi, które warto podkreślić

Liczby podane powyżej pochodzą z jednej rodziny modeli, dwóch komputerów Mac oraz wykonań z wykorzystaniem ciepłej pamięci cache. Start od zera, różna kwantyzacja, architektury typu dense w porównaniu z MoE oraz konkurencyjne obciążenia GPU wpłyną na kształt krzywych. Twierdzenia o 5-krotnym przyspieszeniu należy traktować jako „porządek wielkości w tym ustawieniu”, a nie jako uniwersalną gwarancję. Ponadto lokalna obsługa oznacza, że to ty odpowiadasz za aktualizacje oraz ograniczenia dyskowe i termiczne. oMLX eliminuje najgorsze problemy z przedszybieniem; nie eliminuje jednak operacji obliczeniowych.

Wniosek

Brutalny MLX sprawiał, że lokalne agenty na MacBookach wydawały się nieracjonalne w użyciu: dwadzieścia sekund na jedną prośbę o 8 700 tokenów na procesorze M1 Max. Z oMLX: około trzech sekund na M1 Max i około jednej sekundy na M4 Max, przy czym kontekst jest później przechowywany w pamięci podręcznej. Sprzęt nie był głównym problemem – problemem była architektura przetwarzania.

Apple Silicon z 32 GB lub więcej pamięci RAM już wystarcza do obsługi zaawansowanych lokalnych agentów, jeśli serwer umożliwi grupowanie zapytań i korzystanie z pamięci podręcznej typu KV. Żadnej chmury API, żadnych miesięcznych rachunków za przetwarzanie, żadnej opóźnienia w komunikacji poza biurem.

  • oMLX: github.com/jundot/omlx
  • Model: Qwen3.6–35B-A3B-UD-MLX-4bit (21 GB, 4-bit)
  • Sprzęt: MacBook Pro z procesorami M1 Max i M4 Max, po 64 GB pamięci
  • macOS: 26.x (Sequoia)

Podobne materiały