Der Einsatz von KI-Agenten auf einem MacBook: Warum oMLX Raw MLX übertrifft.
Raw MLX benötigte etwa 20 Sekunden für einen Kontext von 8.700 Token bei einem Agenten auf einem M1 Max. oMLX reduzierte diese Zeit durch Batching sowie einen gestuften KV-Cache auf etwa 3 Sekunden. Zahlen und der Grund dafür.
Quellen: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX
Das Problem: Raw MLX war für Agenten zu langsam
Eines der Ziele bei Apple Silicon ist es, einen lokalen LLM als „Gehirn“ für Agenten zu nutzen. Hier wurden zwei Geräte getestet: ein M1 Max mit 64 GB integrierter Speicher und ein M4 Max mit derselben Speicherkapazität. Beide nutzen Apples MLX – auf dem Papier scheinen beide leistungsfähig zu sein.
Ein 4-Bit-MLX-Build des Unsloth Qwen3.6 35B MoE-Checkpoints (etwa 21 GB auf Hugging Face) wurde über Raw MLX geladen. Ziel war die Verarbeitung langer Kontexte – Codebasen, Dokumente, Konversationen – mit Eingaben, die wie in Echtzeit erscheinen sollten.
Die Ergebnisse mit Raw MLX enttäuschten. Am M1 Max dauerte die Verarbeitung eines 8.700-Token umfassenden Kontextes etwa 20 Sekunden, bis ein Ausgabetoken erzeugt wurde. Der M4 Max schaffte es in etwa 5,75 Sekunden – immer noch nicht optimal. Ein Agent, der pro Aufgabe Dutzende von Anfragen stellt und dabei jeweils den gesamten Kontext neu liest, ist bei diesen Geschwindigkeiten unbrauchbar.
Dann oMLX
oMLX ist ein Open-Source-LLM-Inferenzserver auf Basis von MLX, der für Apple Silicon entwickelt wurde und kontinuierliches Batching sowie gestuftes KV-Caching bietet. Obwohl man skeptisch gegenüber einem weiteren Wrapper war, wurde es dennoch ausprobiert: Klonieren, venv erstellen, auf vorhandene MLX-Modelle verweisen und den Server starten.
git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"
# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models
Der Server entdeckte das Qwen-Modell und stellte eine mit OpenAI kompatible API unter http://localhost:8000/v1 zur Verfügung. Genauso wie bei der Roh-MLX-Version wurden erneut die gleichen Benchmarks durchgeführt. Die Zahlen waren auf den ersten Blick kaum zu glauben.
Von zwanzig Sekunden auf etwa eine
Das gleiche Modell, die gleiche Hardware, vorgeheizter Cache, beide Macs – Vergleich zwischen Roh-MLX und oMLX.
Antwortzeit
Bei der Roh-MLX-Version führten die langen Wartezeiten beim Verarbeiten von Kontexten dazu, dass die Arbeit des Agents fast unmöglich erschien: Allein zum Lesen von 8.700 Tokens waren etwa zwanzig Sekunden nötig. Bei oMLX sank diese Zeitspanne auf etwa 2,95 Sekunden beim M1 Max und auf etwa 1,01 Sekunden beim M4 Max. Auch die kurzen und mittellangen Antworten verbesserten sich, doch der lange Kontext war der entscheidende Faktor, und oMLX löste dieses Problem.
Ausgabeerstellung
Sobald das Vorausfüllen abgeschlossen ist, fließen die Tokens. Rohes MLX und oMLX erzeugen in etwa derselben Geschwindigkeit: rund 42 Tok/S auf dem M1 Max und rund 95 Tok/S auf dem M4 Max. oMLX beschleunigt die Erzeugung nicht – es muss das auch nicht, denn bereits 95 Tok/S reichen für eine interaktive Nutzung aus. Das Engpassproblem lag nie im Dekodieren, sondern beim Vorausfüllen.
Vorausfüllen: Wo oMLX hervorsticht
Durch das Vorausfüllen wird bestimmt, wie schnell das Modell Eingaben vor dem Start der Erzeugung liest. Für Agenten, die bei jedem Aufruf Tausende von Tokens an Code, Systemanweisungen, Tools und Historie einfügen, ist das Vorausfüllen von entscheidender Bedeutung. Ein langsames Vorausfüllen lässt den Agenten „tot“ wirken.
Auf dem M1 Max las rohes MLX den Kontext mit etwa 579 Tok/S; oMLX hingegen mit rund 2.975 Tok/S, das sind etwa 5,1-mal so schnell. Auf dem M4 Max lag die Geschwindigkeit von rohem MLX bei etwa 1.520 Tok/S, während oMLX etwa 8.664 Tok/S erreichte, also etwa 5,7-mal so schnell.
Ebenso wichtig: oMLX speichert diesen Kontext im Cache. Nachdem das Modell eine Codebasis mit 8.700 Token gelesen hat, bleibt der KV-Zustand verfügbar. Der nächste Anfragen nutzt ihn erneut. Rohes MLX verfügt nicht über einen solchen Cache und beginnt jedes Mal von Null aus.
M4 Max gegen M1 Max
Mit oMLX ist der M4 Max eindeutig schneller: Kurze Antworten von etwa 1,08 Sekunden auf 0,16 Sekunden, lange Kontexte von etwa 2,95 Sekunden auf 1,01 Sekunden – insgesamt etwa 2–3 Mal schneller. Die Ausgabe verdoppelt sich ungefähr (42 → 95 Tok/S), und die Vorausbefüllung verdreifacht sich fast (2.975 → 8.664 Tok/S). Das ist für den ganztägigen Einsatz von Agenten von großer Bedeutung.
Trotzdem ist der ältere M1 Max mit oMLX schnell genug für praktische Anwendungen. Der zuvor 22 Sekunden lange Kontext benötigt nun nur noch 3 Sekunden. Die Ausgabe ist interaktiv. Der Cache sorgt dafür, dass Wiederholungen sofort erfolgen. Für ein MoE-Modell wie Qwen3.6–35B-A3B war oMLX wichtiger als ein neuer MacBook. Für dichtere Modelle wie Qwen3.6–27B kann möglicherweise immer noch ein M4 Max oder neuerer benötigt werden.
Warum oMLX besser ist als raw MLX
Keine Magie – vier Funktionen, die raw MLX fehlen.
Kontinuierliches Batching
Agenten senden viele Anfragen: Toolaufrufe, Nachfragen, parallele Abfragen. raw MLX erledigt sie nacheinander. oMLX gruppiert gleichzeitige Anfragen zu einem einzigen GPU-Vorgang. In der Praxis bedeutet das bei beschäftigten Agenten oft eine Steigerung um das 2–5-fache.
Stufenförmiger KV-Cache (RAM + SSD)
Der aktive Kontext wird im RAM gespeichert; ältere Kontexte, die keine Daten verdrängen sollten, befinden sich auf der SSD. Nach der ersten Lektüre einer großen Codebasis werden spätere Anfragen bereits gekachelte KV-Paare wiederverwenden. Kontextwechsel und Wiederbesuche früherer Schritte bleiben kostengünstig.
OpenAI-kompatible API
http://localhost:8000/v1 entspricht der OpenAI-Syntax. Richten Sie Claude Code, Cursor, ein benutzerdefiniertes Agentenframework oder jeden OpenAI-kompatiblen Client auf localhost aus. raw MLX ist eine Python-Bibliothek – Sie müssen den Server selbst erstellen.
Mehrmodell-Service
oMLX entdeckt automatisch Modelle in einem Verzeichnis und kann mehrere gleichzeitig bereitstellen, indem es sie nach Bedarf in und aus dem Speicher wechselt. Die für die Suche verwendeten Embeddings sowie ein 35B-Modell für das Reasoning können denselben Prozess teilen.
So wird die Überprüfung durchgeführt
- Installieren Sie oMLX aus dem GitHub-Repo und erstellen Sie wie im obigen Beispiel einen virtualenv.
- Weisen Sie
--model-dirauf ein Verzeichnis hin, das bereits MLX-Gewichte enthält (das Modellverzeichnis von LM Studio funktioniert). - Rufen Sie den OpenAI-kompatiblen Endpunkt
/v1/chat/completionsmit einer Anfrage auf, deren Prompt-Token bei etwa 8–9k liegen. - Notieren Sie die Zeit bis zum ersten Token (dominiert vom Prefill) sowie die Anzahl der Tokens pro Sekunde während der Dekodierung.
- Wiederholen Sie sofort dieselbe Anfrage. Wenn der gestufte Cache funktioniert, sollte der zweite Versuch deutlich günstiger im Hinblick auf das Prefill sein.
Vergleichen Sie diese Zeiten mit einem reinen MLX-Skript, das die gleichen Gewichte ohne Server lädt. Der Unterschied bei langen Eingaben zeigt, wo die Stärke des Agenten liegt.
Wichtige Einschränkungen
Die oben genannten Zahlen stammen von einer Modellfamilie, zwei Macs sowie Ausführungen mit vorgeheiztem Cache. Ein kalter Start, unterschiedliche Quantisierungen, dichte im Vergleich zu MoE-Architekturen sowie konkurrierende GPU-Aufgaben werden die Kurven verschieben. Betrachten Sie die Angaben zu einer 5-fachen Vorausfüllung als „Ordnung der Größenordnung bei dieser Konfiguration“, nicht als universelle Garantie. Zudem bedeutet die lokale Bereitstellung weiterhin, dass Sie für Updates, Festplattengrenzen und thermische Beschränkungen selbst verantwortlich sind. oMLX beseitigt die schlimmsten Probleme bei der Vorausfüllung; es beseitigt jedoch nicht die damit verbundenen Operationen.
Fazit
Das reine MLX sorgte dafür, dass lokale Agenten auf einem MacBook unpraktisch erschienen: Zwanzig Sekunden für eine Anfrage mit 8.700 Token auf einem M1 Max. Mit oMLX: etwa drei Sekunden auf dem M1 Max und etwa eine Sekunde auf dem M4 Max, wobei der Kontext anschließend im Cache gespeichert wird. Das Hardware war nicht das Hauptproblem – vielmehr die Inferenzstack.
Apple Silicon mit 32 GB+ RAM reicht bereits aus, um ernstzunehmende lokale Agenten zu betreiben, sofern der Server Batching sowie einen KV-Cache bereitstellt. Keine Cloud-API, keine monatlichen Gebühren für die Inferenz, keine Übertragungsverzögerungen außerhalb des Büros.
- oMLX: github.com/jundot/omlx
- Modell: Qwen3.6–35B-A3B-UD-MLX-4bit (21 GB, 4 Bit)
- Hardware: M1 Max- und M4 Max-MacBook Pros, jeweils 64 GB RAM
- macOS: 26.x (Sequoia)