Exécuter des agents IA sur un MacBook : pourquoi oMLX est supérieur à MLX brut.
Raw MLX nécessitait environ 20 secondes pour gérer un contexte d’agent de 8,7 k de tokens sur un M1 Max. oMLX a réduit ce temps à environ 3 secondes grâce au batch processing et à un cache KV hiérarchisé. Les chiffres et leurs raisons.
Sources: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX
Le problème : MLX brut trop lent pour les agents
Un objectif courant avec Apple Silicon est de faire fonctionner un LLM local en tant que cerveau des agents. Deux machines ont été testées ici : une M1 Max avec 64 Go de mémoire unifiée et une M4 Max avec la même capacité. Toutes deux utilisent MLX d’Apple. En théorie, elles semblent toutes deux performantes.
Une version 4 bits de MLX du checkpoint Unsloth Qwen3.6 35B MoE (environ 21 Go sur Hugging Face) a été chargée via MLX brut. L’objectif était de permettre aux agents de gérer des contextes longs : bases de code, documents, historique de conversation, avec des réponses semblant en temps réel.
Les performances de MLX brut ont déçu. Sur la M1 Max, le traitement d’un contexte de 8 700 tokens a nécessité environ 20 secondes avant d’obtenir le premier token de sortie. La M4 Max s’en est mieux sortie, avec environ 5,75 secondes, mais ce n’est toujours pas suffisant. Un agent qui effectue des dizaines de requêtes par tâche, en relisant chaque fois l’intégralité du contexte, est inutilisable à ces vitesses.
Puis oMLX
oMLX est un serveur d’inférence de LLM open source basé sur MLX, conçu pour Apple Silicon, avec un lotage continu et un cache KV hiérarchisé. Bien que sceptique face à un autre wrapper, on a quand même essayé : cloner, créer un environnement virtuel, pointer vers les modèles MLX existants, puis lancer le serveur.
git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"
# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models
Le serveur a découvert le modèle Qwen et a mis à disposition une API compatible OpenAI à l’adresse http://localhost:8000/v1. Les mêmes tests que ceux effectués avec MLX brut ont été répétés. Les résultats étaient difficiles à croire au premier abord.
De vingt secondes à environ une
Même modèle, même matériel, cache préchauffé, deux Macs, MLX brut versus oMLX.
Délai de réponse
Avec MLX brut, les temps d’attente liés aux contextes longs rendaient le fonctionnement de l’agent quasi impossible : il fallait environ vingt secondes rien que pour lire 8 700 tokens. Avec oMLX, ce temps est passé à environ 2,95 secondes sur le M1 Max et à environ 1,01 seconde sur le M4 Max. Les temps de réponse courts et moyens se sont également améliorés, mais c’était le contexte long qui posait problème, et oMLX l’a résolu.
Génération de la sortie
Lorsque le préremplissage est terminé, les tokens affluent. Le MLX brut et l’oMLX génèrent des résultats à peu près à la même vitesse : environ 42 tok/s sur le M1 Max et environ 95 tok/s sur le M4 Max. L’oMLX ne accélère pas la génération ; il n’en a pas besoin, car 95 tok/s est déjà une vitesse interactive. Le goulot d’étranglement n’a jamais été le décodage, mais bien le préremplissage.
Préremplissage : où l’oMLX excelle
Le préremplissage correspond à la vitesse à laquelle le modèle lit les données d’entrée avant de commencer à générer. Pour les agents qui insèrent des milliers de tokens de code, de prompts système, d’outils et d’historique dans chaque appel, le préremplissage est essentiel. Un préremplissage lent rend l’agent inefficace.
Au M1 Max, le MLX brut lit le contexte à environ 579 tok/s, tandis que l’oMLX atteint environ 2 975 tok/s, soit une différence de près de 5,1 fois. Au M4 Max, le MLX brut affiche environ 1 520 tok/s contre environ 8 664 tok/s pour l’oMLX, soit une différence d’environ 5,7 fois.
Autant dire que c’est crucial : oMLX met en cache ce contexte. Une fois que le modèle a lu une base de code de 8 700 tokens, l’état KV reste disponible et est réutilisé pour la demande suivante. Le MLX brut ne dispose pas de tel cache et doit tout reprendre à zéro à chaque fois.
M4 Max contre M1 Max
Avec oMLX, le M4 Max est clairement plus rapide : les réponses courtes passent d’environ 1,08 s à 0,16 s, et celles nécessitant un contexte long de 2,95 s à 1,01 s, soit une amélioration d’environ 2 à 3 fois dans tous les cas. La vitesse de production double à peu près (42 → 95 tok/s) et celle du préremplissage presque triplée (2 975 → 8 664 tok/s). Cela a une réelle importance pour un agent qui doit fonctionner toute la journée.
Néanmoins, l’ancien M1 Max équipé d’oMLX reste suffisamment rapide pour un usage réel. Le temps nécessaire pour gérer un contexte long de vingt secondes passe à trois secondes. La réponse est interactive, et le cache rend les réutilisations instantanées. Pour un modèle MoE comme Qwen3.6–35B-A3B, oMLX est bien plus important qu’un nouvel MacBook. Pour des modèles plus volumineux tels que Qwen3.6–27B, un M4 Max ou une version plus récente peut encore être nécessaire.
Pourquoi oMLX est supérieur à raw MLX
Ce n’est pas de la magie. Quatre fonctionnalités manquent à raw MLX.
Grouper les requêtes de manière continue
Les agents envoient de nombreuses requêtes : appels d’outils, demandes de suivi, recherches en parallèle. raw MLX les traite une par une. oMLX regroupe les requêtes simultanées en une seule opération sur la GPU. Impact dans la réalité lorsque l’agent est occupé : souvent 2 à 5 fois plus rapide.
Cache KV hiérarchisé (RAM + SSD)
Niveau actif en RAM pour le contexte en cours d’utilisation ; niveau froid sur SSD pour les contextes anciens qui ne doivent pas évincer les données actives. Après la première lecture d’un grand ensemble de code, les requêtes ultérieures réutilisent les paires KV mémorisées. Le changement de contexte et la consultation de tours précédents restent peu coûteux.
API compatible OpenAI
http://localhost:8000/v1 correspond à la structure d’OpenAI. Dirigez Claude Code, Cursor, un framework d’agent personnalisé ou tout client compatible OpenAI vers localhost. raw MLX est une bibliothèque Python ; vous devez créer vous-même le serveur.
Servir plusieurs modèles
oMLX découvre automatiquement les modèles dans un répertoire et peut en servir plusieurs en même temps, les mettant et les retirant de la mémoire selon les besoins. Les embeddings utilisés pour la récupération ainsi qu’un modèle de 35 milliards de paramètres pour le raisonnement peuvent partager le même processus.
Comment reproduire la vérification
- Installez oMLX depuis le dépôt GitHub et créez un environnement virtuel comme indiqué dans l’exemple ci-dessus.
- Pointez
--model-dirvers un dossier contenant déjà les poids MLX (le répertoire des modèles de LM Studio fonctionne). - Appelez l’endpoint compatible OpenAI
/v1/chat/completionsavec une demande dont le nombre de tokens est proche de 8–9 000. - Notez le temps écoulé jusqu’au premier token (dominé par le préremplissage) ainsi que le nombre de tokens par seconde pendant le décodage.
- Reproduisez immédiatement la même demande. Si le cache hiérarchisé fonctionne correctement, la deuxième exécution devrait être beaucoup plus rapide grâce au préremplissage.
Comparez ces temps avec un script MLX brut qui charge les mêmes poids sans serveur. L’écart observé pour des requêtes longues révèle où réside l’avantage de l’agent.
Mises en garde importantes
Les chiffres indiqués proviennent d’une même famille de modèles, de deux Macs et d’exécutions avec cache préchauffé. Un démarrage à froid, une quantification différente, des architectures denses ou MoE, ainsi que d’autres charges de travail sur la GPU modifieront ces courbes. Interprétez les affirmations concernant un préremplissage 5 fois plus rapide comme une indication relative à ce setup, et non comme une garantie universelle. De plus, le déploiement local signifie que vous êtes responsable des mises à jour, ainsi que des limites liées au disque et à la chaleur. oMLX atténue les problèmes les plus graves liés au préremplissage, mais il n’élimine pas les opérations nécessaires.
Conclusion
MLX brut rendait les agents locaux sur un MacBook peu pratiques : vingt secondes pour une requête de 8 700 tokens sur un M1 Max. Avec oMLX, cela prend environ trois secondes sur le M1 Max et environ une seconde sur le M4 Max, le contexte étant mémorisé par la suite. Le matériel n’était pas le principal problème ; c’était plutôt la pile d’inférence.
Le Apple Silicon avec 32 GB+ de RAM suffit déjà pour des agents locaux performants, à condition que le serveur intègre le batch processing et un cache KV. Pas d’API cloud, pas de facture mensuelle pour l’inférence, et aucune latence de trajet supplémentaire en dehors de votre bureau.
- oMLX : github.com/jundot/omlx
- Modèle : Qwen3.6–35B-A3B-UD-MLX-4bit (21 GB, 4 bits)
- Matériel : MacBook Pros M1 Max et M4 Max, 64 GB chacun
- macOS : 26.x (Sequoia)