Inicio / Artículos

Ejecutar agentes de IA en una MacBook: por qué oMLX supera a MLX en su forma original.

Raw MLX necesitaba unos 20 segundos para manejar un contexto de agente de 8.7 mil tokens en un M1 Max. oMLX lo redujo a aproximadamente 3 segundos gracias al procesamiento por lotes y a un caché KV escalonado. Números y razones.

Editor: REACTAPP.TOP5 min de lectura1157 palabras

Fuentes: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX

El problema: MLX en su forma básica resultó demasiado lento para los agentes

Un objetivo común en Apple Silicon es ejecutar un LLM local como cerebro de los agentes. Aquí se prueban dos máquinas: un M1 Max con 64 GB de memoria unificada y un M4 Max con la misma cantidad. Ambos utilizan MLX de Apple. En teoría, ambos parecen capaces.

Se cargó mediante MLX en su forma básica una versión de 4 bits de Unsloth Qwen3.6 35B MoE checkpoint (aproximadamente 21 GB en Hugging Face). El objetivo era trabajar con contextos largos: bases de código, documentos, historial de conversaciones, con respuestas que parecieran en tiempo real.

Los resultados con MLX en su forma básica fueron decepcionantes. En el M1 Max, procesar un contexto de 8,700 tokens tomó unos 20 segundos antes de obtener cualquier token de salida. El M4 Max lo hizo mejor, en unos 5.75 segundos, pero aún así no es óptimo. Un agente que realiza docenas de solicitudes por tarea, leyendo cada vez todo el contexto, resulta inutilizable a esas velocidades.

Luego llegó oMLX

oMLX es un servidor de inferencia de LLM de código abierto basado en MLX, diseñado para Apple Silicon, que cuenta con procesamiento por lotes continuo y caché de KV por niveles. A pesar de las dudas sobre otro wrapper, se decidió probarlo: clonar, crear un entorno virtual, apuntar a los modelos MLX existentes y iniciar el servidor.

git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"

# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models

El servidor descubrió el modelo Qwen y expuso una API compatible con OpenAI en http://localhost:8000/v1. Se volvieron a ejecutar las mismas pruebas que con MLX en su forma original. A primera vista, las cifras resultaban difíciles de creer.

De veinte segundos a aproximadamente uno

Mismo modelo, mismo hardware, caché ya cargada, ambos Macs, MLX en su forma original frente a oMLX.

Tiempo de respuesta

Con MLX en su forma original, las esperas por contextos largos hacían que el funcionamiento del agente pareciera imposible: aproximadamente veinte segundos solo para leer 8,700 tokens. Con oMLX, ese tiempo disminuyó a unos 2.95 segundos en el M1 Max y a unos 1.01 segundos en el M4 Max. Las respuestas cortas y medianas también mejoraron, pero los contextos largos eran el problema principal, y oMLX lo resolvió.

Generación de salida

Una vez que finaliza el prefill, los tokens fluyen continuamente. MLX en formato raw y oMLX se generan a aproximadamente la misma velocidad: alrededor de 42 tok/s en el M1 Max y unos 95 tok/s en el M4 Max. oMLX no acelera la generación; de hecho, no es necesario, ya que 95 tok/s ya es una velocidad interactiva. El cuello de botella nunca fue la decodificación, sino el prefill.

Prefill: donde brilla oMLX

El prefill se refiere a la rapidez con la que el modelo lee la entrada antes de comenzar a generar. Para agentes que incluyen miles de tokens de código, prompts del sistema, herramientas e historial en cada llamada, el prefill es fundamental. Un prefill lento hace que el agente parezca inactivo.

En el M1 Max, MLX en formato raw leía el contexto a una velocidad de unos 579 tok/s; oMLX, en cambio, lo hacía a unos 2,975 tok/s, es decir, aproximadamente 5.1 veces más rápido. En el M4 Max, MLX en formato raw alcanzaba unos 1,520 tok/s, mientras que oMLX llegaba a unos 8,664 tok/s, lo que representa un aumento de unos 5.7 veces.

Igualmente importante: oMLX almacena ese contexto en caché. Después de que el modelo procesa una base de código de 8,700 tokens, el estado KV permanece disponible y se reutiliza en la siguiente solicitud. MLX en su forma básica no cuenta con este tipo de caché y debe comenzar desde cero cada vez.

M4 Max versus M1 Max

Con oMLX, el M4 Max es claramente más rápido: las respuestas cortas pasan de unos 1.08 segundos a 0.16 segundos, y las respuestas con contexto largo de unos 2.95 segundos a 1.01 segundos, lo que representa un aumento de aproximadamente 2–3 veces en todos los casos. La velocidad de generación se duplica más o menos (de 42 a 95 tokens/segundo), y la velocidad de llenado previo casi se triplica (de 2,975 a 8,664 tokens/segundo). Esto es crucial para tareas que se realizan durante todo el día.

Aun así, el M1 Max más antiguo con oMLX es lo suficientemente rápido para tareas reales. El tiempo necesario para generar un contexto largo de veintidós segundos se reduce a tres segundos. La generación de respuestas es interactiva, y el caché hace que las repeticiones parezcan instantáneas. En el caso de un modelo MoE como Qwen3.6–35B-A3B, oMLX resultó más importante que un nuevo MacBook. Para modelos más densos como Qwen3.6–27B, aún podría ser necesario un M4 Max o uno más reciente.

Por qué oMLX supera a raw MLX

No es magia. Cuatro características que le faltan a raw MLX.

Batching continuo

Los agentes envían muchas solicitudes: llamadas a herramientas, seguimientos, búsquedas en paralelo. raw MLX las procesa una por una. oMLX agrupa las solicitudes concurrentes en una sola operación en la GPU. El impacto en el mundo real cuando el agente está ocupado: a menudo 2–5 veces más rápido.

Caché KV por niveles (RAM + SSD)

Nivel activo en RAM para el contexto actual; nivel inactivo en SSD para el contexto anterior que no debe desplazar los datos activos. Después de la primera lectura de una gran base de código, las solicitudes posteriores reutilizan las parejas KV almacenadas en caché. El cambio de contexto y la revisión de turnos anteriores siguen siendo económicos.

API compatible con OpenAI

http://localhost:8000/v1 sigue la estructura de OpenAI. Dirige Claude Code, Cursor, un marco de trabajo de agente personalizado o cualquier cliente que use OpenAI a localhost. raw MLX es una biblioteca de Python; debes crear el servidor tú mismo.

Servicio de múltiples modelos

oMLX descubre automáticamente los modelos en un directorio y puede servir varios al mismo tiempo, intercambiándolos dentro y fuera de la memoria según sea necesario. Los embeddings para la recuperación de información, junto con uno de 35 mil millones para el razonamiento, pueden compartir un mismo proceso.

Cómo reproducir la prueba

  1. Instale oMLX desde el repositorio de GitHub y cree un virtualenv como se muestra en el fragmento anterior.
  2. Dirija --model-dir a una carpeta que ya contenga los pesos de MLX (el directorio de modelos de LM Studio funciona).
  3. Acceda al endpoint compatible con OpenAI /v1/chat/completions con un prompt cuyos tokens estén cerca de los 8–9 mil.
  4. Registre el tiempo desde el inicio hasta el primer token (dominado por el prefill) y los tokens por segundo durante la decodificación.
  5. Repita inmediatamente el mismo prompt. Si la caché por niveles funciona, la segunda ejecución debería ser mucho más rápida gracias al prefill.

Compare esos tiempos con un script MLX sin procesamiento adicional que carga los mismos pesos sin necesidad de servidor. La diferencia en las solicitudes largas es donde se manifiesta la ventaja del agente.

Consideraciones importantes

Las cifras anteriores provienen de una misma familia de modelos, dos Macs y ejecuciones con caché previamente cargado. Un inicio en frío, diferentes métodos de cuantización, arquitecturas densas frente a arquitecturas MoE y cargas de trabajo concurrentes en la GPU modificarán esas curvas. Considere las afirmaciones sobre una mejora de 5 veces como “un orden de magnitud en esta configuración”, y no como una garantía universal. Además, el servicio local implica que usted es responsable de las actualizaciones, así como de los límites de disco y temperatura. oMLX elimina el peor problema relacionado con el prefill; no elimina las operaciones en sí.

Conclusión

MLX en su forma original hacía que los agentes locales en una MacBook resultaran poco prácticos: veinte segundos para una solicitud de 8,700 tokens en un M1 Max. Con oMLX, se necesitan unos tres segundos en el M1 Max y aproximadamente un segundo en el M4 Max, además de que el contexto se almacena en caché posteriormente. El hardware no era el problema principal; lo era la capa de inferencia.

El Apple Silicon con 32 GB o más de RAM ya es suficiente para agentes locales avanzados, siempre y cuando el servidor incluya funcionalidades de agrupamiento y caché KV. Sin API en la nube, sin facturas mensuales por inferencia, y sin latencia de ida y vuelta más allá de tu escritorio.

  • oMLX: github.com/jundot/omlx
  • Modelo: Qwen3.6–35B-A3B-UD-MLX-4bit (21 GB, 4 bits)
  • Hardware: MacBook Pros M1 Max y M4 Max, 64 GB cada uno
  • macOS: 26.x (Sequoia)

Leer más