在MacBook上运行AI智能体:为何oMLX优于原始MLX模型。
在 M1 Max 上,原始 MLX 处理 8.7k 个标记的智能体上下文大约需要 20 秒。而通过批处理和分层 KV 缓存,oMLX 将该时间缩短至约 3 秒。具体数值及原因如下。
来源: I Tried Running AI Agents on My MacBook. MLX Was Too Slow. Then I Found oMLX
问题:原始 MLX 对智能体而言速度过慢
在 Apple Silicon 平台上,一个常见的目标是将本地 LLM 作为智能体的核心运算引擎。本次测试使用了两台设备:配备 64GB 统一内存的 M1 Max 以及配置相同的 M4 Max。这两者都运行 Apple 的 MLX 框架,从理论上看都具备相应性能。
通过原始 MLX 加载了 Unsloth Qwen3.6 35B MoE 检查点 的 4 位版本(在 Hugging Face 上大小约为 21GB)。其应用场景是处理长上下文的任务,如代码库、文档、对话历史等,要求响应具备实时感。
然而原始 MLX 的表现令人失望。在 M1 Max 上,处理 8,700 个标记的上下文需要约 20 秒才能产生第一个输出标记;M4 Max 的表现稍好,约为 5.75 秒,但仍不算理想。如果智能体每项任务需要发送数十次请求,且每次都要重新读取全部上下文,以这样的速度根本无法使用。
于是出现了 oMLX
oMLX 是基于 MLX 开发的开源大语言模型推理服务器,专为 Apple Silicon 设计,具备连续批处理和分层 KV 缓存功能。尽管对另一款封装工具持怀疑态度,人们还是决定试一试:克隆项目、创建虚拟环境、指定现有的 MLX 模型,然后启动服务器。
git clone https://github.com/jundot/omlx.git
cd omlx
python3 -m venv .venv
source .venv/bin/activate
pip install -e ".[mcp]"
# Start the server with my existing models
omlx serve --model-dir ~/.lmstudio/models
服务器发现了Qwen模型,并在http://localhost:8000/v1处提供了兼容OpenAI的API。与原始MLX相同的测试再次被执行,初步看到的数据结果令人难以置信。
从二十秒降至约一秒
相同的模型、相同的硬件、预热后的缓存、两台Mac电脑,分别使用原始MLX和oMLX进行测试。
响应时间
使用原始MLX时,处理长上下文需要很长时间,使得任务几乎无法完成:仅读取8,700个标记就需要大约二十秒。而使用oMLX后,M1 Max上的长上下文处理时间降至约2.95秒,M4 Max上则降至约1.01秒。短文本和中等长度文本的响应时间也有改善,但长上下文问题仍是关键瓶颈,而oMLX解决了这一问题。
输出生成
预填充完成后,令牌便开始流式生成。原始MLX与oMLX的生成速度大致相同:在M1 Max上约为42令牌/秒,在M4 Max上约为95令牌/秒。oMLX并不会提升生成速度,其实也无需如此——95令牌/秒已足以实现实时交互。真正的瓶颈从来不是解码,而是预填充环节。
预填充:oMLX的优势所在
预填充指的是模型在开始生成内容之前读取输入数据的速度。对于那些每次调用都会输入数千个令牌的代码、系统提示、工具信息及历史记录的智能体而言,预填充至关重要。若预填充速度过慢,智能体就会显得反应迟钝。
在M1 Max上,原始MLX读取上下文的速度约为579令牌/秒,而oMLX则可达2,975令牌/秒,约为前者的5.1倍。在M4 Max上,原始MLX的速度约为1,520令牌/秒,oMLX则为8,664令牌/秒,约为前者的5.7倍。
同样重要的是:oMLX会缓存该上下文。模型读取完8,700个标记的代码库后,KV状态依然可用,后续请求可直接复用。而原始MLX没有此类缓存,每次都得从零开始。
M4 Max与M1 Max对比
使用oMLX后,M4 Max的速度明显更快:短响应时间从约1.08秒降至0.16秒,长上下文处理时间从约2.95秒降至1.01秒,整体速度提升约2–3倍。输出速度大约翻倍(从42标记/秒提升到95标记/秒),预填充速度则接近三倍(从2,975标记/秒提升到8,664标记/秒)。这对需要全天运行的智能体任务而言意义重大。
即便如此,配备oMLX的旧款M1 Max也足以满足实际使用需求。原本需要22秒处理的长上下文现在只需3秒,输出响应也能实现实时交互。缓存让重复操作几乎瞬间完成。对于像Qwen3.6–35B-A3B这样的MoE模型,oMLX的重要性甚至超过新款MacBook;而对于Qwen3.6–27B这类参数密度更高的模型,可能仍需要M4 Max或更先进的芯片。
为何 oMLX 优于原始 MLX
并非魔法,只是拥有原始 MLX 所缺乏的四大功能。
连续批处理
智能体会发出大量请求:工具调用、后续操作、并行查询。原始 MLX 是逐一处理这些请求的,而 oMLX 能将并发请求整合为一次 GPU 处理。当智能体处于高负载状态时,性能提升可达 2–5 倍。
分层 KV 缓存(RAM + SSD)
活跃的上下文存储在 RAM 的热层中;较旧的上下文则存储在 SSD 的冷层中,从而避免挤占热层空间。在首次读取大型代码库后,后续请求可直接复用已缓存的 KV 对,上下文切换及重新访问历史内容的时间成本也会大幅降低。
兼容 OpenAI 的 API
http://localhost:8000/v1 的结构与 OpenAI 相一致。Claude Code、Cursor、自定义智能体框架或任何支持 OpenAI 的客户端均可指向 localhost 使用该接口。原始 MLX 只是一个 Python 库,需要自行构建服务器。
多模型服务
oMLX能够自动发现目录中的模型,并可同时服务多个模型,根据需求在内存中切换它们的使用。用于检索的嵌入模型与用于推理的35B模型可共享同一个进程。
如何复现测试
- 从GitHub仓库安装oMLX,并按照上述示例创建一个virtualenv环境。
- 将
--model-dir参数设置为已包含MLX权重文件的文件夹(LM Studio的模型目录即可)。 - 发送一个提示词到兼容OpenAI的
/v1/chat/completions接口,该提示词的token数量应在8–9k左右。 - 记录从第一个token生成到解码完成期间的总时间,以及解码过程中的每秒token生成数量。
- 立即重复发送完全相同的提示词。如果分层缓存功能正常,第二次请求在预填充阶段的响应速度应会明显更快。
将那些时间与不依赖服务器、直接加载相同权重的原始MLX脚本进行对比。在处理长文本提示时出现的差异,正是智能体生成内容的关键所在。
需要说明的注意事项
上述数据来自同一模型系列、两台Mac电脑以及预热缓存后的运行结果。冷启动状态、不同的量化方式、密集型架构与MoE架构的差异,以及其他GPU任务的竞争,都会影响测试结果。所谓5倍预填充速度的提升,仅代表“在该配置下的数量级差异”,并非普遍适用的保证。此外,本地部署仍意味着你需要自行处理更新问题,同时还要面对磁盘容量和散热限制。oMLX虽然能减轻最严重的预填充问题,但无法消除所有操作上的瓶颈。
总结
原始的MLX让在MacBook上运行本地智能体显得不切实际:在M1 Max芯片上处理一个包含8,700个标记的请求需要20秒。而使用oMLX后,M1 Max上仅需约3秒,M4 Max上则仅需约1秒,且之后还能缓存上下文。问题并不在于硬件,而在于推理框架。
只要服务器具备批量处理功能和键值缓存,配备32GB以上内存的Apple Silicon芯片就已经足以支撑复杂的本地智能体应用。无需依赖云API,无需支付推理服务的月费,数据传输延迟也仅限于桌面设备之间。
- oMLX:github.com/jundot/omlx
- 模型:Qwen3.6–35B-A3B-UD-MLX-4bit(21GB,4位精度)
- 硬件:M1 Max和M4 Max版本的MacBook Pro,内存均为64GB
- macOS系统版本:26.x(Sequoia)