写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：apple-silicon
Mac Studio M5 Ultra与DGX Spark：相同模型下的本地大语言模型运行速度对比。
Mac Studio M5 Ultra 256 GB与Nemotron、Qwen3.8及DeepSeek-V4.1-Flash平台上的1台、2台和4台DGX Spark服务器在解码、预填充、批量处理及图像处理方面的性能对比。
阅读约 4 分钟在 Mac Studio M5 Ultra 上对比 TensorFold 与 llama.cpp：处理真实 JSON 数据时的吞吐量高出 1.84 倍
我在配备Qwen3.8-27B模型的Mac Studio M5 Ultra上，使用80个真实的JSON请求对TensorFold 1.2.0与llama.cpp进行了性能测试：在8个并发任务下，其处理速度为后者的1.84倍。
阅读约 9 分钟在配备oMLX的Mac上运行本地编码代理：磁盘支持的KV缓存详解
oMLX在SSD上缓存提示词前缀，从而使基于Apple Silicon的本地编码工具保持高速运行。安装该工具后，再将Claude Code、Codex、Cursor和OpenCode与之连接即可。
阅读约 9 分钟在M1 Mac上运行的私有多模态RAG：借助Ollama实现选择性图表阅读
在配备 Ollama 的 M1 Mac 上运行的私有多模态 RAG 系统：使用 PyMuPDF 处理文本和表格，搭配小型 Qwen 视觉模型仅用于处理图表与数字校验，同时通过 ChromaDB 进行信息检索。
阅读约 10 分钟在MacBook上运行AI智能体：为何oMLX优于原始MLX模型。
在 M1 Max 上，原始 MLX 处理 8.7k 个标记的智能体上下文大约需要 20 秒。而通过批处理和分层 KV 缓存，oMLX 将该时间缩短至约 3 秒。具体数值及原因如下。
阅读约 5 分钟使用MLX而非默认的lama.cpp引擎在Mac上运行本地大语言模型。
当苹果的MLX在苹果芯片上运行本地大语言模型时性能优于llama.cpp，不同模型大小下的速度差异，从Ollama切换过来的三种方法，以及需避免的陷阱。
阅读约 5 分钟在64GB版MacBook上运行Qwen3.8-Flash-Next：文件、量化参数及llama.cpp标志设置
在 M4 Max 或 M1 Max 上运行 180B 参数的 MoE 模型且不使用 CPU 协同处理：应选择哪种 GGUF 格式、如何将 n-gram 表拆分成多个片段，以及具体的 llama-server 命令。
阅读约 9 分钟从微调到精准：大幅降低误差
通过微调与RAG技术减少幻觉：为何仅靠微调不够，基于Ollama的架构，以及如何在特定领域提升精确度。
阅读约 13 分钟