工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：MLX
Hy-MT2-7B在五种本地运行环境中的表现：在Mac上应选择哪种环境用于翻译任务？
在两台Mac Studio M5 Ultra机器上，使用llama.cpp、LM Studio、mlx-lm、Ollama及MLX-Serve对Hy-MT2-7B进行负载测试：测试内容包括吞吐量、扩展性、确定性以及内存使用情况。
阅读约 9 分钟在配备oMLX的Mac上运行本地编码代理：磁盘支持的KV缓存详解
oMLX在SSD上缓存提示词前缀，从而使基于Apple Silicon的本地编码工具保持高速运行。安装该工具后，再将Claude Code、Codex、Cursor和OpenCode与之连接即可。
阅读约 9 分钟LLM内部：在MLX上使用纯Python实现Qwen3-0.6B的推理
使用MLX在约200行Python代码中逐步实现LLM推理功能：包括分词器、RMSNorm、RoPE、分组查询注意力、SwiGLU、KV缓存以及采样机制。
阅读约 13 分钟在MacBook上运行AI智能体：为何oMLX优于原始MLX模型。
在 M1 Max 上，原始 MLX 处理 8.7k 个标记的智能体上下文大约需要 20 秒。而通过批处理和分层 KV 缓存，oMLX 将该时间缩短至约 3 秒。具体数值及原因如下。
阅读约 5 分钟使用MLX而非默认的lama.cpp引擎在Mac上运行本地大语言模型。
当苹果的MLX在苹果芯片上运行本地大语言模型时性能优于llama.cpp，不同模型大小下的速度差异，从Ollama切换过来的三种方法，以及需避免的陷阱。
阅读约 5 分钟更大的LoRA值得吗？应以准确度而非感觉来衡量成本。
一种小型工具，将LoRA配方视为数据，并输出准确率、训练时间、延迟及内存使用情况，从而让排名和迭代次数的选择有数据支撑。
阅读约 5 分钟在本地运行LoRA微调：验证、融合并避免隐性故障
证明LoRA适配器确实提升了小型模型的性能，将其融合并在本地兼容OpenAI的API后提供服务，同时检测那些会输出错误结果的故障情况。
阅读约 12 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。