写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：local-llm
机密文档的本地 AI：哪些环节应在自有硬件上运行
让合同、薪资和审计文件不经过云端 API：哪些处理环节应留在本地、适合什么硬件、本地模型的短板在哪里，以及成本如何。
阅读约 3 分钟运行本地AI需要多少内存？从16GB到512GB不同配置下的速度表现。
测量了16GB、32GB、128GB、256GB和512GB配置的机器上的本地大语言模型运行速度与质量，以及各类配置能运行哪些模型，还有哪些GPU、Mac和迷你电脑适合对应配置。
阅读约 5 分钟Mac Studio M5 Ultra与DGX Spark：相同模型下的本地大语言模型运行速度对比。
Mac Studio M5 Ultra 256 GB与Nemotron、Qwen3.8及DeepSeek-V4.1-Flash平台上的1台、2台和4台DGX Spark服务器在解码、预填充、批量处理及图像处理方面的性能对比。
阅读约 4 分钟RTX 5090本地LLM基准测试：同样使用Qwen3.8-27B模型，每秒处理67至253个标记。
在TensorFold、NInfer、ExLlamaV3、Qwentin和vLLM环境下，使用单块RTX 5090运行Qwen3.8-27B模型：解码性能、预填充能力、并行处理效率、质量表现以及推荐使用的框架。
阅读约 4 分钟用于本地AI的RTX 5060 Ti 16 GB：实测的大语言模型、图像处理及语音处理速度数据。
针对本地AI场景测试的RTX 5060 Ti 16 GB：5种大语言模型的生成速度在42至116个token/秒之间，首个token的生成时间在32K级别，同时涵盖了图像、视频、3D内容及语音处理的处理速度，以及适合在该显卡上运行的应用。
阅读约 6 分钟在 Mac Studio M5 Ultra 上对比 TensorFold 与 llama.cpp：处理真实 JSON 数据时的吞吐量高出 1.84 倍
我在配备Qwen3.8-27B模型的Mac Studio M5 Ultra上，使用80个真实的JSON请求对TensorFold 1.2.0与llama.cpp进行了性能测试：在8个并发任务下，其处理速度为后者的1.84倍。
阅读约 9 分钟Hy-MT2-7B在五种本地运行环境中的表现：在Mac上应选择哪种环境用于翻译任务？
在两台Mac Studio M5 Ultra机器上，使用llama.cpp、LM Studio、mlx-lm、Ollama及MLX-Serve对Hy-MT2-7B进行负载测试：测试内容包括吞吐量、扩展性、确定性以及内存使用情况。
阅读约 9 分钟基于文件夹和Markdown文件构建的本地LLM智能体工作流
构建一个带门控机制的多阶段本地代理流程，每个阶段对应一个文件夹，提示词为可编辑的 Markdown 格式，并在执行昂贵操作之前由人工审核输出结果。
阅读约 25 分钟将LM Studio连接到用于文件处理、GitHub操作和浏览器控制的MCP服务器。
逐步详细的mcp.json配置，帮助本地模型使用文件系统、GitHub OAuth工具及Playwright，同时包含模型选择及常见错误修复方案。
阅读约 7 分钟