写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：benchmarks
运行本地AI需要多少内存？从16GB到512GB不同配置下的速度表现。
测量了16GB、32GB、128GB、256GB和512GB配置的机器上的本地大语言模型运行速度与质量，以及各类配置能运行哪些模型，还有哪些GPU、Mac和迷你电脑适合对应配置。
阅读约 5 分钟Mac Studio M5 Ultra与DGX Spark：相同模型下的本地大语言模型运行速度对比。
Mac Studio M5 Ultra 256 GB与Nemotron、Qwen3.8及DeepSeek-V4.1-Flash平台上的1台、2台和4台DGX Spark服务器在解码、预填充、批量处理及图像处理方面的性能对比。
阅读约 4 分钟RTX 5090本地LLM基准测试：同样使用Qwen3.8-27B模型，每秒处理67至253个标记。
在TensorFold、NInfer、ExLlamaV3、Qwentin和vLLM环境下，使用单块RTX 5090运行Qwen3.8-27B模型：解码性能、预填充能力、并行处理效率、质量表现以及推荐使用的框架。
阅读约 4 分钟用于本地AI的RTX 5060 Ti 16 GB：实测的大语言模型、图像处理及语音处理速度数据。
针对本地AI场景测试的RTX 5060 Ti 16 GB：5种大语言模型的生成速度在42至116个token/秒之间，首个token的生成时间在32K级别，同时涵盖了图像、视频、3D内容及语音处理的处理速度，以及适合在该显卡上运行的应用。
阅读约 6 分钟在 Mac Studio M5 Ultra 上对比 TensorFold 与 llama.cpp：处理真实 JSON 数据时的吞吐量高出 1.84 倍
我在配备Qwen3.8-27B模型的Mac Studio M5 Ultra上，使用80个真实的JSON请求对TensorFold 1.2.0与llama.cpp进行了性能测试：在8个并发任务下，其处理速度为后者的1.84倍。
阅读约 9 分钟Hy-MT2-7B在五种本地运行环境中的表现：在Mac上应选择哪种环境用于翻译任务？
在两台Mac Studio M5 Ultra机器上，使用llama.cpp、LM Studio、mlx-lm、Ollama及MLX-Serve对Hy-MT2-7B进行负载测试：测试内容包括吞吐量、扩展性、确定性以及内存使用情况。
阅读约 9 分钟Gemini 3.8 Flash发布时的情况：速度、价格截止日期以及安全方面的注意事项。
Gemini 3.8 Flash评测：官方基准测试成绩提升，每秒处理304个令牌，促销价格将于2027年结束，Cyber模型以及多语言安全方面的问题。
阅读约 7 分钟为何使用SGLang和DFlash2时，双块RTX 3090显卡的生成速度仅为55 tok/s，而非预期的220 tok/s。
实地演示如何使用SGLang在两块3090显卡上运行Qwen3.8-27B，以及为何PCIe x4接口、缺失的P2P功能、过小的KV缓存以及电压波动导致了实际速度远低于宣传值。
阅读约 7 分钟MiniCPM5-2B与4B的竞争：为何代理框架能展现不同的故事
MiniCPM5-2B在单次测试得分上优于4B系列模型，但在基于代理的测试中则落后两到三倍。基准测试中的混淆率及Ollama的处理速度也是考量因素。
阅读约 10 分钟