写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：llama-cpp
在 Mac Studio M5 Ultra 上对比 TensorFold 与 llama.cpp：处理真实 JSON 数据时的吞吐量高出 1.84 倍
我在配备Qwen3.8-27B模型的Mac Studio M5 Ultra上，使用80个真实的JSON请求对TensorFold 1.2.0与llama.cpp进行了性能测试：在8个并发任务下，其处理速度为后者的1.84倍。
阅读约 9 分钟Hy-MT2-7B在五种本地运行环境中的表现：在Mac上应选择哪种环境用于翻译任务？
在两台Mac Studio M5 Ultra机器上，使用llama.cpp、LM Studio、mlx-lm、Ollama及MLX-Serve对Hy-MT2-7B进行负载测试：测试内容包括吞吐量、扩展性、确定性以及内存使用情况。
阅读约 9 分钟DeepSeek Harness（dsh）：能够重写自身配置的开放代理运行时。
什么是DeepSeek Harness，其自编辑代理为何如此出色，社区的反应如何，以及在使用本地模型运行它之前需要做哪些准备。
阅读约 6 分钟利用五个开源项目在本地运行Kimi K3及其他大型模型。
五个开源项目，通过磁盘流式处理、专家级缓存与卸载技术，将前沿规模模型运行在笔记本电脑或单块GPU上，并附有实际运行速度数据。
阅读约 6 分钟使用llama.cpp运行本地编码模型：量化、上下文窗口与VS Code
用本地MoE模型替换量化令牌票据：选择量化方式，设定上下文窗口大小，针对小型CUDA GPU调整llama-server，然后连接Cline。
阅读约 8 分钟本地大语言模型工作站：配备两块GPU，每秒处理20至60个令牌
一台配备两块RTX 5060 Ti显卡的二手Xeon服务器，支持Qwen 27B模型、张量并行计算及NCCL技术：硬件相关要求、实际速度提升效果，以及与API定价的成本对比分析。
阅读约 9 分钟为何 Ollama 已不再够用，以及该使用什么替代方案
Ollama 是 llama.cpp 的封装层。了解它在加载量、模型格式及 AMD GPU 方面存在的限制，以及何时使用 llama.cpp、LM Studio 或 vLLM 更为合适。
阅读约 7 分钟在 RTX GPU 上通过 MTP 技术将 Qwen3.8-Flash-Next 的解码速度提升一倍
了解如何构建带有MTP推测解码功能的llama.cpp分支，并通过正确的参数设置，在多GPU RTX硬件上将Qwen3.8-Flash-Next的运行速度提升近一倍。
阅读约 5 分钟Qwen3.8-Flash-Next：可在单块24GB显存GPU上运行的1770亿参数模型
Qwen3.8-Flash-Next如何将一个1770亿参数的专家混合模型适配到仅有60亿活跃参数、配备n-gram表与混合注意力机制的普通硬件上，以及其在该领域的性能差距。
阅读约 9 分钟