写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：Qwen
在 Mac Studio M5 Ultra 上对比 TensorFold 与 llama.cpp：处理真实 JSON 数据时的吞吐量高出 1.84 倍
我在配备Qwen3.8-27B模型的Mac Studio M5 Ultra上，使用80个真实的JSON请求对TensorFold 1.2.0与llama.cpp进行了性能测试：在8个并发任务下，其处理速度为后者的1.84倍。
阅读约 9 分钟为何使用SGLang和DFlash2时，双块RTX 3090显卡的生成速度仅为55 tok/s，而非预期的220 tok/s。
实地演示如何使用SGLang在两块3090显卡上运行Qwen3.8-27B，以及为何PCIe x4接口、缺失的P2P功能、过小的KV缓存以及电压波动导致了实际速度远低于宣传值。
阅读约 7 分钟在本地Qwen2.5 14B模型上，ToolCallingAgent与CodeAgent的对比。
在配备 M4 芯片的 Mac 上使用 smolagents 进行测试，比较 ToolCallingAgent 与 CodeAgent 的性能：在多种温度设置下，结合本地 Qwen2.5 14B 指令模型与编码器模型时的处理速度及路由准确率。
阅读约 4 分钟LLM剪枝如何通过调整权重而非训练来消除拒绝现象
关于音节删除的技术详解：如何利用均值差异法确定拒绝方向、使用Heretic实现自动化处理、在本地运行Qwen3-4B模型，以及相关安全影响。
阅读约 8 分钟Agents-A1：专为长周期智能体任务设计的350亿参数模型
Agents-A1是一种经过350亿参数微调的模型，它扩展的是智能体的行为范围而非参数数量。了解它在SEAL-0、IFBench和BrowseComp测试中的表现，以及获取GGUF版本的方式。
阅读约 5 分钟在 RTX GPU 上通过 MTP 技术将 Qwen3.8-Flash-Next 的解码速度提升一倍
了解如何构建带有MTP推测解码功能的llama.cpp分支，并通过正确的参数设置，在多GPU RTX硬件上将Qwen3.8-Flash-Next的运行速度提升近一倍。
阅读约 5 分钟在Qwen3模型之间移动KV缓存，而非重新填充。
NVIDIA的研究通过一种岭回归桥将Qwen3-14B的注意力状态映射到Qwen3-32B上。了解延迟数值的含义、其失效之处以及为何智能体会关注这一点。
阅读约 8 分钟Qwen3.8-Flash-Next：可在单块24GB显存GPU上运行的1770亿参数模型
Qwen3.8-Flash-Next如何将一个1770亿参数的专家混合模型适配到仅有60亿活跃参数、配备n-gram表与混合注意力机制的普通硬件上，以及其在该领域的性能差距。
阅读约 9 分钟Ornith-1.0-35B：在MacBook上运行的270亿参数密集型模型的MoE质量表现。
拥有30亿活跃参数的350亿参数专家混合模型与Qwen3.6相比如何，它在llama.cpp环境下运行需要什么条件，以及它的优势与劣势所在。
阅读约 4 分钟