写给真正
交付技术栈的人

关于 React、Node.js、TypeScript 与 AI 的原创文章，来自与我们操作层软件同一套工程实践。正文为英文。

2 篇文章

标签：Mixture of Experts

LLM Qwen llama.cpp Local AI
在配备 RTX 3090 的设备上，通过 llama.cpp 张量卸载技术运行 Qwen3.8-Flash-Next。
为何88GB、1800亿参数的稀疏模型能够运行在消费级GPU上，以及llama.cpp中的-ot、-ncmoe和mmap等参数是如何将其分配到VRAM、RAM和NVMe中的。
2691 词阅读
LLM Local AI Mixture of Experts Inference
为何17GB版本的下载量并不代表运行它需要17GB的内存
了解活跃参数、总参数、KV缓存增长以及推理成本是如何决定在本地运行语言模型时实际所需的内存和计算资源的。
2722 词阅读

常见问题

关于这些文章

是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。

技术文先发英文，以保证代码与 API 名称准确。站点外壳提供全部九种语言。

草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。

示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。

需要把同一技术栈做到生产操作层？发来简报，24小时内评估。