工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的原创文章，来自与我们操作层软件同一套工程实践。正文为英文。
标签：quantization
BitNet and Cassandra: How Ternary Weights Speed Up Local LLMs on CPUs
Six findings on 1.58-bit BitNet, speculative decoding and the Cassandra framework: up to 6.17x faster on x86, 82.2% less energy and no accuracy loss.
949 词阅读How QLoRA Fine-Tunes Large Models on Small GPUs: 4-bit Basics
Understand QLoRA from the ground up: why full fine-tuning is expensive, how LoRA adapters and 4-bit quantization combine, and when this approach fits your project.
1834 词阅读向量量化对比：int8与二进制量化在召回率及存储方面的差异
测量int8和二进制量化对嵌入向量的召回率及存储空间的影响，分析二进制量化为何会导致数据丢失，以及如何选择合适的压缩级别。
940 词阅读在本地运行1000亿参数级模型的硬件现实考量
模型参数的稀疏度、量化方式以及VRAM计算能力决定了1000亿级权重是否适合在工作站上运行，而非参数数量所能决定的。
2477 词阅读量化过程如何引发困惑并悄然破坏模型安全性
低位KV缓存量化可以在困惑度几乎不变的情况下消除模型的拒绝现象；这就是为什么标准指标无法检测到这一情况，以及应在门控机制中加入什么内容。
1625 词阅读
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
技术文先发英文，以保证代码与 API 名称准确。站点外壳提供全部九种语言。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。