工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：Quantization
turbovec：使用 Rust 语言中的 TurboQuant 将 RAG 嵌入向量压缩16倍
TurboVec将Google的TurboQuant引入Rust语言，且无需训练即可将RAG嵌入索引的大小缩小16倍。它在哪些方面优于FAISS，以及还有哪些工具更适用。
阅读约 10 分钟MiniCPM5-2B与4B的竞争：为何代理框架能展现不同的故事
MiniCPM5-2B在单次测试得分上优于4B系列模型，但在基于代理的测试中则落后两到三倍。基准测试中的混淆率及Ollama的处理速度也是考量因素。
阅读约 10 分钟BitNet与Cassandra：三进制权重如何加速CPU上的本地大语言模型运行。
关于1.58位BitNet、推测性解码及Cassandra的六项研究结果：在x86 CPU上，本地LLM推理速度可提升至原来的6.17倍，能耗降低82.2%，同时保持相同的准确率。
阅读约 4 分钟当模型永远无法完成时：隐藏在幻觉评分背后的无声失败。
使用虚构名称测试了两个检查点、两种量化方式以及两种运行时：有一个模型会数分钟保持沉默，而细致的评分员能揭示那些被遗漏的分数。
阅读约 11 分钟QLoRA如何在小型GPU上微调大型模型：4位量化基础
从基础入手理解QLoRA：为何完整微调成本高昂，LoRA适配器与4位量化如何结合使用，以及何时该方法适合你的项目。
阅读约 8 分钟向量量化对比：int8与二进制量化在召回率及存储方面的差异
测量int8和二进制量化对嵌入向量的召回率及存储空间的影响，分析二进制量化为何会导致数据丢失，以及如何选择合适的压缩级别。
阅读约 4 分钟在本地运行1000亿参数级模型的硬件现实考量
工作站能够在本地运行1000亿参数级别的大型语言模型吗？决定因素是MoE稀疏性、量化技术、KV缓存大小以及VRAM容量，而非标题中提到的参数数量。
阅读约 11 分钟量化过程如何引发困惑并悄然破坏模型安全性
低位KV缓存量化可以在困惑度几乎不变的情况下消除模型的拒绝现象；这就是为什么标准指标无法检测到这一情况，以及应在门控机制中加入什么内容。
阅读约 7 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。