工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的原创文章,来自与我们操作层软件同一套工程实践。正文为英文。
标签:Local AI
在配备已修复版vLLM与DFlash2的RTX 3090上运行Qwen3.8-27B模型
带有重新量化嵌入层及DFlash2预测功能的固定版vLLM 0.28.0分支如何在24 GB显存上运行27B规模的混合模型,以及为何长上下文会降低其运行速度。
阅读约 15 分钟循环深度解析:循环Transformer与隐式推理机制
循环变换器如何在隐藏状态中进行推理,为何实验室青睐它们,八年来发表的论文揭示了什么,以及这对本地化人工智能与监管意味着什么。
阅读约 12 分钟在配备 RTX 3090 的设备上,通过 llama.cpp 张量卸载技术运行 Qwen3.8-Flash-Next。
为何像 Qwen3.8-Flash-Next 这样拥有 88GB 内存、1800亿参数的专家混合模型能够运行在 RTX 3090 系列显卡上,以及 llama.cpp 的 -ot、-ncmoe 和 mmap 参数又是如何划分 VRAM、RAM 和 NVMe 资源的。
阅读约 12 分钟为何17GB版本的下载量并不代表运行它需要17GB的内存
了解活跃参数、总参数、KV缓存增长以及推理成本是如何决定在本地运行语言模型时实际所需的内存和计算资源的。
阅读约 12 分钟使用Qwen3.8-27B和Pi构建本地版愤怒的小鸟克隆程序
通过LM Studio与Pi agent:Qwen3.8-27B构建的完全本地化AI编程环境,无需云API即可制作可玩的《愤怒的小鸟》关卡,且每一步安装流程都会清晰展示。
阅读约 9 分钟为何真正需要警惕的是对AI的获取权限,而非技术能力本身。
本文通过分析近期涉及Claude和GPT-5.6的出口管制事件,论证获取AI模型这一因素是独立于原始技术能力之外的不稳定变量。
阅读约 11 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源;正文重写并做过重合检查。
技术文先发英文,以保证代码与 API 名称准确。站点外壳提供全部九种语言。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug,不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付,请发来简报。