工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：Inference
LLM内部：在MLX上使用纯Python实现Qwen3-0.6B的推理
使用MLX在约200行Python代码中逐步实现LLM推理功能：包括分词器、RMSNorm、RoPE、分组查询注意力、SwiGLU、KV缓存以及采样机制。
阅读约 13 分钟利用五个开源项目在本地运行Kimi K3及其他大型模型。
五个开源项目，通过磁盘流式处理、专家级缓存与卸载技术，将前沿规模模型运行在笔记本电脑或单块GPU上，并附有实际运行速度数据。
阅读约 6 分钟vLLM Serve参数详解及合理的初始设置建议
实用指南：介绍您实际需要调整的vLLM Serve参数，包括dtype、内存使用量、上下文长度、并行度、API密钥及量化设置，并提供可尝试的默认值。
阅读约 4 分钟超越文本的推理：VLM、嵌入模型、语音、图像与视频的优化
每种模态都有其自身的瓶颈。了解如何通过恰当的批处理、内核、缓存及量化技术来优化VLM、嵌入模型、ASR、TTS以及图像和视频生成器。
阅读约 11 分钟KV缓存是隐藏在背后的数据库，正在消耗LLM解码过程中的GPU内存。
在大语言模型推理过程中，KV缓存会悄悄消耗GPU内存：预填充与解码、KV运算、GQA与MQA、分页注意力机制、量化及驱逐策略。
阅读约 9 分钟实战型大语言模型服务：Ollama、vLLM与TGI
将模型文件转换为LLM API的服务层：用于本地运行的Ollama，用于GPU的vLLM和Hugging Face TGI，以及普通transformers所不具备的功能。
阅读约 5 分钟llama.cpp与vLLM与Ollama：根据瓶颈选择本地引擎
选择llama.cpp、Ollama还是vLLM来运行本地大语言模型？需根据瓶颈选择合适的引擎：笔记本电脑的便携性、对DX的支持，或是高负载下的多用户GPU处理能力。
阅读约 5 分钟Ollama在IBM Z和LinuxONE上的应用：信任边界内的本地大语言模型
将 Ollama 移植到 IBM Z 和 LinuxONE 上的关键在于端序安全的权重加载，这样本地大型语言模型便能在数据不脱离安全边界的情况下处理受监管数据。
阅读约 6 分钟LLM端到端推理：预填充、解码、KV缓存与采样机制
通过流式处理对分词器的全面解析——为何预填充受计算能力限制、解码受带宽限制，以及GQA、分页和推测机制如何改变相关成本结构。
阅读约 40 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。