工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：kv-cache
长时间运行的智能体的上下文工程：向量数据库、KV缓存、Claude Code
运行200步的智能体的上下文工程：为何长上下文会失效、KV缓存的成本效益、向量数据库的内存问题，以及Claude Code与其他工具的差异。
阅读约 13 分钟QUOKA详解：选择应读取的KV历史注意力机制
QUOKA如何加速长提示预填充：KV缓存基础、分块预填充、筛选异常查询、最高得分机制，以及针对分组查询注意力机制的廉价预聚合方法。
阅读约 9 分钟KV缓存详解：为何长上下文会消耗大量内存，而非提升智能水平。
面向普通读者的KV缓存指南：它存储什么、如何计算其大小、为何长上下文会占用大量内存，以及降低本地模型成本的四种方法。
阅读约 8 分钟在Qwen3模型之间移动KV缓存，而非重新填充。
NVIDIA的研究通过一种岭回归桥将Qwen3-14B的注意力状态映射到Qwen3-32B上。了解延迟数值的含义、其失效之处以及为何智能体会关注这一点。
阅读约 8 分钟为何轮询机制不适用于LLM集群：llm-d如何依据KV缓存和队列深度来路由请求。
轮询负载均衡会浪费KV缓存命中机会，且忽略请求大小。llm-d如何对Kubernetes上的vLLM副本进行评分，以及如何区分预填充与解码操作。
阅读约 10 分钟KV缓存是隐藏在背后的数据库，正在消耗LLM解码过程中的GPU内存。
在大语言模型推理过程中，KV缓存会悄悄消耗GPU内存：预填充与解码、KV运算、GQA与MQA、分页注意力机制、量化及驱逐策略。
阅读约 9 分钟LLM端到端推理：预填充、解码、KV缓存与采样机制
通过流式处理对分词器的全面解析——为何预填充受计算能力限制、解码受带宽限制，以及GQA、分页和推测机制如何改变相关成本结构。
阅读约 40 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。