工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文,并注明这一点。
标签:prompt-caching
降低智能体令牌成本:缓存技术、路由策略与上下文优化。
通过提示词缓存与语义缓存、延迟加载工具、模型路由与级联机制、子代理以及常规的上下文管理,降低大型语言模型代理的运行成本。
阅读约 16 分钟对编程智能体进行沙箱隔离并保持其上下文窗口简洁
使用 Seatbelt 或 Bubblewrap 对编程智能体进行沙箱隔离,同时通过溢出文件管理、存根使用、数据压缩以及适合前缀缓存注入的机制来控制其上下文窗口的大小。
阅读约 10 分钟应对折叠问题:一种支持长时间运行的代理会话与数据压缩的解决方案。
代理会话在何种时长内仍能保持成本可控且逻辑连贯:以缓存尾部作为“租金”,在压缩前保留五层数据,以委托机制作为内存边界,以及恢复会话的成本。
阅读约 16 分钟RAG的上下文检索:67%这一数据背后隐藏了什么,它需要付出什么代价,以及何时会失效。
RAG的上下文检索:如何通过前置词解决孤立片段问题,为何67%这一数据反映了三次变更,提示缓存能节省什么,以及它在何时会失效。
阅读约 13 分钟更大的上下文窗口无法解决你的智能体问题:注意力预算与缓存机制
上下文窗口的作用类似于注意力预算。了解“Lost in the Middle”机制,以及何时该使用压缩、滑动窗口、压缩处理或提示词缓存。
阅读约 11 分钟Rust AI智能体的结构化系统提示词:分层设计、缓存机制与偏差检测功能。
为Rust智能体构建分层系统提示词:包括身份信息、操作指令、输出规则、示例与最新上下文,以及用于持续集成环境的缓存边界和指纹标识。
阅读约 12 分钟专为会说“我不知道”而非猜测而设计的投资组合聊天机器人
投资组合聊天机器人如何保持诚实:一个锁定的诚实度调节器、提示词中的五条手写说明而非RAG技术,以及同时兼具漏洞检测功能的固定拒绝语句。
阅读约 8 分钟Claude Code中的提示词缓存未命中:为何86%的命中率会掩盖其代价
某款基于 iOS 单仓库会话的付费版本显示,提示缓存未命中的次数为7次,而命中次数为33次;同时说明了如何通过将工具、技能及 CLAUDE.md 作为缓存键来稳定系统性能。
阅读约 6 分钟我们的LLM API账单去向以及导致其减少的架构变更
逐步骤令牌分配、模型分层、提示词精简以及带有抖动控制的延迟策略都能降低编码智能体的API成本;文中还包含了成本计算公式及常见的优化误区。
阅读约 8 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源;正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文,包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug,不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付,请发来简报。