工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：Reliability
为何智能体准确率评分具有误导性：pass^k、扰动与故障注入
为何pass@1会隐藏不可靠的AI智能体，以及pass^k、输入扰动和故障注入如何揭示其在一致性、稳定性及容错性方面的缺陷。
阅读约 9 分钟无保护代理：当模型缺乏防护时会发生什么问题
在Claude Agent SDK和LangChain Deep Agents中构建相同的无保护旅行代理，然后观察三次失败，以确定缺少了哪些控制机制。
阅读约 9 分钟为何生产环境中的AI智能体需要比优质提示词更多的条件
生产级 AI 智能体需要的不仅仅是优质的提示词：还需要与实际风险相匹配的上下文、工具、记忆功能、故障处理机制、可观测性、测试能力以及自主决策能力。
阅读约 7 分钟对用于重试智能体错误最终行为的评分规则机制进行了测试。
一项包含30个案例的实验：由大型语言模型作为裁判并配合一次重试，将错误的支持行为从6个减少到2个，以及为何检测到违规行为并不总是意味着智能体会进行修正。
阅读约 7 分钟为何由客服工具而非模型来决定什么内容会被落地执行。
超时后的CRM更新揭示了为何客服人员需要工具合约、未知结果状态、幂等重试与确认完成机制，以及值得保留的控制措施。
阅读约 6 分钟在AI智能体获得正式上线权限之前：合同、索赔关系图、影子运行与金丝雀测试
基于证据的AI智能体发布流程：限定范围的合同、带状态的场景、故障注入、不确定性边界、分阶段测试以及机器强制的升级机制。
阅读约 23 分钟工具集、循环、图结构：大多数运行智能体故障背后的三层结构
生产代理故障很少源于模型本身。应将工具线束、循环的终止条件以及 LangGraph 图结构分开处理，每部分都有对应的负责人。
阅读约 24 分钟为何在演示中表现出色的智能体在实际应用中会失败，以及应构建什么替代方案。
为何在演示中表现出色的AI智能体在实际应用中会失败：它们出问题的原因、单智能体与多智能体的权衡、重试与回退机制，以及真正的运行成本。
阅读约 9 分钟借助旅行机器人对代理进行评估：结果与轨迹、门控机制以及pass^k。
用于评估代理的旅行预订实例：结果轴与轨迹轴、加权得分前的确定性门控、2x2矩阵以及pass@k与pass^k的对比。
阅读约 8 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。