停止向AI智能体随意提要求:小团队应遵循以规范为先的流程。
别再向人工智能代理提要求了:一种面向小团队的以规范为先的流程,包含两个模型系列的对抗性审查、运行时测试、人工合并以及内存管理。
来源: *A small dev team, a stack of AI agents, and the spec-first process that keeps them honest.*
想象一下,有一个人工智能代理能在二十分钟内构建出一个功能模块。它的拉取请求看起来非常完美:差异清晰明了,测试全部通过,总结也十分得体。但实际上它是错误的,以至于整个团队需要三天时间才能理清问题。
那个故事中的模型本身并没有问题,它只是按照指令行事。问题出在指令本身——那其实只是一种愿望。“构建一个展示X的页面”只是一种愿望,而那些追求快速、逐字执行的“承包商”会通过猜测所有未明确说明的内容来满足这种愿望。这些猜测往往看似合理,因为合理性正是这类系统所输出的特质。
现在有一支小团队坚持在所有内容都以书面形式明确描述,并且该描述经过严格审核后才允许编写代码。人们将这种开发方式称为规范驱动开发。正因如此,当需要开发的软件数量超过可分配的开发人员数量时,这类方法才能让自动化工具值得信赖。由人类负责决策、审核和合并,而自动化工具则负责输入代码。只有当自动化工具得到的指令比简单的愿望更为具体时,这种安排才能发挥作用。
规范中应包含的内容
在一份简短的 Markdown 文档确定以下三项内容之前,任何工作都不会开始,顺序如下:
- 当前面临的问题以及为何需要重视它。
- 完成后应满足的条件,需描述得让用户能够验证。
- 在开发过程中必须保持不变的内容。
最后一项具有相当重要的意义。任何完善的规范中,很大一部分内容就是明确标出不允许进行修改的区域。其余部分则是各种场景,即作者能想到的所有边缘情况,每一种都以“如果这样,那么那样”的形式表述。
规范是以差异形式编写的,而非通用文档。这里说明当前的行为,这里则明确指出哪些地方会有变化。试图描述一切的规范最终反而什么也描述不了。
两台人工智能率先审查规范
草案完成后,会有两台人工智能审查器对其进行评估。它们来自不同的供应商和不同的模型系列,它们的唯一任务就是找出计划可能出错的地方。团队将这次审查会昵称为“集体讨论会”。刻意让不同系列的审查器参与是为了避免同源审查器之间互相掩盖问题,就像兄弟姐妹之间会互相印证彼此的说法一样。正是通过分歧才能发现问题。
发现的问题会被重新纳入需求规格书。原本的异议会变成正式需求。只有当需求规格书不再出现漏洞时,才会派遣开发人员。
这样的顺序背后有段故事。曾经有一次,在审查仍在进行时就派出了开发人员。审查结果指出有一半的代码无效,团队因此为那些代码支付了两次费用。从那以后,规则就变得十分严格:无论看似跳过某些步骤似乎没有问题,开发人员都必须等到两位审查员都完成报告,并且所有被接受的发现都已被写入需求规格书之后才能开始工作。
这次讨论带来了意想不到的成果。有位开发人员曾根据现有权限辅助函数的名称,就推测它负责检查什么内容。但另一位审查者打开代码后发现,它的功能范围其实要窄得多:仅适用于最初的请求者,且仅在某一特定状态下生效。函数名称很容易造成误解。因此养成了一个严格的习惯:在规格说明提及某函数之前,先阅读其实现代码。这个习惯挽救的周末时间比任何代码检查规则都要多。
从开始到结束的整个流程
对于任何规模较大的变更,其执行顺序如下:
spec → adversarial review → apply findings → build → diff review → runtime testing → human testing → human merge
有几点值得说明。
开发人员只會收到需求规格书,除此之外别无其他信息。他们永远看不到聊天记录或临时的附加功能请求。开发人员必须了解的所有内容都必须写在文档中,因为任何未提及的内容都可能被随意猜测。
运行时测试检查的是软件的功能表现,而非文件的外观。仅通过测试并不能说明太多问题。在早期的一次故障中,本应显示在屏幕上的验证信息始终没有出现,原因是无法调用用于绘制该信息的代码。虽然代码差异分析和测试结果都正常,但没有人以用户身份尝试过做错误操作,而且代码差异分析也无法显示根本不存在的信息。现在则是故意注入故障:输入无效数据,确认错误确实能够显示出来,之后才标记该功能已通过测试。
所谓“人类步骤”,指的就是那些像不耐烦的用户一样点击应用的操作,而这正是关键所在。有一类错误能够逃过所有自动化审查:功能虽然正常运行,但人们却找不到它。比如缺少创建界面、导航陷入死路。这种烦躁的点击行为反而成了验收标准,比任何总结都更值得信赖。
合并操作仍需由人来完成。自动化工具既不负责合并也不负责部署。速度固然重要,但拉取请求必须如实说明哪些检查已执行、哪些被跳过,而协调工具会直接将那些被跳过的检查标记出来。当团队中的大部分工作都是机器对机器进行检查时,真实的记录就显得至关重要。
处理流程的复杂程度取决于变更的规模。微小的文本修正可直接提交为拉取请求,而涉及安全、权限或数据模型的变更则需经过严格审核。对简单任务施加繁琐流程会扼杀其效率,而将重要任务交给简化流程处理则会毁掉整个项目。
一旦变更被应用,其相关规范就会与代码一同存档。代码仓库会逐步形成决策的书面记录,因此关于某项功能为何以特定方式运行的问题,往往在代码之前就能找到答案。
由未参与代码编写的两组人员进行审查
初步讨论针对的是计划方案,完成后生成的代码会交由另一个评审小组审核,而这部分内容正是其他团队应当首先采用的。
该构建工具堪称工作狂,因其能持续运行且每处理一个任务的成本很低。用于高级功能的资金则被留作后续评估之用,具体表现为来自两个独立实验室的两款前沿模型,这两款模型都与该构建工具无关。它们的职责被刻意设计得有所不同:其中一位担任高级工程师的角色,逐行对照规范检查差异,然后直接操作正在运行的构建过程,试图找出其中的缺陷;另一位则起到强制审核的作用,无论改动看似多么微小,没有它的批准都无法合并。
使用两个实验组而非最强模型的两个副本?相关模型之间存在共性。审核者往往会对与自己风格相似的代码网开一面,却会对陌生人的代码挑剔不已。如果两个模型从不同角度都指出同一行代码有问题,那几乎可以肯定存在缺陷;而如果它们意见相左,说明需求规格中存在漏洞,通过两个模型发现这类问题比让用户发现要更好。
这些“职位”并非永久固定。有一名审核者因为其输出内容全是重复同一项发现上百次而被撤职。大型推理模型在面对长度差异较大的提示时可能会出现循环问题。该审核者的职位被替换,但审核机制依然保留。
维持整体运转的智能体
这些其实都并非什么新奇事物。需求规格、审核流程和测试方法不过是换了个包装的旧理念罢了。更难预测的是,协调工作究竟有多重要,以及需要多少智能体才能让整个流程顺畅运行。
该团队使用Nous Research开发的开源代理框架Hermes Agent作为协调工具。它并不主要负责编写代码,而是负责运行相关流程,而这或许才是更有价值的工作。有三项特性使得这一功能得以实现。
内存功能。大多数助手在每次对话开始时都会重置记忆并以友好的态度交流,而Hermes则能保留会话间的上下文,因此做出的决策能够持续有效。它了解不同风险等级,知道开发者从不给自己作品打分,也知道每次任务派发前都会进行事先讨论,因为过去的错误都会被记录下来。如果有人想绕过某些流程,代理会予以拒绝——因为只有那些完美记住规则的人才能确保流程得到执行。
学习。失败会被转化为事后分析,而事后分析又会变成一种技能,在Hermes系统中这意味着会将其转化为流程文档,以便在后续适用时使用。六个月后,该系统会积累大量从实际事件中总结出的宝贵笔记,系统会优先读取这些相关笔记。原本仅存在于某位经验丰富的工程师头脑中的知识,现在则被存储在版本控制系统中。
任务分配。构建和审查工作会被交给子代理处理。由于Hermes可以与任何提供商配合使用,因此角色可以灵活地映射到不同模型上:成本较低的普通模型负责构建,而价格较高的智能模型则负责审查。如果某个模型表现不佳,只需更换它即可,其他部分无需改动。
其优势与成本
这里并没有效率百分比。这类数据根本无法核实,而且几乎所有公布这些数据的人都在推销某种产品。以下是那些能够得到辩护的说法:
- 即便没有专人全职编写代码,仍能实现每周发货。
- 在控制成本过高之前,爆炸范围能保持在规定范围内。
- 任何询问软件为何会如此运行的人都能找到相关说明。
- 工作人员的工作内容从键盘操作转变为决策与点击操作。
这既是个更好的职位,也是个更艰巨的职位。要写出精确的规范,就需要在看到实际成果之前就明确自己的需求。由于实现成本较低,精确性反而成了稀缺的技能。
其缺点确实存在。编写需求规格需要严格的纪律性,而为了在看似微小的改动上偷工减料,正是这类流程出现问题的根源。AI审查员可能会让你陷入大量琐碎的投诉中,因此学会筛选这些投诉是一项需要培养的技能。在需求已经很明确的阶段,整个流程仍会显得迟缓。而且它需要持续关注:如果不加以管理,它就会像任何人工流程一样逐渐退化。
AI能否编写代码已不再是问题,因为它确实可以。现在重要的是,当时间紧迫时,你是否能够准确描述软件应完成的功能,并坚持自己的流程。如果没有这一点,再好的模型也毫无用处——它只会更快地将你的困惑呈现出来。
相关阅读
- 为什么AI智能体在实际应用中会失败:解析Harness工程 —— 当解决方案在于模型周围的系统时,智能体的完成率仅能达到70%。本文探讨了提示词、上下文以及Harness工程,还包括六层Harness架构和生成器-评估器分离机制。
- 面向生产工程团队的智能体工作流设计原则 —— 生产环境智能体工作流的设计原则:完成契约、真实状态、审批摘要、可重试的外部操作、追踪机制、评估流程以及发布清单。