人工智能工程项目的五个层级，从聊天机器人到自我改进型智能体。

负责招聘AI工程岗位的经理们总是看到同样的作品集：一个界面美观的聊天机器人。这与Claude Code和Codex等产品背后的团队实际开发的内容之间存在巨大差距，但从前者发展到后者其实遵循着一条相当清晰的五个层级路径。了解项目处于哪个层级就能知道接下来该开发什么，而很多人因为一直在为第一层级做更多项目而停滞不前。

第1层：简单界面背后的模型

在底层，一个项目会调用语言模型API（通常是OpenAI或Anthropic），并在其基础上构建类似Streamlit应用这样的简单工具。这类工具可以是回答客户问题的聊天机器人，也可以是用于总结文章的小功能。虽然会涉及提示工程，但这些提示通常不会被追踪或测试。可能会有结构化的输出、一些用于确认模型能正确解析数据的测试，以及当模型出现故障时的备用逻辑。

初学者可以通过观看免费教程了解现有的工具及其用途，然后花一个周末时间解决自己的实际问题，比如开发一个饮食计划辅助工具，从而入门。

其局限性在于它只有在偶然情况下才能正常工作。提示词没有版本控制，因此无法判断某次修改是否有效。也没有衡量输出质量的指标。此外，该机器人仅了解模型训练时的数据以及从网上获取的信息，从而无法利用贵公司掌握的上下文信息。

第二级：检索与评估

当这些局限性开始带来问题时，就进入了第二级。比如有人需要一个能够使用团队内部文档的系统，解决方案就是检索增强生成技术，让模型可以查询内部知识库。

接入RAG只是比较简单的一步。真正困难的是要判断答案是否正确，而当答案有误时还需找出原因。这需要掌握如何对文档进行分块、如何将它们嵌入向量数据库，以及在众多检索方法中选择哪种才能为新问题找到合适的文档片段。此外还意味着要为每个组件以及整个系统建立相应的评估标准。你必须选定衡量指标，明确什么是好的结果，并检测响应是否满足客户的需求。

要从第一级提升，可以拿你已经构建的聊天机器人，将其与模型从未见过的内容相连。对于营养顾问功能而言，这些内容可以是你自己的饮食记录或家人喜爱的食谱。一旦做到这一点，你就可以针对自己的数据提出问题，获得定制化的答案，并相信系统的准确性。

接下来又会出现新的需求：让人工智能利用这些信息来执行某些操作。

第3级：智能体

在第3级，系统会采取行动而不仅仅是回答问题。智能体是一种能够使用工具并做出决策的模型。你给它设定一个目标，它就会通过循环来工作：决策、行动、检查结果、选择下一步操作，如此反复直至完成任务。它的工具可能包括搜索网络、调用API、运行代码或更新数据库。研究型智能体可能会从数十个来源获取信息以帮助撰写简报，而客服型智能体则可以独立查询订单并处理请求。

这可以说是当今人工智能工程中最有趣的部分，同时也是风险最高的部分之一。你交付的每项功能都可能成为出错的环节。在2级系统中，评估仅意味着给一个答案打分；而现在则需要对一系列决策进行评判，任何一步的错误都会影响后续所有结果。当这类系统接触到用户的信用卡、代码或电子邮件时，其后果是实实在在的，因此风险本就更高。

一个直观的感受方式是：2级机器人给出错误答案只会浪费他人一分钟时间；而3级系统若误解指令，可能会发送错误的邮件、扣错信用卡款项或推送有缺陷的代码，直到造成实际损害之前没人能发现问题。

一个能够负责任地处理这些任务的智能体可以从头到尾完成多步骤任务，从而节省大量时间。要从2级发展到更高水平，需为现有系统配备真正的工具集，但最初仅允许其以只读模式运行。该智能体可以搜索饮食记录、使用营养计算器以及上网搜索，但无法修改任何内容。随后要在这些工具之间建立协同机制，并确保具备可观测性。只有当该智能体证明其可靠且安全之后，才能赋予它更多权限。

目前，那种仅能辅助用户或作为内部工具的单一智能体，与数百万用户都能依赖的多智能体系统之间仍存在差距。

要缩小这一差距，就不能只考虑智能体是否能在你的笔记本电脑上运行。它必须在数千个请求同时到来，或是用户做出超出预期操作时依然能够正常工作。

4级：企业级系统

这就是那些据说年薪超过30万美元的职位所涉及的领域。并非由一名代理处理所有事务，而是由专业代理之间分工协作——有人负责拆解需求并分配任务，其他人分别处理各部分工作，还有专人会在内容发出前进行审核。在支持服务体系中，可能有一名代理负责分类和分配工单，独立的计费与技术代理分别处理各自职责范围内的工作，最后由一名代理在客户看到回复之前对整个内容进行审查，而所有这些服务需要同时为数百万人提供支持。

协调一支代理团队与单独管理一名代理截然不同。每增加一名代理，就多了一个可能出现故障的环节，某位代理的错误会直接影响到下一位，而且由于这些服务是面向客户实时提供的，糟糕的回复不仅会被公开，还会带来巨大损失。

查看 Claude Code 的代码库后发现，人工智能模型本身仅占其中极小的一部分。其余几乎全是用于保障产品稳定性的基础架构。

模型是大家最常谈论的部分，但实际上在这一层面投入的大量时间都用于各种基础工作：重试机制、权限管理、日志记录、状态处理，以及防止错误步骤扩散的校验措施。因此这一层面的大部分工作都围绕智能体展开：追踪功能，以便在出现问题时了解每个智能体的操作情况；防护机制，防止有人诱使智能体泄露数据；此外还有对成本和延迟的控制，以及之前层面所涉及的提示词处理、检索增强生成技术和评估功能。

为练习第3级的任务，可将营养规划团队拆分为若干小组。一名成员负责制定饮食计划，另一名负责编写购物清单（可能还会直接下单购买食材），还有一名审核员在计划呈现给用户之前进行核查。接着可以故意设置干扰：在规划者提交的清单中混入虚假食材，看看审核员能否发现还是直接通过。至于百万级用户规模的部分则需在实际工作中才能实现，但你可以从一开始就考虑使用云服务，并权衡成本与可靠性，从而构建出可扩展的系统。那些能够支撑大规模运营的团队正是企业开展业务的基础，相应的薪资水平也反映了这一点。

第5级：构建系统的团队

即便在4级阶段，工程师仍是瓶颈。到了5级，则不再需要他们介入。这是该领域最先进的工作方式：无需手动构建系统，而是让智能体负责对其进行优化。

这不仅超越了在各个层级都会用编程智能体来写代码的做法，也超越了那种由智能体按照需求描述来实现的开发模式。打造Claude Code和Codex的顶尖团队不再逐个指导智能体进行修改，而是构建能够自我优化的系统——通过一个循环让智能体检测性能、提出改进建议、实施修改、测试是否有效，然后决定保留或舍弃该改进，如此循环数小时甚至数天，全程无需人工干预。

有两个数据点说明了这一点。在安德烈·卡帕西的一个项目中，一个智能体仅凭自身在两天内就进行了约700次实验，找到了20种加快模型训练速度的方法。Anthropic表示，现在被合并到其代码库中的大部分代码都是由Claude编写的。

整个流程依赖于智能体能够一次又一次地正确评估自己的工作，且无需任何检查，而这非常困难。如果评分出现哪怕微小的偏差，智能体就不会改进产品。它会找到评分中的漏洞并加以利用，在获得高分数的同时，让实际产品的质量以人们未曾考虑过的方式不断下降。

因此，这里要求的技能相当高深。你必须设计出一种智能体无法作弊的评估机制，并将它的表现与决定产品质量的因素挂钩，这样它就无法通过简单手段获取轻松的分数。由于无法实时监控，只能查看留下的记录，所以你必须对所有环节进行追踪监测。同时你还必须明确知道哪些地方仍需要人工介入。即便是最优秀的团队也不会完全放任不管：人们会挑选问题、设计评分标准，并审批最终投入使用的方案。

这并非通过几周的自学就能达到的水平。每一项技能都需要多年运营生产系统、观察其故障并不断改进的经验积累。

道理很简单。你或许能在一个下午内了解关于奖励操纵的技巧，但要察觉到自己的指标正在被利用，就需要在真正重要的场景中观察这种情况发生，然后重新构建评估机制直至其可靠有效。

大多数人并不需要5级能力。实际上，很多实际的人工智能应用工作只需要2级或3级水平，有时一个设计精良的提示语加上简单的评估就足以创造出有用的成果。雇佣工程师是为了让他们发挥作用，而非追求花哨的功能。