首页 / 文章

多智能体系统是包含非确定性组件的后端系统。

生产多智能体系统推崇后端化设计:在每个边界设置契约,将提示作为配置参数,严格控制上下文使用量,每个智能体仅承担一个角色,并支持重试机制。

发布者:REACTAPP.TOP阅读约 9 分钟2167 词

来源: Multi-Agent Systems Are Backend Systems with Non-Deterministic Components

从数据科学和机器学习发展而来的是代理式人工智能,早期的相关工作让人感觉很熟悉。但在实际的多代理系统中工作久了,就完全不再觉得那是数据科学了。它开始变得更像后端工程,只不过有些组件具有非确定性。从这个角度看,许多设计决策就更容易理解了。

目标并非去除大语言模型带来的灵活性,因为正是这种灵活性才使得它们被使用。目标是在这种灵活性周围划定可预测的边界。

为每个边界制定契约

大语言模型以文本形式交流,因此人们很容易想让代理系统中的各个组件也用文本进行沟通——一个组件写入内容,下一个组件读取并理解其含义。

但这种做法会在解读本身成为疑问来源时出现问题。

澄清请求就是一个很好的例子。某个组件可能会发现自己缺少信息,并能用流畅的文字说明这一点,但却让工作流中的其他部分无从知晓具体情况。这是故障还是需要澄清的请求?是否应该暂停执行?到底缺少了什么信息?

解决办法是将这类模糊的情况转化为明确、结构化的约定。与其使用“我没有足够的信息继续,你能问问用户该使用哪个数据集吗?”这样的句子,组件之间应该交换如下格式的消息:

{
  "status": "needs_clarification",
  "question": "Which dataset should be used?",
  "required_input": "dataset"
}

JSON格式只是辅助手段,真正重要的是合同内容。下一个组件会收到结构明确、形态固定的状态数据,无需从生成的文字中推断意图。

人类交互也可以遵循相同的模式。当某个领域专用组件需要额外输入时,它会发出结构化的澄清请求,由独立的交互层决定如何向用户展示这些信息。大致流程如下:

Domain workflow
  ↓
Structured clarification request
  ↓
User interaction layer
  ↓
User

完成状态也应得到同等对待。如果完成任务对任务编排而言很重要,那么它就应该被定义为一种明确的协议事件,而非让另一个模型从“分析已完成”之类的表述中推断出来的内容。

这一理念的意义远不止于澄清与完成状态。组件间的消息传递、工具调用及其响应、错误信息以及任务编排事件,都需要明确的边界界定。

一个实用的准则:如果其他组件必须解读大语言模型的输出,那么该输出很可能就需要有对应的结构规范。

自然语言应仅用于真正需要它的地方。在系统中,歧义往往带来的麻烦多于其带来的好处。

将提示视为配置

随着系统规模的扩大,将每个系统提示单独作为一段文本进行手动编辑越来越难以维护。共享规则会被复制到多个地方,功能描述也会随时间发生变化,从而导致提示内容与运行时实际具备的功能不符。

采用更声明式的设置方式会有所帮助。共享规则、针对不同角色的指令、功能描述以及示例都存储在独立的模块中,会在构建过程中被整合进最终的提示中。

构建步骤还允许你在模型看到配置之前对其进行验证。如果某个提示声称具备某种实际上并未实现的功能,构建过程应当能够检测到这一点。对于缺失的必要部分、重复的定义,或是不再符合当前角色的设置,同样也能通过此步骤进行检查。

没有人会直接编辑最终的提示词。它是通过多个较小的配置组件组合而成,经过验证后作为构建产物输出,你可以随时对其版本控制并重新生成。

这样一来,提示词管理更像是普通的软件配置工作,而非写作。你可以重复使用共享的部分,在运行前对所有可验证的内容进行校验,同时确保生成的输出与系统环境保持一致。

上下文容量有限

较大的上下文窗口使得人们容易不断往其中添加内容:指令、示例、历史记录、功能描述、生成物以及之前的输出。最终模型会拥有它所能想象到的所有信息,但有时性能反而会下降。

显而易见的原因是内容过长,仿佛模型忘记了某些信息。不过对于当前的模型而言,指令稀释这一视角往往更为有用。

智能体的有效上下文远比其系统提示要广泛:

instructions
+ available capabilities
+ examples
+ conversation history
+ artifacts
+ previous outputs
+ workflow state

模型或许能够完美地定位到所有内容中的某条特定指令,但当多个信号同时争夺其注意力时,它并不一定会同样出色地遵循每条指令。

因此,更有意义的问题是组件实际上需要多少的上下文,而非模型在技术上能够处理多少上下文。

这不仅仅关乎token的节省。更小且更相关的上下文能够缩小决策空间,使行为更易于预测。每多一条上下文都在争夺模型的注意力,它并不会免费存在。

一个智能体,一个角色

工具数量其实并不是判断何时拆分智能体的合适指标。一个智能体可以拥有许多紧密相关的能力且仍具有明确的目标,而另一个仅有少量工具的智能体可能已经在处理多项无关的任务。

责任划分是更合理的界限。不同的责任通常需要不同的指令、上下文、验证规则以及故障处理策略。这其实就是将不同功能分开处理的方法,应用于概率组件中。

按责任进行划分,无需考虑工具数量。

图结构会保存状态

在智能体相关工作中,提示词优化受到了很多关注,而状态管理则相对较少被重视。

人们很容易只关注提示词的长度,而忽视图结构中的状态。即便对提示词进行了精心优化,如果图结构中仍保留着来自多步之前的输出和中间结果,那么这些内容仍会继续被携带,除非对这些状态进行刻意管理。

在基于图的编排系统中,随着执行流程的推进,消息、中间结果、中间产物以及之前的输出会不断累积。图结构能够记住这些信息,这固然方便,但也意味着状态管理需要经过精心设计。

早期生成的大型工件可以在后续步骤中继续使用,即便这些步骤无需其内容。大型工具的输出结果和中间结果也是如此。

对于更庞大的工件,通常最好将数据保留在图结构之外。而不是这样处理:

Large artifact
  ↓
Graph state
  ↓
Step
  ↓
Step
  ↓
Step

通常,接近以下内容即可:

Large artifact
      ↓
External storage
      ↓
Reference + metadata
      ↓
Graph state

大多数组件并不需要在工作流早期就生成所有相关内容,只需足够的信息来做出下一步决策即可。

提示词长度只是上下文问题中的一个方面,状态管理同样值得重视。应主动设计状态管理机制,避免其变成执行过程中产生的所有数据的堆积地。

可靠性主要取决于工程实现

即便有完善的契约、明确的角色划分以及精心管理的上下文,智能体仍可能做出令人意外的行为:操作失败、模型选择错误的动作或重复执行同一动作、工作流过早结束或运行时间远超预期。

也有一些情况,即每一步看起来都很合理,但整个工作流却毫无进展。模型不断做出在局部看来合理的选择,从而形成恶性循环。

对于那些在2023年初就开始使用大型语言模型的人来说,第一反应往往是试图在提示词中解决这类问题。有时这确实有效。但最终所需的多数可靠性机制其实都属于常规的后端工程手段:

  • 重试与超时处理
  • 限制单次运行可进行的迭代次数及工具调用次数
  • 通过检测重复出现的相同操作或状态来识别循环
  • 在执行停滞但仍有恢复可能时给予适度推动
  • 明确定义失败状态并制定相应的恢复路径

当某件事不允许发生超过特定次数时,设置限制比再添加一行要求模型按特定方式运行的指令更为有效。提示词虽属于可靠性工程的一部分,但不应成为整个可靠性体系的全部。

可观测性遵循相同的逻辑。当普通的后端请求失败时,日志和堆栈跟踪通常能说明发生了什么。而在代理式工作流中,仅仅知道失败位置往往不够。

你需要还原事情的来龙去脉:选择了哪条路径、尝试了哪些操作、产生了哪些参数以及返回了什么结果。在循环调试中,有趣的部分往往不是最终的错误,而是那些导致执行不断回到同一路径的决策链。

在代理系统中,你需要调试的不仅是代码,还有决策过程,因此良好的可观测性必须能够让决策路径被还原。

模型选择属于系统设计决策

将代理视为软件组件也会改变模型的选择方式。并没有规定每个组件必须运行在同一个共享模型上,而将所有组件都交给现有的最大模型来处理更是毫无意义。

多智能体系统天然会混合处理难度差异极大的任务。有些任务需要真正的推理、规划或综合能力,而另一些则主要涉及对结构化数据的路由、提取、分类、转换,或是从有限的动作选项中选择。

虽然通用型模型在任何场景下都能使用,但它也可能使系统变得不必要的缓慢且成本高昂。对于每种应用场景而言,关键在于质量、可靠性、延迟和成本之间的平衡。

选择模型时不能仅考虑参数数量或排行榜排名,因为在基准测试中表现相似的模型,在同一工作流程中的表现可能大相径庭。

架构是其中一个因素,因为密集型模型、专家混合模型与混合模型在特性上存在差异。训练后的处理也很重要:不同的监督微调、偏好优化以及强化学习方法会影响模型的指令遵循能力、推理能力、工具使用能力、结构化输出能力以及处理非常规任务的能力。

实际应用中的权衡是具体的。某种模型在路由或分类等简单任务上可能速度快、成本低且可靠,但在处理开放性任务时偶尔会用看似合理的推理来填补逻辑漏洞;而另一种模型虽然速度较慢、成本较高,但在多步骤推理任务上却更为稳定。

即便不训练这些模型,了解它们之间的差异依然很重要。知晓它们不同的表现特性有助于你决定在更大系统中为每种模型安排合适的位置。

最重要的评估标准是实际的工作负载。在路由功能方面,就要测试路由性能;当输出结果必须符合特定结构时,要统计符合情况的频率。那些依赖推理的组件则需要一组典型的推理案例。在评估时还需考虑延迟和成本。

评判模型时应依据其在系统中所承担的角色,而非其整体排名。

应对非确定性的工程实践

所有这些方法都遵循同一个方向:早期的智能体原型尽可能给予最大自由度——将指令、工具和上下文交给模型,由其自行决策。

当发展到实际应用阶段时,很多工作则朝着相反方向发展:职责变得更加明确,接口变得结构化,上下文更具相关性,状态会被有意识地管理,故障路径也会被明确界定,而模型的选择则取决于其承担的角色。

即使是提示词也不再仅仅是孤立文本,而开始像需要被组装、验证、版本控制并复制的配置文件。

这一切并不会削弱大语言模型做决策的能力。如果每个决策都能以确定性方式实现,那么构建代理系统就毫无意义了。关键在于判断在何处非确定性是有用的,而在何处则没有用。

正因如此,这些系统越来越像是带有新型组件的后端工程。大语言模型在既定范围内提供灵活性,而软件工程则负责设定这些范围。

最好的代理系统并非那些能让代理执行最多任务的系统,而是那些能赋予代理恰好所需自由度的系统。

相关阅读

  • 从单一巨大提示词到模块化AutoGen购物助手 —— 为何单一聊天机器人提示词无法适用于电子商务,以及AutoGen与MCP设计如何将语言理解与确定的业务逻辑分开。
  • AI智能体的范围防护机制:运行前解码隐藏的IP地址和域名 —— 递归智能体的外壳防护机制如何解码嵌套的base64、十六进制和URL编码,规范异常的IP格式并过滤文件名,从而阻止超出范围的目标被处理。
  • LangChain中的协调器与子代理:将代理作为工具使用 — 构建一个多代理系统,其中主代理将任务委托给以工具形式存在的专业子代理,并附有一个简单的Ollama示例及扩展规模的注意事项。
  • 当AutoGen代理团队陷入停滞时:如何衡量问题并向上级汇报 — 通过一个带有确定性排班规则的实验,说明为什么同行评审会失效、如何识别陷入停滞的团队,以及为何需要不同的升级机制。
  • SkillClaw:当一个智能体失败时,所有智能体都会学习 — SkillClaw如何从众多用户那里收集交互痕迹,利用智能体进化器提升共享的智能体技能,并在部署前立即验证这些变更。
  • AI架构的边界:确定性系统中的概率模型 — 大语言模型改变了系统设计:上下文成为系统组件,输出结果不可信任,200状态码仍可能表示失败,而成本则成为运行时的限制。应将规则与权限编码在代码中。