当自动生成代理团队陷入停滞时:如何衡量这一状况并向上级寻求协助。
通过一个采用确定性调度规则的自动生成实验,揭示了同行评审为何会失效、如何识别陷入僵局的团队,以及为何升级处理需要不同的模型。
来源: AutoGen ile Multi-Agent Eskalasyon: Ekip Takılınca Ne Olur?
一组成本较低的智能体可以通过检测发现自身无法解决问题,进而将任务交给更强大的监督者。究竟哪种监督者算更强则成了一个意外之谜。接下来的内容是一个四步的AutoGen实验:单个智能体、两个智能体的团队、一个确定性验证器,最后是升级处理。
大多数多智能体演示都重复同一个场景:智能体们试图解决问题但失败后互相商量,最终由专门的智能体介入完成工作。这看起来相当令人印象深刻,直到你查看代码,发现系统消息中有这样一句话:“如果无法解决,就向监督者求助。”该智能体寻求帮助并非因为自己失败了,而是因为被指令如此做。整个场景都是预先设定好的脚本。
从中学不到什么,因为关键问题不在于智能体如何寻求帮助,而在于如何发现某个团队陷入了困境。下面的实验设计就是为了让团队真正陷入困境,在此过程中有两个发现促使设计进行了调整,而这两点最终被证明是最有价值的部分。
让智能体不再担任评判者
如果想真正看到智能体失败,就不能让它们来决定什么是成功。因此,任务需要一个机器能够核查的结果:一家小店的每周排班表。一周有七天,每天有两个班次,每个班次恰好需要两人,这样就需要填补28个岗位。共有七名员工,他们的总工作能力可达33个班次。该问题遵循六条严格规则:
- 每个班次恰好有两人。
- 任何人不得在同一天上两个班次。
问题出在第三条和第六条规则的冲突之处。其中一名认证收银员是兼职人员,每周只能工作三班。若修改休息时间规则,则收银员规则会被打破;若修改收银员规则,则又会超出工作时长限制。
该检查功能只是一个普通的Python函数,内部没有任何调用大型语言模型的操作:
def dogrula(cizelge: dict) -> list[str]:
"""Cizelgedeki butun kural ihlallerini dondurur. Bos liste = gecerli plan."""
实验中的每一次通过或失败判定都来自该函数,智能体对自己工作的看法并无影响。这些测试还证明了这个问题是可解决的,因为测试套件中的回溯求解器至少能找到一个有效的调度方案。智能体永远无法看到这个求解器。一旦团队陷入困境,就没人能声称这个问题是无法解决的。
第一步:一个智能体与四项违规行为
最简单的设置是使用一个没有工具也没有辅助智能体的AssistantAgent:
planlayici = AssistantAgent("planlayici", model_client=istemci, system_message=...)
sonuc = await planlayici.run(task=brif())
使用 gpt-4o-mini 作为模型后,生成的竟是一份结构完整、内容准确的 JSON 日程表。审核员共发现了四处违规情况:有一名员工被安排在周一休息,周六晚上没有持证收银员,一名每班最多工作三班的兼职员工却被安排了五班次。由于系统设置不允许其自行检查答案,该模型根本无法察觉这些问题。
第二步:加入团队成员反而使情况更糟
通常的解决办法是在计划者旁边设置一名审核员。在 AutoGen 中,这只需三行代码即可实现:
ekip = RoundRobinGroupChat([planlayici, denetci], max_turns=6)
sonuc = await Console(ekip.run_stream(task=brif()))
审核工具完成了它的任务,列出了五项违规行为,全都属于11小时休息时间规定的范畴。规划人员随后对这些问题进行了修正。当审核员再次检查日程表时,只发现了一项休息时间违规,这意味着审核工具多出了四项违规记录。同时,它完全忽略了休息日违规、收银员缺位以及每周工作时间超时的问题。违规总数上升到了七项,情况甚至比那个单独工作的员工还要糟糕。
这一切都并不令人意外。该审核工具也是基于大语言模型的,因此具有同样的缺陷,且需要消耗两倍的计算资源。团队还可以自行批准自己的工作成果:一旦审核工具宣布计划通过,就没人会提出异议。这简直就像学生给自己批改试卷一样。
第三步:仅靠纠正性反馈仍不够
下一步是将验证功能从大型语言模型手中移交给函数。AutoGen接受普通的Python函数作为工具,通过类型提示生成架构,再通过文档字符串生成描述:
denetci = AssistantAgent(
"denetci",
tools=[cizelgeyi_dogrula],
max_tool_iterations=1,
reflect_on_tool_use=False, # <-- kilit satır
)
这里的设置 reflect_on_tool_use=False 非常重要。若设置为 True,智能体会用自己的话总结工具的输出,规划器会从该总结中读取违规信息,从而导致细节丢失。而设置为 False 时,验证器的报告会原封不动地出现在对话中。第二个关键点是停止规则:
bitis = TextMentionTermination("GECERLI:", sources=["denetci"]) | MaxMessageTermination(12)
只有验证器才能生成 GECERLI: 这一文本,因此对话的结束由确定的信号而非大语言模型生成的句子来决定。这解决了上一步中出现的“计划已通过”问题。
最终结果:该团队在发送12条消息后出现了9次违规,情况确实更糟了。现在的反馈很准确,没有编造的违规项,也没有遗漏的规则。但小型模型在修正一条规则的同时又会破坏另一条规则,且整个过程永远无法收敛。准确的反馈虽必不可少,却仍不够。所欠缺的是一种能够衡量进展并判定该团队无法完成任务的机制。
第4步:判断是否陷入僵局
在判断是否需要升级处理时,第一个问题是要弄清楚团队是真的陷入困境还是只是进展缓慢。询问客服人员毫无意义,因为指望一个无法自我评估工作表现的系统给出诚实的反馈,不过是重蹈第二步的错误。因此,代码通过两个指标来进行衡量:
def takildi_mi(self, sabir: int = 2) -> tuple[bool, str]:
son, onceki = self.denemeler[-1], self.denemeler[-2]
# 1. Ayni ihlal seti tekrar ediyor -> dongude donuyorlar.
if son.cizelge is not None and son.ihlaller == onceki.ihlaller:
return True, "Ayni ihlaller iki tur ust uste tekrarlandi."
# 2. Son turlarda ihlal sayisi hic azalmadi -> ilerleme yok.
pencere = self.denemeler[-(sabir + 1):]
if pencere[-1].skor >= min(d.skor for d in pencere[:-1]):
return True, "Ilerleme yok."
return False, ""
如果两个信号都没有触发,说明团队仍在进步,尽管速度很慢,循环会持续进行。该检查机制还能在轮次预算耗尽之前让系统采取升级措施,这一点非常重要,因为每浪费一轮就意味着金钱的流失。整个流程其实就是一个普通的 Python 循环。AutoGen 会保存团队的聊天记录,因此再次调用同一个团队对象时,团队就能记住之前的轮次情况:
for tur in range(1, MAX_TUR + 1):
sonuc = await Console(ekip.run_stream(task=gorev))
cizelge = son_cizelge(sonuc.messages)
ihlaller = dogrula(cizelge)
gunluk.ekle(Deneme(tur, cizelge, ihlaller))
if not ihlaller:
break
takildi, sebep = gunluk.takildi_mi()
if takildi:
break
gorev = sonraki_gorev(...)
升级报告包含的内容
团队已陷入困境,那么该向主管汇报什么?从头开始重新描述问题是最简单的办法,但这属于重试而非升级处理。主管需要的并非问题本身,而是团队尝试过的方法及失败原因。该报告包含以下内容:
- 问题概述,
- 每轮产生的进度违规报告,
- 反复出现的违规类型及出现次数(如休假违规:3次,数量限制违规:3次),
- 团队的最终沟通记录,
- 明确的任务定义。
关于反复违规的那一行只是简单的计数,但非常有效,因为主管能一目了然地看出是哪条规则一直在阻碍团队进展。
发现一:max_tool_iterations仅为上限,并非绝对保障
监督员收到的验证工具中设置了max_tool_iterations=8。原本的预期是形成一个包含起草、验证、修正以及再次验证的闭环流程。但实际发生的情况却是:监督员仅调用了一次该工具,收到关于三处违规的报告后,便直接给出了一个完全不同的计划作为最终结果,而并未对其进行验证。那个计划其实是无效的。
该设定是上限而非下限。一旦模型回复文本而非调用工具,循环就会结束。在系统消息中加入“未经验证绝不可回答”这样的提示也毫无作用,因为那句话本来就已存在。解决办法在于架构设计:将最终决策权交给审核员而非模型。现在,监督器会在与团队相同的外部验证循环中运行,其答案必须经过审核员批准才会被接受。仅仅告诉模型该做什么并不能让它真正执行。如果需要保障,就必须自己构建相应的循环。
发现二:更强大的模型并不够
最初的监督模型是gpt-4o,负责管理由gpt-4o-mini组成的工作团队。这是典型的配置:便宜的模型负责处理任务,昂贵的模型则用于补救。但这次它并未起到任何补救作用。在三轮测试中,gpt-4o的错误数量从8次逐步降至5次、4次,始终未能降至零,共生成了918个输出标记。在切换为推理模型o4-mini后,问题在第一轮就得到了解决,错误数为零,但相应地产生了3,886个输出标记。
事后看来这合情合理。这项任务属于约束满足问题,需要系统化的搜索方法。gpt-4o在这一点上并不比gpt-4o-mini有显著优势,因为两者的工作原理相同,只是前者规模更大而已。token数量的差异也并非偶然,因为那3,886个token中大部分都是用于推理的。思考的成本会体现在费用表中。由此可得的经验是:升级不应意味着选择更昂贵的模型,而应是选择运作方式不同的模型。应衡量哪种模型更能解决你的问题,而非盲目假设。
最终运行成功了,日志记录了整个过程:
--- Ekip - tur 1/3 (gpt-4o-mini) ----------------------------------------
[hakem] tur 1: GECERSIZ: 4 kural ihlali var.
--- Ekip - tur 2/3 (gpt-4o-mini) ----------------------------------------
[hakem] tur 2: GECERSIZ: 4 kural ihlali var.
--- Ekip - tur 3/3 (gpt-4o-mini) ----------------------------------------
[hakem] tur 3: GECERSIZ: 6 kural ihlali var.
[karar] Takilma tespit edildi: Son 2 turda ihlal sayisi 4 seviyesinden
asagi inmedi; ilerleme yok.
--- Supervisor - tur 1/3 (o4-mini) --------------------------------------
[hakem] supervisor tur 1: GECERLI: Cizelge butun kurallara uyuyor.
这背后并没有什么脚本。团队确实遇到了困境,这种停滞状态被记录下来,随后主管解决了这个问题。
账单
在第四步结束时,两种模型的支出会并排打印出来:
Asama Model Girdi Cikti Maliyet $
------------ ----------- ------ ----- ---------
ekip (3 tur) gpt-4o-mini 16.566 2.290 0,00386
supervisor o4-mini 5.463 3.886 0,02311
------------ ----------- ------ ----- ---------
TOPLAM 22.029 6.176 0,02697
该团队完成三轮处理大约需要0.0039美元,而主管处理则需要约0.0231美元,因此升级处理这一项的成本就相当于团队全部工作成本的六倍。正是由于这个原因才有了这样的架构设计:如果把所有任务交给主管,费用就会增加六倍;如果把所有任务交给成本较低的团队,则工作根本无法完成。正确的解决方案介于两者之间,而衡量标准是找到它的唯一方法。
要点总结
- 只要还需要询问处理人员是否完成任务,这个系统就是虚假的。确定性的裁决者是整个架构的基础。如果你的问题没有可以通过机器验证的方面,那就先找到这样的依据。
- 仅让一个大型语言模型去审核另一个大型语言模型是不够的。审核者会自己产生错误信息,从而使成本翻倍。
代码的组织结构
该实验被分为四个文件,需按顺序运行,每个文件开头都会注明其要讲解的内容:
01_tek_agent.py AssistantAgent, run(), TaskResult
02_ekip.py RoundRobinGroupChat, max_turns, Console
03_dogrulayici.py tools=[...], reflect_on_tool_use, deterministik termination
04_eskalasyon.py dış döngü, takılma tespiti, eskalasyon paketi, maliyet defteri
这些测试不需要 API 密钥。AutoGen 的 ReplayChatCompletionClient 会按顺序返回模型的回复,因此可以免费验证该项目中最具风险的两个假设。所使用的版本为 autogen-agentchat 0.7.5 和 Python 3.11。小型模型的表现每次运行都会有所不同,而 gpt-4o-mini 正处于这个问题的临界点,有时仅需四轮就能完成回复。