首页 / 文章

当自动生成代理团队陷入停滞时:如何衡量这一状况并向上级寻求协助。

通过一个采用确定性调度规则的自动生成实验,揭示了同行评审为何会失效、如何识别陷入僵局的团队,以及为何升级处理需要不同的模型。

发布者:REACTAPP.TOP阅读约 9 分钟2149 词

来源: AutoGen ile Multi-Agent Eskalasyon: Ekip Takılınca Ne Olur?

一组成本较低的智能体可以通过检测发现自身无法解决问题,进而将任务交给更强大的监督者。究竟哪种监督者算更强则成了一个意外之谜。接下来的内容是一个四步的AutoGen实验:单个智能体、两个智能体的团队、一个确定性验证器,最后是升级处理。

大多数多智能体演示都重复同一个场景:智能体们试图解决问题但失败后互相商量,最终由专门的智能体介入完成工作。这看起来相当令人印象深刻,直到你查看代码,发现系统消息中有这样一句话:“如果无法解决,就向监督者求助。”该智能体寻求帮助并非因为自己失败了,而是因为被指令如此做。整个场景都是预先设定好的脚本。

从中学不到什么,因为关键问题不在于智能体如何寻求帮助,而在于如何发现某个团队陷入了困境。下面的实验设计就是为了让团队真正陷入困境,在此过程中有两个发现促使设计进行了调整,而这两点最终被证明是最有价值的部分。

让智能体不再担任评判者

如果想真正看到智能体失败,就不能让它们来决定什么是成功。因此,任务需要一个机器能够核查的结果:一家小店的每周排班表。一周有七天,每天有两个班次,每个班次恰好需要两人,这样就需要填补28个岗位。共有七名员工,他们的总工作能力可达33个班次。该问题遵循六条严格规则:

  1. 每个班次恰好有两人。
  2. 任何人不得在同一天上两个班次。
  • 晚上下班的人次日早上无法再上班,因为需要11小时的休息时间。
  • 仍需遵守每周工作时长限制:全职员工最多工作五班,兼职员工最多三班。
  • 不得在休息日工作。
  • 每班至少需有一名经过认证的收银员在岗。
  • 问题出在第三条和第六条规则的冲突之处。其中一名认证收银员是兼职人员,每周只能工作三班。若修改休息时间规则,则收银员规则会被打破;若修改收银员规则,则又会超出工作时长限制。

    该检查功能只是一个普通的Python函数,内部没有任何调用大型语言模型的操作:

    def dogrula(cizelge: dict) -> list[str]:
        """Cizelgedeki butun kural ihlallerini dondurur. Bos liste = gecerli plan."""
    

    实验中的每一次通过或失败判定都来自该函数,智能体对自己工作的看法并无影响。这些测试还证明了这个问题是可解决的,因为测试套件中的回溯求解器至少能找到一个有效的调度方案。智能体永远无法看到这个求解器。一旦团队陷入困境,就没人能声称这个问题是无法解决的。

    第一步:一个智能体与四项违规行为

    最简单的设置是使用一个没有工具也没有辅助智能体的AssistantAgent:

    planlayici = AssistantAgent("planlayici", model_client=istemci, system_message=...)
    sonuc = await planlayici.run(task=brif())
    

    使用 gpt-4o-mini 作为模型后,生成的竟是一份结构完整、内容准确的 JSON 日程表。审核员共发现了四处违规情况:有一名员工被安排在周一休息,周六晚上没有持证收银员,一名每班最多工作三班的兼职员工却被安排了五班次。由于系统设置不允许其自行检查答案,该模型根本无法察觉这些问题。

    第二步:加入团队成员反而使情况更糟

    通常的解决办法是在计划者旁边设置一名审核员。在 AutoGen 中,这只需三行代码即可实现:

    ekip = RoundRobinGroupChat([planlayici, denetci], max_turns=6)
    sonuc = await Console(ekip.run_stream(task=brif()))
    

    审核工具完成了它的任务,列出了五项违规行为,全都属于11小时休息时间规定的范畴。规划人员随后对这些问题进行了修正。当审核员再次检查日程表时,只发现了一项休息时间违规,这意味着审核工具多出了四项违规记录。同时,它完全忽略了休息日违规、收银员缺位以及每周工作时间超时的问题。违规总数上升到了七项,情况甚至比那个单独工作的员工还要糟糕。

    这一切都并不令人意外。该审核工具也是基于大语言模型的,因此具有同样的缺陷,且需要消耗两倍的计算资源。团队还可以自行批准自己的工作成果:一旦审核工具宣布计划通过,就没人会提出异议。这简直就像学生给自己批改试卷一样。

    第三步:仅靠纠正性反馈仍不够

    下一步是将验证功能从大型语言模型手中移交给函数。AutoGen接受普通的Python函数作为工具,通过类型提示生成架构,再通过文档字符串生成描述:

    denetci = AssistantAgent(
        "denetci",
        tools=[cizelgeyi_dogrula],
        max_tool_iterations=1,
        reflect_on_tool_use=False,   # <-- kilit satır
    )
    

    这里的设置 reflect_on_tool_use=False 非常重要。若设置为 True,智能体会用自己的话总结工具的输出,规划器会从该总结中读取违规信息,从而导致细节丢失。而设置为 False 时,验证器的报告会原封不动地出现在对话中。第二个关键点是停止规则:

    bitis = TextMentionTermination("GECERLI:", sources=["denetci"]) | MaxMessageTermination(12)
    

    只有验证器才能生成 GECERLI: 这一文本,因此对话的结束由确定的信号而非大语言模型生成的句子来决定。这解决了上一步中出现的“计划已通过”问题。

    最终结果:该团队在发送12条消息后出现了9次违规,情况确实更糟了。现在的反馈很准确,没有编造的违规项,也没有遗漏的规则。但小型模型在修正一条规则的同时又会破坏另一条规则,且整个过程永远无法收敛。准确的反馈虽必不可少,却仍不够。所欠缺的是一种能够衡量进展并判定该团队无法完成任务的机制。

    第4步:判断是否陷入僵局

    在判断是否需要升级处理时,第一个问题是要弄清楚团队是真的陷入困境还是只是进展缓慢。询问客服人员毫无意义,因为指望一个无法自我评估工作表现的系统给出诚实的反馈,不过是重蹈第二步的错误。因此,代码通过两个指标来进行衡量:

    def takildi_mi(self, sabir: int = 2) -> tuple[bool, str]:
        son, onceki = self.denemeler[-1], self.denemeler[-2]
    
        # 1. Ayni ihlal seti tekrar ediyor -> dongude donuyorlar.
        if son.cizelge is not None and son.ihlaller == onceki.ihlaller:
            return True, "Ayni ihlaller iki tur ust uste tekrarlandi."
    
        # 2. Son turlarda ihlal sayisi hic azalmadi -> ilerleme yok.
        pencere = self.denemeler[-(sabir + 1):]
        if pencere[-1].skor >= min(d.skor for d in pencere[:-1]):
            return True, "Ilerleme yok."
    
        return False, ""
    

    如果两个信号都没有触发,说明团队仍在进步,尽管速度很慢,循环会持续进行。该检查机制还能在轮次预算耗尽之前让系统采取升级措施,这一点非常重要,因为每浪费一轮就意味着金钱的流失。整个流程其实就是一个普通的 Python 循环。AutoGen 会保存团队的聊天记录,因此再次调用同一个团队对象时,团队就能记住之前的轮次情况:

    for tur in range(1, MAX_TUR + 1):
        sonuc = await Console(ekip.run_stream(task=gorev))
        cizelge = son_cizelge(sonuc.messages)
        ihlaller = dogrula(cizelge)
        gunluk.ekle(Deneme(tur, cizelge, ihlaller))
    
        if not ihlaller:
            break
        takildi, sebep = gunluk.takildi_mi()
        if takildi:
            break
        gorev = sonraki_gorev(...)
    

    升级报告包含的内容

    团队已陷入困境,那么该向主管汇报什么?从头开始重新描述问题是最简单的办法,但这属于重试而非升级处理。主管需要的并非问题本身,而是团队尝试过的方法及失败原因。该报告包含以下内容:

    • 问题概述,
    • 每轮产生的进度违规报告,
    • 反复出现的违规类型及出现次数(如休假违规:3次,数量限制违规:3次),
    • 团队的最终沟通记录,
    • 明确的任务定义。

    关于反复违规的那一行只是简单的计数,但非常有效,因为主管能一目了然地看出是哪条规则一直在阻碍团队进展。

    发现一:max_tool_iterations仅为上限,并非绝对保障

    监督员收到的验证工具中设置了max_tool_iterations=8。原本的预期是形成一个包含起草、验证、修正以及再次验证的闭环流程。但实际发生的情况却是:监督员仅调用了一次该工具,收到关于三处违规的报告后,便直接给出了一个完全不同的计划作为最终结果,而并未对其进行验证。那个计划其实是无效的。

    该设定是上限而非下限。一旦模型回复文本而非调用工具,循环就会结束。在系统消息中加入“未经验证绝不可回答”这样的提示也毫无作用,因为那句话本来就已存在。解决办法在于架构设计:将最终决策权交给审核员而非模型。现在,监督器会在与团队相同的外部验证循环中运行,其答案必须经过审核员批准才会被接受。仅仅告诉模型该做什么并不能让它真正执行。如果需要保障,就必须自己构建相应的循环。

    发现二:更强大的模型并不够

    最初的监督模型是gpt-4o,负责管理由gpt-4o-mini组成的工作团队。这是典型的配置:便宜的模型负责处理任务,昂贵的模型则用于补救。但这次它并未起到任何补救作用。在三轮测试中,gpt-4o的错误数量从8次逐步降至5次、4次,始终未能降至零,共生成了918个输出标记。在切换为推理模型o4-mini后,问题在第一轮就得到了解决,错误数为零,但相应地产生了3,886个输出标记。

    事后看来这合情合理。这项任务属于约束满足问题,需要系统化的搜索方法。gpt-4o在这一点上并不比gpt-4o-mini有显著优势,因为两者的工作原理相同,只是前者规模更大而已。token数量的差异也并非偶然,因为那3,886个token中大部分都是用于推理的。思考的成本会体现在费用表中。由此可得的经验是:升级不应意味着选择更昂贵的模型,而应是选择运作方式不同的模型。应衡量哪种模型更能解决你的问题,而非盲目假设。

    最终运行成功了,日志记录了整个过程:

    --- Ekip - tur 1/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 1: GECERSIZ: 4 kural ihlali var.
    --- Ekip - tur 2/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 2: GECERSIZ: 4 kural ihlali var.
    --- Ekip - tur 3/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 3: GECERSIZ: 6 kural ihlali var.
    [karar] Takilma tespit edildi: Son 2 turda ihlal sayisi 4 seviyesinden
            asagi inmedi; ilerleme yok.
    
    --- Supervisor - tur 1/3 (o4-mini) --------------------------------------
    [hakem] supervisor tur 1: GECERLI: Cizelge butun kurallara uyuyor.
    

    这背后并没有什么脚本。团队确实遇到了困境,这种停滞状态被记录下来,随后主管解决了这个问题。

    账单

    在第四步结束时,两种模型的支出会并排打印出来:

    Asama         Model        Girdi   Cikti  Maliyet $
    ------------  -----------  ------  -----  ---------
    ekip (3 tur)  gpt-4o-mini  16.566  2.290  0,00386
    supervisor    o4-mini       5.463  3.886  0,02311
    ------------  -----------  ------  -----  ---------
    TOPLAM                     22.029  6.176  0,02697
    

    该团队完成三轮处理大约需要0.0039美元,而主管处理则需要约0.0231美元,因此升级处理这一项的成本就相当于团队全部工作成本的六倍。正是由于这个原因才有了这样的架构设计:如果把所有任务交给主管,费用就会增加六倍;如果把所有任务交给成本较低的团队,则工作根本无法完成。正确的解决方案介于两者之间,而衡量标准是找到它的唯一方法。

    要点总结

    • 只要还需要询问处理人员是否完成任务,这个系统就是虚假的。确定性的裁决者是整个架构的基础。如果你的问题没有可以通过机器验证的方面,那就先找到这样的依据。
    • 仅让一个大型语言模型去审核另一个大型语言模型是不够的。审核者会自己产生错误信息,从而使成本翻倍。
  • 正确的反馈是必要的,但还不够。即使小型模型获得了正确的违规项列表,仍可能无法收敛,因此需要一种进度衡量机制。
  • 问题升级需要四个要素:行为不同的模型、失败历史记录、相同的确定性验证循环,以及描述系统化处理方法的系统消息。
  • 代码的组织结构

    该实验被分为四个文件,需按顺序运行,每个文件开头都会注明其要讲解的内容:

    01_tek_agent.py      AssistantAgent, run(), TaskResult
    02_ekip.py           RoundRobinGroupChat, max_turns, Console
    03_dogrulayici.py    tools=[...], reflect_on_tool_use, deterministik termination
    04_eskalasyon.py     dış döngü, takılma tespiti, eskalasyon paketi, maliyet defteri
    

    这些测试不需要 API 密钥。AutoGen 的 ReplayChatCompletionClient 会按顺序返回模型的回复,因此可以免费验证该项目中最具风险的两个假设。所使用的版本为 autogen-agentchat 0.7.5 和 Python 3.11。小型模型的表现每次运行都会有所不同,而 gpt-4o-mini 正处于这个问题的临界点,有时仅需四轮就能完成回复。