Галоўная / Артыкулы

Калі каманда агентаў AutoGen затрымалася: як гэта вымераць і перадаць супервізару

Эксперымент з AutoGen і дэтэрмінаваным арбітрам графіка змен паказвае, чаму ўзаемная праверка не працуе, як выявіць, што каманда затрымалася, і чаму для эскалацыі патрэбна іншая мадэль.

Выдавец: REACTAPP.TOP9 хв чытання2149 слоў

Крыніцы: AutoGen ile Multi-Agent Eskalasyon: Ekip Takılınca Ne Olur?

Команда дзеўалей з нізкімі каштаматамі можа, праз вылічэння, з’явіць, што застрагла, і перадае задачу сільнейшаму керавальніку. Калі ж выявілася, які керавальнік счытаецца сільнейшым, гэта стала неспадзяванкай. Далей практыкуецца эксперымент AutoGen у чатыро крокаў: адзін дзеўал, команда з двух дзеўалей, дэтэрміністычны верыфікатор і, нарэшце, эскалейванне.

Большасць дэманстрацый з калькой дзеўалоў павтараюць адну сцэну. Дзеўалы не можаць рашыць проблему, кансультуюцца між сабою, і ў падсумку втручаецца спецыяліст-дзеўал і завершае работу. Гэта выглядае вражаюча, пакуль не прачытаеш код і не знайдзеш у сообшчэнні сістэмы рэчвы на кшталт «калі не можаш рашыць, запытай керавальніка». Дзеўал не прасіць падмогі таму, што зазнаў няудачы. Ён прасіць таму, што яму так сказалі. Вся сцэна ўжо запісана за сценарыем.

Нічога не можна выучыць з гэтага, таму што справжняя прыбліжнае — не тое, як агент прасіць пра дапамогу. Справжняя прыбліжнае — як хтось можа дазнацца, што каманда застрала. Ніжэйшы эксперымент быў створан так, каб застраванне дзейсна выйшла, і па дорозе два аднавідання змусілі змяніць дыяграму. Оба выявіліся найцэннейшымі часткамі.

Выведзенне агентаў з пасады суддзі

Калі вы хочаце пабачыць, як агенты насправдзе паспяшаюць, яны не можаць быць тымі, хто вяршыць, што значыць успех. Таму задача патрэбуе рэзультата, які машына можа пераканаць: ўздзеньневы графік змян для маленькага магазіна. Ёсць семь дзён з двумя змянамі кожны, і кожная змена патрэбуе роўна двух чалавек, што дае 28 вакансый для заполнення. Ёсць семь працавальнікаў, якія можаць выконваць 33 змены. Дзейнуюць шасць строгіх правіл:

  1. Кожная змена мае роўна двух чалавек.
  2. Ніхто не працуе два разы ў той жа дзень.
  • Хто бы ні заканчыў работу ў вечар, той не можа пачаць яе наступнага ранку, адколькі патрэбна 11 гадзін спачынку.
  • Дэйскватуюць тысячнічныя ліміты: пяць змян для штатных працавальнікаў і трох для працавальнікаў на частковай ставке.
  • Ніхто не працуе у дзень выпачатку.
  • Кожная змяна мусі мець прынеймна аднаго працавальніка, які мае сертыфікат касіра.
  • Проблема выступае там, дзе перасягаюць правіла трох і шэсць. Аднам з сертыфікаваных касіраў ёсць працавальнік на частковай ставке, які можа працаваць толькі трох змян у тысячу. Якшто пасправіць правіло пра спачынак, то будзе нарушана норма для касіра; якшо пасправіць тое, то будзе перасягнуты ліміт.

    Функцыя для перагляду — гэта звычная функцыя Python, у якой няма жадных вызоў LLM:

    def dogrula(cizelge: dict) -> list[str]:
        """Cizelgedeki butun kural ihlallerini dondurur. Bos liste = gecerli plan."""
    

    Кожна дыяньба працэўніка па вылучэнню «пасе» чы «не пасе» у эксперымэнце выклікаецца гэтым функцыяй, а тое, калякія перакананні ў сваёй працы маюць працэўнікі, не мае значэння. Тэсты таксама падтверджваюць, што задача ўзрэшальна, адтуды што супорт для адступлення ў наборэ тэстаў знаходзіць прынеймна адну правільную графікавую схему. Працэўнікі ніколі не бачаць гэтага супорту. Калі каманда застрагне, ніхто не можа стварыць прэтэнзій, што задача была немагчымая.

    Шаг 1: адзін працэўнік і чатыры наявнасці правалянняў

    Самая простая налада выкарыстоўвае аднаго AssistantAgent без жадных інструментаў і памочнікаў:

    planlayici = AssistantAgent("planlayici", model_client=istemci, system_message=...)
    sonuc = await planlayici.run(task=brif())
    

    За выкарыстоўвання модэлю gpt-4o-mini быў атрыманы правільна структураваны, надзеяны JSON-графік. Рэферы нарахаваў чатыры адхыленні. Аднаму працавальніку была запланавана перзыўка у понедзелак. У суботу вечарам не было атстаўленага касіра. Працавальніку з максымумам трыя смены было надана пяць смен. Агент не можа знайсці нічога пра гэта, адколі ў яго налаштаваннях няма можлівасці пераканацца ў сваёй сабе адпаведzi.

    Шаг 2: дадаць кампаньона практычна пагоршыла сітуацыю

    Стандартны спосаб выправлення — наявнасць пераглядача праза планавальнікам. У AutoGen для гэтага трэба тры радкі:

    ekip = RoundRobinGroupChat([planlayici, denetci], max_turns=6)
    sonuc = await Console(ekip.run_stream(task=brif()))
    

    Адміністратар выпаў сваю ролю, перыяктуўўшы пяць наяўных адхылэнняў, усе яны атрымалі адзначэнне пад загалом «Правіла 11 гадзін відпачынку». Адпрацоўнік плану ўсе яны вылікваў. Калі ж адпрацоўнік, які контролюе план, яго пераглядаў, ён знайшоў толькі адна адхыленне ў правілах відпачынку, таму адміністратар выдумаў чатыро. Адночаса ён зовсім не звернуў увагі на наяўнасць адхылэнняў у часах відпачынку, відсутнасць працавальніка на касе і тысячнічныя перэкрэсты ў тыдзеннай структуры. Колькісна кантытатыва адхылэнняў вырасла да семі, што горш за сітуацыю з адным агентам.

    Нічога звычайнага ў гэтым няма. Адміністратар таксама ёсць ШММ, таму ён мае тыя ж слабасці і спалюе удвое больш токенав. Команда таксама можа затвердзіць свою ж працу: як толькі адміністратар анунцюе, што план затверджаны, ніхто не протырацца. Гэта як студэнт, які оцінюе свой власны экзаменацыйны аркуш.

    Шаг 3: толькі правераныя адзначэння ўсё ж недастатні

    Наступным крокам ўсунуць апрацоўку падтверджэння ад LLM і перадаць яе функцыі. AutoGen прыймае звычныя функцыі на Python як інструменты, ствараючы схему на адзначэннях тыпаў і апісанне на докстрынгу:

    denetci = AssistantAgent(
        "denetci",
        tools=[cizelgeyi_dogrula],
        max_tool_iterations=1,
        reflect_on_tool_use=False,   # <-- kilit satır
    )
    

    Параметр reflect_on_tool_use=False ў гэтым случае мае важлівое значэння. Калі ён заданы як True, агент будзе падсумавляць рэзультаты работы інструмента своімі словамі, планавальнік будзе чытаць пра адміністрацыі, якія выйшлі з гэтага падсумку, і дэталі будуць втрачаны. Калі параметр False, атрыбуты звярнення верыфікатора будуць включаны ў размову слоўна. Другі важлівы параметр — гэта правіло зупнення:

    bitis = TextMentionTermination("GECERLI:", sources=["denetci"]) | MaxMessageTermination(12)
    

    Толькі валідатор можа стварыць тэкст GECERLI:, таму заканчэнне кансарабаткі вялічыцца на адпраўданы сігнал, а не на рэчэце LLM. Гэта вырашае проблему „празрабатанага плану“ з пярэднего крока.

    Рысунак: каманда досягла свайго ліміту у 12 паведамленняў з дзевяцьаю нараканнямі. Становішча дзейсна горэшае. Адгукі цяпер точныя: няма вымышлёных нараканняў і працэсаяных правілаў. Але маленькі мадэль вырашае адна правіла, але нарабляе іншая, і працэс ніколі не спраўляецца. Патрэбны правільныя адгукі, але іх недастаткова. Недастаёць механізма, які вялічыць праўак і можа заявіць, што гэтая каманда не завершыць задачу.

    Крок 4: вялічыння застрэйвання

    Першыя запітаняя для елеўвазавацья ёслявыя: чыкія команда справаўна застралацябі чысь толькі спавацявацябі. Запітване агентов яе членах безадарна, боспакіяванне адзецькіх самае сабе не можае дадаць чысь правдавыя адказы. Таму кодэўвае мерывы вярна перацланавае толькі два сігналы:

    def takildi_mi(self, sabir: int = 2) -> tuple[bool, str]:
        son, onceki = self.denemeler[-1], self.denemeler[-2]
    
        # 1. Ayni ihlal seti tekrar ediyor -> dongude donuyorlar.
        if son.cizelge is not None and son.ihlaller == onceki.ihlaller:
            return True, "Ayni ihlaller iki tur ust uste tekrarlandi."
    
        # 2. Son turlarda ihlal sayisi hic azalmadi -> ilerleme yok.
        pencere = self.denemeler[-(sabir + 1):]
        if pencere[-1].skor >= min(d.skor for d in pencere[:-1]):
            return True, "Ilerleme yok."
    
        return False, ""
    

    Калі жадны з сігналаў не выдаеся, каманда працюе над сабой, хоць і павольна, і гэты цыкл продовжаецца. Шчырая таксаўка таксама дазволяе сістэме падняць прыорытэт перад тым, як скончыцца бюджэт раунда, што мае значэнне, адколькі кожны вымараны раунд — гэта вымараныя грошы. Організацыя выканання задач адбываецца за дапамою звычайнага цыклу ў Python. AutoGen сохраняе історыю чату каманды, таму паўтарны вызов таго ж об’екта каманды значыць, што каманда памятае паказаныя раней раунды:

    for tur in range(1, MAX_TUR + 1):
        sonuc = await Console(ekip.run_stream(task=gorev))
        cizelge = son_cizelge(sonuc.messages)
        ihlaller = dogrula(cizelge)
        gunluk.ekle(Deneme(tur, cizelge, ihlaller))
    
        if not ihlaller:
            break
        takildi, sebep = gunluk.takildi_mi()
        if takildi:
            break
        gorev = sonraki_gorev(...)
    

    Што містыць пакет для прыемлівага

    Команда застрагла, тады што паходзіць да керавучага? Найпростае — запытаць занова, але гэта проста спроба, а не прыемлівай. Керавучам не патрэбна сама проблема, а тое, што намагалася зробіць команда і чаму ёй не паводзілася. Пакет містыць:

    • короткае апісанне проблемы,
    • звястку пра наявныя адхыленнія ад графіка, створаную пасля кожнага раунду,
    • відэкты адхылень, якія павтараюцца, з колькасцю (напрыклад: відпачынак — 3 разы, ліміт — 3 разы),
    • пасляпэльныя паведамленні команды,
    • чыстае апісанне задачы.

    Строка з павтараючыміся адхыленнямі — гэта просты лічыльнік, але ён эфектыўны, таму што керавучы за мгновенне бачыць, якое правіло продовжвае блакануць команду.

    Адна з нарадзенняў: max_tool_iterations — гэта верхнія межа, а не гарантыя

    Надзорнік отрымаў інструмент для верыфікацыі з параметрам max_tool_iterations=8. Апэктываўся самастатковы цыкл: падготовка, верыфікацыя, выправлення і знову верыфікацыя. Адбылося ж так: надзорнік адзін раз вызваў інструмент, отрымаў адчыт пра троха наяўных абэкцый, а потым вернуў абоўсумневаны графік як фінальную адпаведзь, не пераканаўшыся ў яго правільнасці. эты графік быў некарэткім.

    Гэты ліміт являецца верхнім, а не ніжнім. Калі мадэль адпавядае тэкстам у зьвязку заместо вызову інструмента, цыкл завершваецца. Запіс «Ніколі не адпавядаць без парабалікацыі» у сообшчэньне сістэмы таксама не дапомагала, адколькі гэтыя словы ужо былі там. Рашэньня было архітэктурным: пасляднее рашэньне заліць у рэферы, а не у мадэлі. Цяпер кансультатар працуе ўнутрь таго ж зовнішняга цыклу парабалікацыі, як і команда, і яго адпаведзь не прыймаецца, пакуль рэферы яго не схваліць. Адказваўчы мадэлі, што яй робіць, гэта не прыведзе да рэзультата. Калі вам патрэбна гаранцыя, трэба самім створыць такі цыкл.

    Аналіз 2: аднолькі сільнейшая мадэль была недастаткова

    Першым керуючым мадэллю быў gpt-4o, які кераваў командай працоўнікаў на gpt-4o-mini. Гэта класычная схема, у якай дэшавая мадэль віконвае задачы, а дорожэйшая яго рашуе. Але ён нічога не рашыў. За тры раунды gpt-4o поступова паспрабаваў падняць рэзультаты з восьмі нарушэнняў да пяці, а потым да чатырох, так і не дасягнуўшы нуля, і створыў 918 токенав выходных даных. Пасля перэходу на мадэль для мышлення o4-mini проблема была рашыта вельмі швабо, у першы ж раунд, без жадных нарушэнняў, але за ціну 3,886 токенав выходных даных.

    Якшча аналізаваць, гэта мае сэнс. Задача — задоволенне абмежэнняў, што выклікае сістэматычны пошук. gpt-4o не ў значным ступені лепшы за gpt-4o-mini у гэтым, адколі оба працуюць аднойчыну, а проста gpt-4o мае большую ўстановку. Разлік у колькасці токэнаў таксама не ў збытку, адколі большая частка з тых 3,886 токэнаў — гэта токэны для разумовых працэсаў. Косць разумавання практычна відбіваецца ў табліцы з цэнамі. Абшчы урок: эскалэйцыя не должна значыць дорожэйшую мадэль, яна должна значыць мадэль, якая працуе інакш. Апранавайце, калія з іх дапамагае рашыць вашу проблэму, і не будзіце прыпускаў.

    Заўршэнне запуску нарэшце успелася, і лог паказвае, як гэта адбылася:

    --- Ekip - tur 1/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 1: GECERSIZ: 4 kural ihlali var.
    --- Ekip - tur 2/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 2: GECERSIZ: 4 kural ihlali var.
    --- Ekip - tur 3/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 3: GECERSIZ: 6 kural ihlali var.
    [karar] Takilma tespit edildi: Son 2 turda ihlal sayisi 4 seviyesinden
            asagi inmedi; ilerleme yok.
    
    --- Supervisor - tur 1/3 (o4-mini) --------------------------------------
    [hakem] supervisor tur 1: GECERLI: Cizelge butun kurallara uyuyor.
    

    За гэтым не стаяў жанчык. Команда справды застрала, было вымерана гэта застрануць, і керавальнік распрацаваў задачу.

    Рахунак

    У канцы чатвертага крока выдруковываецца вылік вітрачэння як для аднаго, так і для другога модэляў па боку ад боку:

    Asama         Model        Girdi   Cikti  Maliyet $
    ------------  -----------  ------  -----  ---------
    ekip (3 tur)  gpt-4o-mini  16.566  2.290  0,00386
    supervisor    o4-mini       5.463  3.886  0,02311
    ------------  -----------  ------  -----  ---------
    TOPLAM                     22.029  6.176  0,02697
    

    Трыякі раунды работы команды коштувалі прыблізна 0,0039 долара, тады як праца керавучага коштувала апошні 0,0231 долара; такім чынам падняць проблему на вышэйшы ранг означае дадзенне ўсьмох запланаваных зусібей команды за адну ступеню, што ў шэсцяць разоў больш. Саме гэтая табліца ёсць прычыной такой архітэктуры. Як толькі вы перадаеце усё керавучаму, сума рахунку збільшыцца у шэсцяць разоў. Калі ж усё перадаць дарогай командзе, праца ніколі не будзе завершаная. Правільная адпаведзь знаходзіцца межы гэтымі двума варыянтамі, і толькі меры дапамагаюць яе знайсці.

    Вывыкі

    • Даколькі вы спытваеце агентаў, чы ўсё у яных выйшла, сістэма ёсць фальшывой. Дэтэрміністычны арбітражыст — гэта основа, на якой стоіць вся архітэктура. Калі ваша проблема не мае аспекта, які можна пераканаліць за дапамогою машыны, спачатку яго знайдзіце.
    • Недастатнька тое, калі адна LLM пераглядае іншую. Аднойчы пераглядач стварае сабе власныя халюцынаціі, чым удвое падваічвае расходы.
  • Тактыя падтрымка ўсё-такі неабходная, але недастатня. Маленькі мадэль можа отрымаць правыя даныя пра наявныя парабяны, але ўсё рав не зможа дасягнуць стабільнасці, таму патрэбны механізмы для выявлення прагрэсу.
  • Працэс эскаліяцыі складаецца з чатырох элементаў: мадэль, якая працуе інакш, історыя неудач, той самы дэтэрміністычны цыкл паўтарання тэстаў і сістэмнае паведамленне, якое опісвае методычны падход.
  • Як аранжаваны код

    Эксперымент раздзелены на чатыры файлы, якія трэба запускаць па адной лініі, пры чым кожны з яных пачынаецца з апісання таго, чаму ён служыць для навучэння:

    01_tek_agent.py      AssistantAgent, run(), TaskResult
    02_ekip.py           RoundRobinGroupChat, max_turns, Console
    03_dogrulayici.py    tools=[...], reflect_on_tool_use, deterministik termination
    04_eskalasyon.py     dış döngü, takılma tespiti, eskalasyon paketi, maliyet defteri
    

    Тэстам не патрэбуецца ключ API. Функцыя ReplayChatCompletionClient з бібліятэкі AutoGen вяртае адпаведныя адказы модэлю па парадку, таму два найбольш рызыкованых параметра праекту можна безкоштовна пераконтролаваць. Выкорыстоўваныя версіі — autogen-agentchat 0.7.5 і Python 3.11. Працэс працы малых модэляў разлічаецца з адной запуску да іншага, і gpt-4o-mini знаходзіцца самэ на межы гэтай проблемы, інодзе завершаючы працу за чатыры раунды.