Strona główna / Artykuły

Gdy zespół agentów AutoGen utyka: jak to mierzyć i eskalować sprawę do przełożonego

Eksperyment AutoGen z deterministycznym arbitrem opartym na harmonogramie przesunięć pokazuje, dlaczego recenzja przez rówieśników zawodzi, jak wykryć zespół utknąły w impasie oraz dlaczego eskalacja wymaga innego modelu.

Wydawca: REACTAPP.TOP9 min czytania2149 słów

Źródła: AutoGen ile Multi-Agent Eskalasyon: Ekip Takılınca Ne Olur?

Zespół tanich agentów może, poprzez pomiary, zauważyć, że utknął, i przekazać zadanie silniejszemu nadzorcy. Okazało się niespodzianką, który nadzorca uznawany jest za silniejszego. Poniżej przedstawiono eksperyment AutoGen składający się z czterech kroków: pojedynczy agent, zespół dwóch agentów, deterministyczny walidator oraz wreszcie eskalacja.

Większość demonstracji z udziałem wielu agentów odtwarza jedną scenę. Agenci nie potrafią rozwiązać problemu, konsultują się ze sobą, a na końcu interweniuje specjalistyczny agent i kończy pracę. Wygląda to imponująco, dopóki nie przeczytasz kodu i nie znajdziesz w wiadomości systemowej linijki mówiącej coś w stylu „jeśli nie możesz tego rozwiązać, zapytaj nadzorcę”. Agent nie prosi o pomoc, ponieważ poniósł porażkę – prosi o to, bo mu tak kazano. Cała scena jest napisana z góry.

Nic z tego się nie uczy, ponieważ trudnym pytaniem nie jest to, jak agent prosi o pomoc. Trudnym pytaniem jest to, jak ktokolwiek może dowiedzieć się, że zespół utknął. Poniższy eksperyment został zaprojektowany tak, aby faktycznie doszło do utknięcia, a w trakcie jego przeprowadzania dwa ustalenia zmusiły do zmian w projekcie. Oba okazały się najcenniejszymi elementami.

Wykluczenie agentów z roli sędziów

Jeśli chcesz naprawdę zobaczyć, jak agenci ponoszą porażki, nie mogą oni decydować o tym, co oznacza sukces. Dlatego zadanie musi mieć wynik, który maszyna może sprawdzić: tygodniowy harmonogram zmian w małym sklepie. Jest siedem dni, z których każdy ma po dwie zmiany, a każda zmiana wymaga dokładnie dwóch osób, co daje 28 miejsc do obsadzenia. Dostępnych jest siedmiu pracowników, których łączna zdolność to 33 zmiany. Obowiązują sześć ścisłych zasad:

  1. Każda zmiana wymaga dokładnie dwóch osób.
  2. Nikt nie może pracować na dwóch zmianach w tym samym dniu.
  • Kto zamyka w godzinach wieczornych, nie może otworzyć następnego ranka, ponieważ wymagane jest 11 godzin odpoczynku.
  • Obowiązują limity tygodniowe: pięć zmian dla pracowników na pełen etat i trzy dla tych na częściowy etat.
  • Nikt nie pracuje w dzień wolny.
  • Każda zmiana obejmuje co najmniej jedną osobę certyfikowaną jako kasjer.
  • Trudność polega na nakładaniu się zasad trzeciej i szóstej. Jeden z certyfikowanych kasjerów to pracownik na częściowy etat, który może przepracować tylko trzy zmiany tygodniowo. Jeśli poprawi się zasada dotycząca czasu odpoczynku, złamie się zasada kasjera; jeśli poprawi się ta ostatnia, zostanie przekroczony limit.

    Kontroler to zwykła funkcja w Pythonie, w której nie ma żadnych wywołań LLM:

    def dogrula(cizelge: dict) -> list[str]:
        """Cizelgedeki butun kural ihlallerini dondurur. Bos liste = gecerli plan."""
    

    Każda decyzja o zaliczeniu lub nieudaniu w eksperymencie pochodzi z tej funkcji, a to, co agenci myślą o swojej pracy, jest bez znaczenia. Testy potwierdzają również, że problem jest rozwiązywalny, ponieważ narzędzie do backtrackingu w zestawie testowym znajduje przynajmniej jeden ważny harmonogram. Agenci nigdy nie widzą tego narzędzia. Gdy zespół utknie, nikt nie może twierdzić, że problem jest niemożliwy do rozwiązania.

    Krok 1: jeden agent i cztery naruszenia

    Najprostsze ustawienie wykorzystuje jeden AssistantAgent bez żadnych narzędzi ani pomocników:

    planlayici = AssistantAgent("planlayici", model_client=istemci, system_message=...)
    sonuc = await planlayici.run(task=brif())
    

    Z użyciem modelu gpt-4o-mini uzyskano dobrze sformatowany, spójny harmonogram w formacie JSON. Sędzia zliczył cztery wykroczenia. Jeden pracownik miał wolne w poniedziałek. W sobotni wieczór nie było certyfikowanego kasjera. Pracownik na pół etatu, który mógł pracować maksymalnie trzy zmiany, dostał pięć zmian. Agent nie ma żadnego sposobu, by o tym wiedzieć, ponieważ jego konfiguracja nie pozwala mu sprawdzić własnej odpowiedzi.

    Krok 2: dodanie kolegi z zespołu pogorszyło sytuację

    Standardowym rozwiązaniem jest dodanie osoby sprawdzającej obok planisty. W AutoGen wymaga to trzech linijek kodu:

    ekip = RoundRobinGroupChat([planlayici, denetci], max_turns=6)
    sonuc = await Console(ekip.run_stream(task=brif()))
    

    Przeglądający wykonał swoją pracę, wymieniając pięć naruszeń, wszystkie one pod hasłem zasady 11-godzinnego odpoczynku. Planista je poprawił. Gdy sędzia sprawdził następnie harmonogram, znalazł tylko jedno naruszenie zasady odpoczynku, więc przeglądający wymyślił cztery. Jednocześnie zupełnie przeoczył naruszenia dotyczące dni wolnych, brak personelu przy kasie oraz przekroczenia tygodniowe. Liczba naruszeń wzrosła do siedmiu, co jest gorsze niż w przypadku pojedynczego pracownika.

    Nic z tego nie jest zaskakujące. Przeglądający to również model językowy, więc ma te same słabości i zużywa dwa razy więcej tokenów. Zespół może również zatwierdzić własną pracę: gdy przeglądający ogłosi, że plan został zatwierdzony, nikt nie sprzeciwia się. To jak uczeń oceniający własny egzamin.

    Krok 3: poprawne informacje zwrotne wciąż nie wystarczają

    Kolejny krok polega na przeniesieniu zadania walidacji z LLM na funkcję. AutoGen przyjmuje zwykłe funkcje w Pythonie jako narzędzia, generując schemat na podstawie wskazówek typów oraz opis na podstawie dokumentacji funkcji:

    denetci = AssistantAgent(
        "denetci",
        tools=[cizelgeyi_dogrula],
        max_tool_iterations=1,
        reflect_on_tool_use=False,   # <-- kilit satır
    )
    

    Ustawienie reflect_on_tool_use=False jest tutaj kluczowe. Przy wartości True agent podsumowywałby wyniki narzędzia własnymi słowami, planer odczytywałby informacje o naruszeniach z tego podsumowania, co skutkowałoby utratą szczegółów. Przy wartości False raport walidatora trafia do rozmowy słowo w słowo. Drugim ważnym elementem jest zasada zatrzymywania się:

    bitis = TextMentionTermination("GECERLI:", sources=["denetci"]) | MaxMessageTermination(12)
    

    Tylko walidator może wygenerować tekst GECERLI:, więc zakończenie rozmowy jest decydowane przez sygnał deterministyczny, a nie przez zdanie generowane przez LLM. To rozwiązuje problem „plan zatwierdzony” z poprzedniego kroku.

    Wynik: zespół osiągnął limit 12 wiadomości przy dziewięciu naruszeniach. Wygląda to gorzej. Informacje zwrotne są teraz dokładne – nie ma wymyślonych naruszeń ani pominiętych zasad. Jednak mały model naprawia jedną zasadę, łamiąc przy tym inną, a proces nigdy nie osiąga stanu stabilności. Poprawne informacje zwrotne są konieczne, ale niewystarczające. Brakuje mechanizmu, który mierzy postępy i może stwierdzić, że ten zespół nie ukończy zadania.

    Krok 4: pomiar utknięcia

    Pierwsze pytanie dotyczące eskalacji brzmi: czy zespół rzeczywiście utknął, czy po prostu działa wolno. Pytanie do agentów jest bezsensowne, ponieważ oczekiwanie uczciwego samoraportu od systemu, który nie potrafi ocenić własnej pracy, powtarza błąd z drugiego kroku. Dlatego kod mierzy to za pomocą dwóch sygnałów:

    def takildi_mi(self, sabir: int = 2) -> tuple[bool, str]:
        son, onceki = self.denemeler[-1], self.denemeler[-2]
    
        # 1. Ayni ihlal seti tekrar ediyor -> dongude donuyorlar.
        if son.cizelge is not None and son.ihlaller == onceki.ihlaller:
            return True, "Ayni ihlaller iki tur ust uste tekrarlandi."
    
        # 2. Son turlarda ihlal sayisi hic azalmadi -> ilerleme yok.
        pencere = self.denemeler[-(sabir + 1):]
        if pencere[-1].skor >= min(d.skor for d in pencere[:-1]):
            return True, "Ilerleme yok."
    
        return False, ""
    

    Jeśli żaden sygnał nie zostanie wygenerowany, zespół rozwija się, choćby bardzo powoli, a pętla kontynuuje działanie. Ta kontrola pozwala również systemowi na podniesienie poziomu trudności przed wyczerpaniem budżetu rundy, co jest ważne, ponieważ każda zmarnowana runda oznacza stratę pieniędzy. Orkiestracja polega na zwykłej pętli w Pythonie. AutoGen przechowuje historię rozmów zespołu, więc ponowne wywołanie tego samego obiektu zespołu oznacza, że zespół pamięta wcześniejsze rundy:

    for tur in range(1, MAX_TUR + 1):
        sonuc = await Console(ekip.run_stream(task=gorev))
        cizelge = son_cizelge(sonuc.messages)
        ihlaller = dogrula(cizelge)
        gunluk.ekle(Deneme(tur, cizelge, ihlaller))
    
        if not ihlaller:
            break
        takildi, sebep = gunluk.takildi_mi()
        if takildi:
            break
        gorev = sonraki_gorev(...)
    

    Co zawiera pakiet eskalacji

    Zespół utknął, więc co trafia do przełożonego? Najprościej jest zadać to pytanie od nowa, ale to ponowna próba, a nie eskalacja. Przełożony potrzebuje nie samego problemu, lecz tego, co próbował zrobić zespół i dlaczego to nie zadziałało. Pakiet zawiera:

    • krótki opis problemu,
    • raport o naruszeniach harmonogramu sporządzony po każdym etapie,
    • typy naruszeń, które się powtarzają, wraz z ich liczbą (np. dni wolne: 3 razy, limit: 3 razy),
    • ostatnie wiadomości zespołu,
    • jasną definicję zadania.

    Kolumna z powtarzającymi się naruszeniami to prosty licznik, ale jest skuteczna, ponieważ przełożony od razu widzi, która zasada wciąż blokuje pracę zespołu.

    Wynik 1: max_tool_iterations to górna granica, a nie gwarancja

    Kierownik otrzymał narzędzie walidacyjne z ustawieniem max_tool_iterations=8. Oczekiwano samodzielnie działającego cyklu składania, walidacji, korygowania i ponownej walidacji. W rzeczywistości stało się tak: kierownik wywołał narzędzie raz, otrzymał raport z trzema naruszeniami, a następnie przesłał zupełnie inny harmonogram jako ostateczną odpowiedź, nie walidując go. Ten harmonogram był nieważny.

    Wartość ta stanowi górny limit, a nigdy dolny. W momencie, gdy model odpowiada tekstem zamiast wywołaniem narzędzia, pętla się kończy. Wpisanie frazy „nigdy nie odpowiadaj bez weryfikacji” do wiadomości systemowej również nie pomogło, ponieważ ta linijka już tam była. Rozwiązanie było architektoniczne: ostatnie słowo powinien decydować sędzia, a nie model. Nadzorca teraz działa w ramach tej samej zewnętrznej pętli weryfikacyjnej co zespół, a jego odpowiedź nie jest przyjmowana, dopóki sędzia jej nie zatwierdzi. Mówienie modelowi, co ma robić, nie sprawia, że to się wydarzy. Jeśli potrzebujesz gwarancji, musisz sam stworzyć tę pętlę.

    Wniosek 2: silniejszy model nie wystarczył

    Pierwszym nadzorcą był gpt-4o, który kierował zespołem pracowników składającym się z gpt-4o-mini. To klasyczne rozwiązanie, w którym tańszy model wykonuje pracę, a droższy interweniuje w razie problemów. Tym razem jednak nie uratował niczego. W ciągu trzech rund gpt-4o stopniowo poprawiał wyniki – od ośmiu naruszeń do pięciu, a następnie do czterech – nigdy nie osiągając zera, przy czym wygenerował 918 tokenów wynikowych. Po przejściu na model do rozumowania o4-mini problem został rozwiązany już w pierwszej rundzie bez żadnych naruszeń, ale kosztem 3 886 tokenów wynikowych.

    W perspektywie czasu ma to sens. Zadanie polega na spełnianiu ograniczeń, co wymaga systematycznego poszukiwania rozwiązania. gpt-4o nie jest znacząco lepszy od gpt-4o-mini w tym zakresie, ponieważ oba działają w ten sam sposób, a jeden jest po prostu większy. Różnica w liczbie tokenów też nie jest przypadkowa, gdyż większość z tych 3 886 tokenów to tokeny służące do rozumowania. Koszt myślenia widoczny jest w tabeli cenowej. Ogólna lekcja: eskalacja nie powinna oznaczać droższego modelu, lecz model, który działa inaczej. Sprawdź, który z nich pomoże w twoim konkretnym problemie, i nie zakładaj niczego bez dowodów.

    Proces w końcu się udał, a dziennik pokazuje, jak przebiegał:

    --- Ekip - tur 1/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 1: GECERSIZ: 4 kural ihlali var.
    --- Ekip - tur 2/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 2: GECERSIZ: 4 kural ihlali var.
    --- Ekip - tur 3/3 (gpt-4o-mini) ----------------------------------------
    [hakem] tur 3: GECERSIZ: 6 kural ihlali var.
    [karar] Takilma tespit edildi: Son 2 turda ihlal sayisi 4 seviyesinden
            asagi inmedi; ilerleme yok.
    
    --- Supervisor - tur 1/3 (o4-mini) --------------------------------------
    [hakem] supervisor tur 1: GECERLI: Cizelge butun kurallara uyuyor.
    

    Nie było za tym żadnego scenariusza. Zespół rzeczywiście utknął, zmierzono stan tego zatrzymania, a kierownik rozwiązał zadanie.

    Rachunek

    Na końcu czwartego kroku wydatki obu modeli są wydrukowane obok siebie:

    Asama         Model        Girdi   Cikti  Maliyet $
    ------------  -----------  ------  -----  ---------
    ekip (3 tur)  gpt-4o-mini  16.566  2.290  0,00386
    supervisor    o4-mini       5.463  3.886  0,02311
    ------------  -----------  ------  -----  ---------
    TOPLAM                     22.029  6.176  0,02697
    

    Trzy rundy przeprowadzone przez zespół kosztowały około 0,0039 dolara, podczas gdy nadzór kosztował około 0,0231 dolara, więc eskalacja to pojedynczy element kosztowy, który wynosi około sześciokrotność całego wysiłku zespołu. To właśnie ta tabela jest powodem istnienia takiej architektury. Przekazanie wszystkiego nadzorcy powoduje sześciokrotne wzrostenie kosztów, natomiast przekazanie wszystkiego taniej grupie oznacza, że praca nigdy nie zostanie wykonana. Prawidłowa odpowiedź leży pomiędzy tymi dwoma rozwiązaniami, a pomiar jest jedynym sposobem, by ją znaleźć.

    Wnioсы

    • Dopóki pytasz agentów, czy odnieśli sukces, system jest fałszywy. Deterministyczny sędzia stanowi podstawę całej architektury. Jeśli twój problem nie ma aspektu możliwego do sprawdzenia przez maszynę, najpierw znajdź taki aspekt.
    • Niewystarczy, gdy jeden model językowy sprawdza drugi. Osoba dokonująca oceny tworzy własne iluzje i podwaja koszty.
  • Prawidłowa informacja zwrotna jest konieczna, ale niewystarczająca. Mały model może otrzymać właściwą listę naruszeń i mimo to nie osiągnąć zbieżności, dlatego potrzebny jest mechanizm pomiaru postępów.
  • Eskalacja składa się z czterech elementów: modelu, który działa inaczej, historii niepowodzeń, tego samego deterministycznego pętla walidacji oraz komunikatu systemowego opisującego metodykę systematyczną.
  • Jak zorganizowany jest kod

    Eksperyment został podzielony na cztery pliki, które mają być uruchamiane kolejno; każdy z nich rozpoczyna się od notatki wyjaśniającej, czego uczy:

    01_tek_agent.py      AssistantAgent, run(), TaskResult
    02_ekip.py           RoundRobinGroupChat, max_turns, Console
    03_dogrulayici.py    tools=[...], reflect_on_tool_use, deterministik termination
    04_eskalasyon.py     dış döngü, takılma tespiti, eskalasyon paketi, maliyet defteri
    

    Testy nie wymagają klucza API. Klasa ReplayChatCompletionClient z AutoGen zwraca odpowiedzi modelu sekwencyjnie, dzięki czemu dwa najbardziej ryzykowne założenia projektu można sprawdzić bezpłatnie. Użyte wersje to autogen-agentchat 0.7.5 oraz Python 3.11. Zachowanie małych modeli różni się w zależności od wykonywania, a gpt-4o-mini znajduje się dokładnie na granicy tego problemu – czasami kończy przetwarzanie po czterech rundach.