Wenn ein AutoGen-Agententeam blockiert: Messung und Eskalation an einen Supervisor
Ein AutoGen-Experiment mit einem deterministischen Schichtplan-Referee zeigt, warum die Peer-Review versagt, wie man ein blockiertes Team erkennt und warum eine Eskalation ein anderes Modell benötigt.
Quellen: AutoGen ile Multi-Agent Eskalasyon: Ekip Takılınca Ne Olur?
Ein Team aus billigen Agenten kann durch Messungen feststellen, dass es in einer Sackgasse steckt, und die Aufgabe an einen stärkeren Supervisor weitergeben. Welcher Supervisor als stärker gilt, war die Überraschung. Es folgt ein vierstufiges AutoGen-Experiment: ein einzelner Agent, ein Zwei-Agenten-Team, ein deterministischer Validator und schließlich die Eskalation.
Die meisten Multi-Agenten-Demos wiederholen eine einzige Szene. Die Agenten schaffen es nicht, ein Problem zu lösen, konsultieren sich gegenseitig, und am Ende tritt ein spezialisierter Agent ein und beendet die Arbeit. Es sieht beeindruckend aus – bis man den Code liest und in der Systemnachricht eine Zeile findet, die etwa besagt: „Wenn du es nicht lösen kannst, frag den Supervisor.“ Der Agent bittet nicht um Hilfe, weil er versagt hat, sondern weil man es ihm gesagt hat. Die ganze Szene ist vorher festgelegt.
Daraus lässt sich nichts lernen, denn die schwierige Frage ist nicht, wie ein Agent um Hilfe bittet. Die schwierige Frage ist vielmehr, wie jemand herausfinden kann, dass ein Team in einer Sackgasse steckt. Das untenstehende Experiment wurde so konzipiert, dass tatsächlich eine Sackgasse entsteht, und im Laufedessen zwangen zwei Erkenntnisse zu Designänderungen. Beide erwiesen sich als die wertvollsten Teile des Experiments.
Die Agenten aus der Rolle des Urteilers entfernen
Falls man sehen möchte, wie Agenten tatsächlich versagen, dürfen sie nicht diejenigen sein, die entscheiden, was Erfolg bedeutet. Daher benötigt die Aufgabe ein Ergebnis, das eine Maschine überprüfen kann: einen wöchentlichen Schichtplan für einen kleinen Laden. Es gibt sieben Tage mit jeweils zwei Schichten, und jede Schicht benötigt genau zwei Personen, was insgesamt 28 Stellen ergibt. Sieben Mitarbeiter stehen zur Verfügung, deren Gesamtkapazität 33 Schichten beträgt. Es gelten sechs strenge Regeln:
- Jede Schicht hat genau zwei Personen.
- Niemand arbeitet an demselben Tag zwei Schichten.
Das Problem liegt bei der Überschneidung der Regeln drei und sechs. Einer der zertifizierten Kassierer ist ein Teilzeitmitarbeiter, der nur drei Schichten pro Woche übernehmen kann. Wenn man die Ruhezeitregel ändert, bricht die Kassiererregel, und wenn man diese ändert, wird eine Grenze überschritten.
Der Prüfmechanismus ist eine einfache Python-Funktion, in der es keinerlei Aufrufe von LLMs gibt:
def dogrula(cizelge: dict) -> list[str]:
"""Cizelgedeki butun kural ihlallerini dondurur. Bos liste = gecerli plan."""
Jedes Ergebnis von bestanden oder durchgefallen im Experiment stammt aus dieser Funktion, und was die Agenten von ihrer eigenen Arbeit halten, ist unwichtig. Die Tests belegen außerdem, dass das Problem lösbar ist, denn ein Rückwärtsuche-Algorithmus im Testumfang findet mindestens einen gültigen Zeitplan. Die Agenten sehen diesen Algorithmus niemals. Sobald das Team in eine Sackgasse gerät, kann niemand behaupten, das Problem sei unlösbar gewesen.
Schritt 1: ein einziger Agent und vier Verstöße
Die einfachste Konfiguration verwendet einen AssistantAgent ohne Werkzeuge und ohne Helfer:
planlayici = AssistantAgent("planlayici", model_client=istemci, system_message=...)
sonuc = await planlayici.run(task=brif())
Mit dem Modell gpt-4o-mini ergab sich ein gut strukturierter, zuverlässiger JSON-Plan. Der Prüfer zählte vier Verstöße. Ein Mitarbeiter hatte einen freien Montag eingeplant. Am Samstagabend gab es keinen zertifizierten Kassierer. Ein Teilzeitmitarbeiter, der nur drei Schichten pro Woche arbeiten durfte, erhielt fünf Schichten. Das System hat keine Möglichkeit, dies herauszufinden, da seine Einstellungen es nicht zulassen, die eigene Antwort zu überprüfen.
Schritt 2: Hinzufügen eines Teamkollegen verschlimmerte die Situation
Die übliche Lösung ist ein Prüfer neben dem Planer. In AutoGen erfordert das drei Zeilen:
ekip = RoundRobinGroupChat([planlayici, denetci], max_turns=6)
sonuc = await Console(ekip.run_stream(task=brif()))
Der Prüfer hat seine Arbeit erledigt und fünf Verstöße aufgelistet, alle unter dem Punkt zur 11-stündigen Ruhezeitregel. Der Planer hat sie behoben. Als der Prüfer anschließend den Zeitplan überprüfte, fand er nur einen Ruhezeitverstoß – der Prüfer hatte also vier erfunden. Gleichzeitig überging er völlig die Verstöße bezüglich der freien Tage, das fehlende Personal an der Kasse sowie die wöchentlichen Überschreitungen. Die Anzahl der Verstöße stieg auf sieben – schlimmer als bei dem einzelnen Mitarbeiter.
Das ist alles nicht überraschend. Der Prüfer ist ebenfalls ein LLM, daher weist er dieselben Schwächen auf und verbraucht doppelt so viele Token. Das Team kann außerdem seine eigene Arbeit genehmigen: Sobald der Prüfer mitteilt, dass der Plan genehmigt ist, widerspricht niemand mehr. Es ist, als würde ein Student seine eigene Prüfungsarbeit bewerten.
Schritt 3: Korrekte Rückmeldungen reichen immer noch nicht aus
Der nächste Schritt entzieht die Validierung dem LLM und überträgt sie an die Funktion. AutoGen akzeptiert einfache Python-Funktionen als Werkzeuge, wobei das Schema aus Typhinweisen und die Beschreibung aus der Dokumentation erzeugt wird:
denetci = AssistantAgent(
"denetci",
tools=[cizelgeyi_dogrula],
max_tool_iterations=1,
reflect_on_tool_use=False, # <-- kilit satır
)
Die Einstellung reflect_on_tool_use=False ist hier entscheidend. Bei True würde der Agent die Ausgabe des Tools in eigenen Worten zusammenfassen, der Planer würde von dieser Zusammenfassung Verstöße erkennen und dabei Details verloren gehen. Bei False wird der Bericht des Validators wortwörtlich in das Gespräch aufgenommen. Ein weiterer wichtiger Punkt ist die Abbruchregel:
bitis = TextMentionTermination("GECERLI:", sources=["denetci"]) | MaxMessageTermination(12)
Nur der Validator kann den Text GECERLI: erzeugen, wodurch das Ende des Gesprächs durch ein deterministisches Signal statt durch einen Satz eines LLM festgelegt wird. Dadurch wird das Problem „Plan wurde genehmigt“ aus dem vorherigen Schritt behoben.
Das Ergebnis: Das Team erreichte seine Obergrenze von 12 Nachrichten mit neun Verstößen. Es sieht tatsächlich schlechter aus. Die Rückmeldungen sind jetzt genau, es gibt keine erfundenen Verstöße und keine übersehenden Regeln. Doch das kleine Modell behebt eine Regel, während es eine andere bricht, und der Prozess konvergiert nie. Korrekte Rückmeldungen sind notwendig, aber unzureichend. Was fehlt, ist ein Mechanismus, der Fortschritte misst und feststellen kann, dass dieses Team die Aufgabe nicht abschließen wird.
Schritt 4: Messung des Stockens
Die erste Frage bei einer Eskalation ist, ob das Team tatsächlich feststeckt oder nur langsam arbeitet. Es ist sinnlos, die Agenten zu fragen, denn die Erwartung einer ehrlichen Selbsteinschätzung von einem System, das seine eigene Arbeit nicht beurteilen kann, wiederholt den Fehler aus Schritt zwei. Deshalb misst der Code mithilfe von zwei Signalen:
def takildi_mi(self, sabir: int = 2) -> tuple[bool, str]:
son, onceki = self.denemeler[-1], self.denemeler[-2]
# 1. Ayni ihlal seti tekrar ediyor -> dongude donuyorlar.
if son.cizelge is not None and son.ihlaller == onceki.ihlaller:
return True, "Ayni ihlaller iki tur ust uste tekrarlandi."
# 2. Son turlarda ihlal sayisi hic azalmadi -> ilerleme yok.
pencere = self.denemeler[-(sabir + 1):]
if pencere[-1].skor >= min(d.skor for d in pencere[:-1]):
return True, "Ilerleme yok."
return False, ""
Falls kein Signal ausgelöst wird, verbessert sich das Team, wenn auch nur langsam, und der Zyklus setzt sich fort. Die Überprüfung ermöglicht es außerdem dem System, vor Ablauf des Budgets für eine Runde zu reagieren, was wichtig ist, denn jede verschwendete Runde bedeutet Geldverschwendung. Die Orchestrierung erfolgt durch einen gewöhnlichen Python-Zyklus. AutoGen speichert den Chatverlauf des Teams, sodass ein erneuter Aufruf desselben Team-Objekts bedeutet, dass das Team sich an frühere Runden erinnert:
for tur in range(1, MAX_TUR + 1):
sonuc = await Console(ekip.run_stream(task=gorev))
cizelge = son_cizelge(sonuc.messages)
ihlaller = dogrula(cizelge)
gunluk.ekle(Deneme(tur, cizelge, ihlaller))
if not ihlaller:
break
takildi, sebep = gunluk.takildi_mi()
if takildi:
break
gorev = sonraki_gorev(...)
Was das Eskalationspaket enthält
Das Team steckt in einer Sackgasse – was geht also an den Vorgesetzten? Die Frage von vorn zu stellen ist am einfachsten, doch das ist ein Neuanfang und keine Eskalation. Was der Vorgesetzte braucht, ist nicht das Problem an sich, sondern was das Team versucht hat und warum es gescheitert ist. Das Paket enthält:
- eine kurze Beschreibung des Problems,
- den Verstößenachweis für den Zeitplan, der in jeder Runde erstellt wurde,
- die wiederkehrenden Verstößertypen mit Zahlenangaben (zum Beispiel Freistag: 3 Mal, Limit: 3 Mal),
- die letzten Nachrichten des Teams,
- eine klare Aufgabenbeschreibung.
Die Spalte mit den wiederkehrenden Verstößen enthält einen einfachen Zähler – doch sie ist nützlich, weil der Vorgesetzte auf einen Blick erkennen kann, welche Regel das Team weiterhin blockiert.
Fund 1: max_tool_iterations ist eine Obergrenze, keine Garantie
Der Supervisor erhielt das Validierungstool mit max_tool_iterations=8. Erwartet wurde ein eigenständiger Zyklus aus Entwurf, Validierung, Korrektur und erneuter Validierung. Tatsächlich geschah Folgendes: Der Supervisor rief das Tool einmal auf, erhielt einen Bericht über drei Verstöße und gab anschließend ohne weitere Validierung einen völlig anderen Zeitplan als Endantwort heraus. Dieser Zeitplan war ungültig.
Die Einstellung stellt eine Obergrenze dar und niemals eine Untergrenze. Sobald das Modell mit Text statt mit einem Toolaufruf antwortet, endet der Loop. Auch das Hinzufügen des Satzes „Antworte niemals ohne Validierung“ in die Systemnachricht half nicht, da dieser Satz bereits vorhanden war. Die Lösung lag in der Architektur: Das letzte Wort sollte dem Referee überlassen werden und nicht dem Modell. Der Supervisor wird nun innerhalb desselben äußeren Validierungsloops wie das Team ausgeführt, und seine Antwort wird erst akzeptiert, nachdem der Referee sie genehmigt hat. Dem Modell zu sagen, was es tun soll, führt nicht dazu, dass dies tatsächlich geschieht. Wenn man eine Garantie benötigt, muss man den Loop selbst erstellen.
Finding 2: Ein stärkeres Modell reichte nicht aus
Der erste Überwacher war gpt-4o, der ein Team von gpt-4o-mini-Modellen leitete. Es handelt sich dabei um die klassische Konfiguration, bei der das günstigere Modell arbeitet und das teurere eingreift, um Probleme zu lösen. In diesem Fall rettete gpt-4o jedoch nichts. Über drei Runden hinweg verbesserte sich gpt-4o stetig – von acht Verstößen auf fünf und schließlich auf vier – erreichte jedoch nie null Verstöße und erzeugte insgesamt 918 Ausgabetoken. Nach dem Umstieg auf das logische Modell o4-mini wurde das Problem bereits in der ersten Runde mit null Verstößen gelöst, allerdings zu dem Preis von 3.886 Ausgabetoken.
Rückblickend macht das Sinn. Die Aufgabe besteht darin, Einschränkungen zu erfüllen, was eine systematische Suche erfordert. gpt-4o ist in dieser Hinsicht nicht wirklich besser als gpt-4o-mini, da beide auf dieselbe Weise arbeiten und das eine lediglich größer ist. Der Token-Unterschied ist ebenfalls kein Zufall, denn der größte Teil dieser 3.886 Tokens sind Überlegungstokens. Der Preis des Denkens zeigt sich in der Kostenübersicht. Die allgemeine Lektion: Eine Erhöhung sollte nicht bedeuten, dass ein teureres Modell verwendet wird, sondern dass ein Modell eingesetzt wird, das anders funktioniert. Prüfen Sie, welches Modell bei Ihrem eigenen Problem hilft, und gehen Sie nicht von vornherein davon aus.
Der Lauf war schließlich erfolgreich, und das Protokoll zeigt, wie er verlaufen ist:
--- Ekip - tur 1/3 (gpt-4o-mini) ----------------------------------------
[hakem] tur 1: GECERSIZ: 4 kural ihlali var.
--- Ekip - tur 2/3 (gpt-4o-mini) ----------------------------------------
[hakem] tur 2: GECERSIZ: 4 kural ihlali var.
--- Ekip - tur 3/3 (gpt-4o-mini) ----------------------------------------
[hakem] tur 3: GECERSIZ: 6 kural ihlali var.
[karar] Takilma tespit edildi: Son 2 turda ihlal sayisi 4 seviyesinden
asagi inmedi; ilerleme yok.
--- Supervisor - tur 1/3 (o4-mini) --------------------------------------
[hakem] supervisor tur 1: GECERLI: Cizelge butun kurallara uyuyor.
Hinter dem Ganzen steckte kein Skript. Das Team steckte tatsächlich in einer Sackgasse, der Zustand dieser Sackgasse wurde gemessen, und der Supervisor löste die Aufgabe.
Die Rechnung
Am Ende des vierten Schritts wird der Verbrauch beider Modelle nebeneinander ausgedruckt:
Asama Model Girdi Cikti Maliyet $
------------ ----------- ------ ----- ---------
ekip (3 tur) gpt-4o-mini 16.566 2.290 0,00386
supervisor o4-mini 5.463 3.886 0,02311
------------ ----------- ------ ----- ---------
TOPLAM 22.029 6.176 0,02697
Drei Runden mit dem Team kosteten etwa 0,0039 Dollar, während die Überwachung durch den Supervisor etwa 0,0231 Dollar kostete – somit entspricht die Eskalation einem einzigen Posten, der etwa sechsmal so teuer ist wie die gesamte Arbeit des Teams. Diese Tabelle ist der Grund für die gewählte Architektur. Übergeben Sie alles dem Supervisor, und die Rechnung verdoppelt sich auf sechsmal so viel. Übergeben Sie alles dem günstigen Team, und die Arbeit wird niemals erledigt. Die richtige Lösung liegt zwischen diesen beiden Extremen, und Messung ist der einzige Weg, sie zu finden.
Ergebnisse
- Solange Sie die Agenten fragen, ob sie erfolgreich waren, ist das System falsch. Ein deterministischer Schiedsrichter ist die Grundlage, auf der die gesamte Architektur beruht. Wenn Ihr Problem keine maschinell überprüfbaren Aspekte hat, müssen Sie diese zuerst finden.
- Es reicht nicht aus, wenn ein LLM ein anderes überprüft. Der Prüfer erfindet eigene Halluzinationen und verdoppelt dadurch die Kosten.
Wie der Code organisiert ist
Das Experiment ist in vier Dateien aufgeteilt, die nacheinander ausgeführt werden sollen; jede beginnt mit einer Anmerkung dazu, was sie vermittelt:
01_tek_agent.py AssistantAgent, run(), TaskResult
02_ekip.py RoundRobinGroupChat, max_turns, Console
03_dogrulayici.py tools=[...], reflect_on_tool_use, deterministik termination
04_eskalasyon.py dış döngü, takılma tespiti, eskalasyon paketi, maliyet defteri
Die Tests erfordern keinen API-Schlüssel. ReplayChatCompletionClient von AutoGen gibt die Antworten des Modells nacheinander zurück, sodass die beiden riskantesten Annahmen des Projekts kostenlos überprüft werden können. Verwendet wurden die Versionen autogen-agentchat 0,7.5 und Python 3,11. Das Verhalten kleiner Modelle variiert von Ausführung zu Ausführung, und gpt-4o-mini befindet sich genau an der Grenze dieses Problems – manchmal wird die Aufgabe bereits nach vier Runden abgeschlossen.