Multi-Agent-Systeme sind Backend-Systeme mit nicht-deterministischen Komponenten.
Produktions-Multi-Agentensysteme belohnen Hintergrundgewohnheiten: Verträge an jeder Grenze, Anfragen als Konfiguration, ein begrenztes Kontextbudget, eine Rolle pro Agent, Wiederholungsversuche.
Quellen: Multi-Agent Systems Are Backend Systems with Non-Deterministic Components
Man kommt von der Datenwissenschaft und dem maschinellen Lernen zur agierenden KI – die anfänglichen Arbeiten erscheinen dadurch vertraut. Bleibt man lange genug in einem produktiven Mehr-Agenten-System, wirkt es überhaupt nicht mehr wie Datenwissenschaft. Es beginnt eher an die Backend-Entwicklung zu erinnern, mit dem Unterschied, dass einige Komponenten nicht-deterministisch sind. Wenn man es so betrachtet, werden viele Gestaltungsentscheidungen leichter nachvollziehbar.
Das Ziel ist es nicht, die Flexibilität, die LLMs bieten, wegzunehmen – schließlich ist genau diese Flexibilität der Grund für ihren Einsatz. Das Ziel besteht vielmehr darin, vorhersehbare Grenzen um diese Flexibilität zu ziehen.
Jeder Grenze ein Vertrag geben
LLMs kommunizieren in Textform, weshalb es verlockend ist, auch die Teile eines Agentensystems dazu zu bringen, miteinander in Textform zu kommunizieren. Eine Komponente schreibt etwas, die nächste liest es und versucht herauszufinden, was damit gemeint ist.
Das funktioniert solange, bis die Interpretation an sich zu einer Quelle des Zweifels wird.
Anfragen zur Klärung sind ein gutes Beispiel. Ein Komponente kann erkennen, dass ihr Informationen fehlen, und dies fließend in Prosa erklären, während der Rest des Workflows im Unklaren bleibt. Ist das ein Versagen oder eine Anfrage zur Klärung? Soll der Ablauf gestoppt werden? Was fehlt genau?
Die Lösung besteht darin, solche Grenzfälle in Richtung expliziter, strukturierter Verträge zu entwickeln. Anstelle eines Satzes wie „Ich habe nicht genügend Informationen, um fortzufahren – könnten Sie den Benutzer fragen, welches Datensatz verwendet werden soll?“, tauschen die Komponenten eine Nachricht wie folgt aus:
{
"status": "needs_clarification",
"question": "Which dataset should be used?",
"required_input": "dataset"
}
Das JSON-Format ist zweitrangig. Entscheidend ist der Vertrag. Der nächste Komponente erhält einen bekannten Zustand mit einer bekannten Struktur und muss niemals die Absicht aus der generierten Prosa ableiten.
Auch die menschliche Interaktion kann nach demselben Muster ablaufen. Wenn eine domänenspezifische Komponente zusätzliche Eingaben benötigt, sendet sie eine strukturierte Anfrage zur Klärung, und eine separate Interaktionsschicht entscheidet, wie dies dem Benutzer dargestellt wird. Im Überblick:
Domain workflow
↓
Structured clarification request
↓
User interaction layer
↓
User
Auch die Abschlussphase verdient dieselbe Behandlung. Wenn das Beenden einer Aufgabe für die Orchestrierung wichtig ist, sollte es ein definiertes Protokollereignis sein und nicht etwas, was ein zweites Modell aus Aussagen wie „Die Analyse ist abgeschlossen“ ableiten muss.
Die Idee reicht weit über bloße Klärung und Abschluss hinaus. Nachrichten zwischen Komponenten, Toolaufrufe und deren Antworten, Fehler sowie Orchestrierungsereignisse profitieren alle von klaren Grenzen.
Ein praktischer Leitfaden: Wenn eine andere Komponente die Ausgabe eines LLM interpretieren muss, verdient diese Ausgabe vermutlich ein Schema.
Natürliche Sprache gehört dorthin, wo sie tatsächlich benötigt wird. Im System führt Unklarheit in der Regel zu mehr Problemen, als dass sie Vorteile bringt.
Behandeln Sie Anfragen als Konfiguration
Wenn ein System wächst, wird es immer schwieriger, jeden System-Auftrag als eigenständigen Textblock manuell zu bearbeiten. Gemeinsame Regeln werden schließlich an mehreren Stellen kopiert, Beschreibungen der Fähigkeiten ändern sich im Laufe der Zeit, und der Auftrag weicht von dem ab, was zum Laufzeitpunkt tatsächlich verfügbar ist.
Eine deklarativere Struktur hilft dabei. Gemeinsame Regeln, rollenspezifische Anweisungen, Beschreibungen der Fähigkeiten sowie Beispiele befinden sich in getrennten Teilen und werden während der Erstellung zum endgültigen Auftrag zusammengefügt.
Der Erstellungsprozess bietet außerdem die Möglichkeit, die Konfiguration vor dem Zugriff des Modells zu überprüfen. Wenn ein Auftrag eine Fähigkeit behauptet, die tatsächlich nicht verfügbar ist, sollte der Erstellungsprozess dies erkennen. Dasselbe gilt für fehlende erforderliche Abschnitte, doppelte Definitionen oder Einstellungen, die nicht mehr zur Rolle passen.
Niemand bearbeitet den endgültigen Prompt direkt. Er wird aus kleineren Konfigurationsbestandteilen erstellt, überprüft und als Build-Artifact ausgegeben, das Sie nach Belieben versionieren und neu erstellen können.
Zu diesem Zeitpunkt ähnelt die Prompt-Verwaltung viel mehr einer gewöhnlichen Softwarekonfiguration als dem Schreiben. Man wiederverwendet gemeinsam genutzte Teile, überprüft alles, was vor der Ausführung überprüft werden kann, und sorgt dafür, dass die erzeugte Ausgabe mit dem umgebenden System übereinstimmt.
Der Kontext ist eine Art Budget
Große Kontextfenster machen es einfach, ständig neue Inhalte hinzuzufügen: Anweisungen, Beispiele, Historie, Beschreibungen von Fähigkeiten, Artefakte, frühere Ausgaben. Irgendwann hat das Modell alles, was es sich vorstellen kann zu benötigen, und manchmal beginnt es, schlechter zu performen.
Die offensichtliche Erklärung ist die Länge – als hätte das Modell einfach etwas vergessen. Bei aktuellen Modellen ist jedoch oft die Reduzierung der Anweisungen der nützlichere Ansatz.
Der effektive Kontext eines Agenten ist weitaus umfangreicher als seine Systemanweisung:
instructions
+ available capabilities
+ examples
+ conversation history
+ artifacts
+ previous outputs
+ workflow state
Ein Modell mag durchaus in der Lage sein, eine bestimmte Anweisung in all dem zu finden. Das bedeutet jedoch nicht, dass es jeder Anweisung gleich gut folgen wird, sobald mehrere Signale um seine Aufmerksamkeit konkurrieren.
Daher wird die nützlichere Frage, wie wenig Kontext ein Komponente tatsächlich benötigt, im Vergleich dazu, wie viel das Modell technisch aufnehmen kann.
Das geht über die Einsparung von Tokens hinaus. Ein kleinerer, relevanterer Kontext verengt den Entscheidungsbereich und macht das Verhalten leichter vorhersehbar. Jeder zusätzliche Kontextteil konkurriert um die Aufmerksamkeit des Modells – er steht nicht einfach so zur Verfügung.
Ein Agent, eine Rolle
Die Anzahl der Tools ist ein schlechter Indikator dafür, wann ein Agent aufgeteilt werden sollte. Ein Agent kann viele eng miteinander verbundene Fähigkeiten besitzen und dennoch einen klaren Zweck haben, während ein anderer mit nur wenigen Tools bereits mehrere unzusammenhängende Aufgaben erledigen mag.
Verantwortlichkeiten bilden eine viel bessere Trennlinie. Verschiedene Verantwortlichkeiten erfordern in der Regel unterschiedliche Anweisungen, Kontexte, Validierungsregeln und Strategien für Fehlschläge. Es handelt sich dabei um eine Trennung der Aufgaben, angewandt auf probabilistische Komponenten.
Trennen Sie nach Verantwortlichkeiten und ignorieren Sie die Anzahl der Tools.
Der Graph speichert Zustände
Die Optimierung von Prompts erhält in der Arbeit mit Agenten viel Aufmerksamkeit. Der Zustand hingegen weniger.
Es ist leicht, sich nur auf die Größe des Prompts zu konzentrieren und den Zustand des Graphen zu übersehen. Ein sorgfältig gestalteter Prompt kann trotzdem auf einem Zustand basieren, der Ausgaben und Artefakte aus mehreren vorherigen Schritten weiterhin mitführt – es sei denn, dieser Zustand wird absichtlich verwaltet.
In grafenbasierten Orchestrierungen häufen sich im Laufe der Ausführung Nachrichten, Zwischenergebnisse, Artefakte sowie frühere Ausgaben an. Der Graph erinnert sich daran, was praktisch ist, bedeutet aber, dass der Zustand bewusst gestaltet werden muss.
Ein großes Artefakt, das früh erstellt wird, kann in späteren Schritten weiterverwendet werden, ohne dass dessen Inhalt benötigt wird. Große Tool-Antworten sowie Zwischenergebnisse verhalten sich genauso.
Bei größeren Artefakten ist es in der Regel besser, die Daten außerhalb des Graphen zu speichern. Anstelle dessen:
Large artifact
↓
Graph state
↓
Step
↓
Step
↓
Step
Normalerweise reicht etwas, das dem Folgenden ähnelt:
Large artifact
↓
External storage
↓
Reference + metadata
↓
Graph state
Die meisten Komponenten benötigen nicht alles, was bereits früher im Workflow erzeugt wurde. Ihnen reicht das Nötigste, um die nächste Entscheidung treffen zu können.
Die Größe der Eingabedaten ist nur ein Aspekt des Kontextproblems – der Zustand verdient genauso viel Aufmerksamkeit. Entwerfen Sie ihn aktiv und lassen Sie ihn nicht zu einer Ablagestätte für alles werden, was bei der Ausführung entsteht.
Zuverlässigkeit ist hauptsächlich Ingenieurskunst
Auch mit guten Verträgen, klar definierten Rollen und sorgfältig verwaltetem Kontext tun Agenten manchmal überraschende Dinge. Eine Aktion fehlschlägt, das Modell wählt die falsche Aktion oder wiederholt eine, ein Workflow endet zu früh oder läuft viel länger als erwartet.
Es gibt auch Fälle, in denen jeder Schritt sinnvoll erscheint, der Workflow insgesamt aber keinen Fortschritt macht. Das Modell trifft weiterhin lokal gültige Entscheidungen und schafft so effektiv einen Teufelskreis.
Der erste Impuls, insbesondere bei Menschen, die Anfang 2023 mit großen LLMs begonnen haben, ist, solche Probleme im Prompt zu beheben. Manchmal funktioniert das. Doch die meisten Mechanismen zur Zuverlässigkeit, die letztendlich notwendig werden, ähneln einfachen Backend-Engineering-Methoden:
- Wiederholungsversuche und Zeitlimits
- starre Obergrenzen für die Anzahl der Iterationen und Toolaufrufe pro Ausführung
- Erkennung von Schleifen durch Beobachtung desselben Vorgangs oder Zustands, der erneut auftaucht
- sanfte Anreize, wenn die Ausführung stockt, aber noch wiederhergestellt werden kann
- explizite Fehlerzustände mit Wiederherstellungswege
Wenn etwas nicht mehr als eine bestimmte Anzahl von Malen geschehen darf, ist es effektiver, eine Grenze durchzusetzen, anstatt nur eine weitere Anweisung hinzuzufügen, das Modell solle sich anders verhalten. Prompts sind Teil des Zuverlässigkeits Engineerings, sollten aber nicht die gesamte Zuverlässigkeitsschicht bilden.
Die Beobachtbarkeit folgt derselben Logik. Wenn eine gewöhnliche Backend-Anfrage fehlschlägt, geben Logs und ein Stack Trace in der Regel an, was passiert ist. Bei einem agilen Workflow reicht es oft nicht aus, nur zu wissen, wo es fehlgeschlagen ist.
Man muss rekonstruieren, wie es dorthin gekommen ist: welche Route gewählt wurde, welche Aktionen ausprobiert wurden, welche Argumente erzeugt wurden und welche Ergebnisse zurückgegeben wurden. Bei der Fehlersuche in Schleifen ist oft nicht der endgültige Fehler, sondern die Kette von Entscheidungen entscheidend, die die Ausführung immer wieder auf denselben Pfad lenkten.
In agilen Systemen wird nicht nur Code, sondern auch Entscheidungen fehlersucht, weshalb eine gute Beobachtbarkeit es ermöglichen muss, den Entscheidungspfad rekonstruieren zu können.
Die Wahl des Modells ist eine Entscheidung im Systemdesign
Wenn Agenten als Softwarekomponenten betrachtet werden, ändert sich auch die Art und Weise, wie Modelle ausgewählt werden. Es gibt keinen Grund, warum jede Komponente unbedingt auf einem gemeinsamen Modell laufen muss, und es macht erst recht keinen Sinn, alle Komponenten auf das größte verfügbare Modell zu schicken.
Ein Mehr-Agenten-System mischt von Natur aus Aufgaben von sehr unterschiedlicher Schwierigkeit. Einige erfordern echtes Denken, Planen oder Synthetisieren. Andere dienen hauptsächlich dazu, Daten zu leiten, zu extrahieren, zu klassifizieren, umzuwandeln oder aus einer kleinen Anzahl von Aktionen auszuwählen.
Ein allgemeingültiges Grenzmodell kann funktionieren, lässt das System aber auch unnötig langsam und teuer werden. Entscheidend für jede Rolle ist das Gleichgewicht aus Qualität, Zuverlässigkeit, Latenzzeit und Kosten.
Die Auswahl geht auch über die Anzahl der Parameter oder die Ranglistenplätze hinaus. Modelle, die in Benchmarks ähnlich aussehen, können innerhalb desselben Workflows völlig unterschiedlich agieren.
Die Architektur ist ein Faktor, da dichte Modelle, Modelle mit Mischung aus Experten und hybride Modelle in ihrem Charakter voneinander abweichen. Auch das Nachtrainieren spielt eine Rolle: Verschiedene Methoden des überwachten Feintunings, der Präferenzoptimierung und des Verstärkungslernens beeinflussen das Befolgen von Anweisungen, das Schlussfolgern, den Werkzeuggebrauch, die strukturierte Ausgabe sowie das Verhalten in ungewöhnlichen Situationen.
Die Kompromisse in der Praxis sind konkret. Ein Modell kann bei eng gefassten Aufgaben wie Routing oder Klassifizierung schnell, günstig und zuverlässig sein, doch gelegentlich Lücken durch plausibel klingendes Schlussfolgern bei offenen Aufgaben schließen. Ein anderes Modell mag langsamer und teurer sein, ist aber bei mehrschrittigem Schlussfolgern deutlich stabiler.
Man muss diese Modelle nicht trainieren, damit das eine Bedeutung hat. Zu wissen, wie sie sich unterschiedlich verhalten, hilft dabei, zu entscheiden, wo jedes Modell in einem größeren System seinen Platz findet.
Der wichtigste Vergleichspunkt ist Ihre tatsächliche Arbeitslast. Bei der Routenfindung sollten Sie die Routenfindung selbst testen. Wenn die Ausgabe einem Schema entsprechen muss, zählen Sie, wie oft dies der Fall ist. Komponenten, die auf Schlussfolgerungen angewiesen sind, erhalten eine Reihe typischer Fallbeispiele für solche Schlussfolgerungen. Berücksichtigen Sie bei der Bewertung sowohl die Latenz als auch die Kosten.
Bewerten Sie ein Modell anhand der Rolle, die es in Ihrem System einnimmt, und nicht anhand seiner Gesamtrangliste.
Engineering im Umgang mit Nichtbestimmtheit
Es gibt eine Richtung, die all das durchzieht. Frühe Agentenprototypen maximieren die Freiheit: Man gibt dem Modell Anweisungen, Werkzeuge und Kontext und lässt es anschließend selbst entscheiden.
Im Übergang zur Produktivumgebung verläuft der Großteil der Arbeit in die entgegengesetzte Richtung. Die Verantwortlichkeiten werden enger gefasst, die Schnittstellen strukturiert, der Kontext wird relevanter, der Zustand wird gezielt verwaltet, Fehlerwege werden explizit dargestellt und die Auswahl des Modells hängt von der Rolle ab.
Selbst Anfragen sind nicht mehr isolierter Text, sondern verhalten sich wie Konfigurationen, die zusammengestellt, überprüft, versioniert und reproduziert werden müssen.
Das nimmt der LLM keineswegs die Fähigkeit zur Entscheidungsfindung. Wenn jede Entscheidung deterministisch formuliert werden könnte, hätte es wenig Sinn, ein agierendes System zu entwickeln. Entscheidend ist, zu bestimmen, wo der Nichtdeterminismus nützlich ist und wo nicht.
Deshalb wirken diese Systeme zunehmend wie Backend-Engineering mit einer neuen Art von Komponente. Die LLM bietet innerhalb der Grenzen Flexibilität, während die Softwareentwicklung diese Grenzen festlegt.
Das beste agierende System ist nicht das, in dem die Agenten am meisten tun können, sondern das, in dem sie genau die Freiheit haben, die sie benötigen.
Verwandte Literatur
- Praktische Anmerkungen: Google ADK erklärt – Aufbau von Multi-Agenten-Systemen mit — Detaillierte Anleitung zu den Praktischen Anmerkungen: Google ADK erklärt – Aufbau von Multi-Agenten-Systemen mit: Verträge, Überprüfungen sowie Code-Blöcke für Teams, die dieses Muster einsetzen.
- LangGraph Multi-Agenten-Systeme: Supervisor, Subgraphen und Send — Vom einen überlasteten Agenten zu vielen: Supervisor-Routing, Fan-out und Fan-in, Subgraphen, map-reduce-basierte Verarbeitung sowie ein vollständiger Forschungshilfsassistent für Multi-Agenten-Systeme in LangGraph.