Warum die meisten KI-Agenten nach einer Sitzung sterben und wie langanhaltende Agenten überleben

Warum so viele Agenten als vorübergehend empfunden werden

Jeder, der bereits ChatGPT, Claude oder einen anderen tool-basierten Agenten verwendet hat, kennt den üblichen Ablauf:

1. Man gibt ein Ziel vor.
2. Der Agent macht sich an die Arbeit.
3. Er ruft einige Tools auf.
4. Das Gespräch wird länger.
5. Die Antworten werden schlechter, oder die Sitzung endet einfach.

Das ist die typische Erfahrung mit Chat-Agenten. Sie eignen sich für kurze Aufgaben und versagen, wenn die Arbeit über Stunden oder Tage andauert.

Ein langlaufender Agent macht über einen viel längeren Zeitraum – sei es Stunden, Tage oder Wochen – kontinuierlich Fortschritte und verliert seine Arbeit nicht, wenn der Kontext voll wird oder der Prozess neu gestartet wird. Hier wird die Idee von Grund auf erläutert, gefolgt von den Prinzipien, die ihren Erfolg ermöglichen.

Einfach anfangen: Was ein langlaufender Agent ist

Ein gewöhnlicher Agent ist wie jemand, der in einem einzigen Besprechungszimmer arbeitet und alles vergisst, sobald er es verlässt. Ein langlaufender Agent verhält sich eher wie eine Person, die:

• einen Notizblock führt, der einen dauerhaften externen Zustand darstellt;
• den Fortschritt aufschreibt, was einer Checkpoint-Funktion entspricht;
• vorübergehend weggehen und später zurückkehren kann, was Session-Persistence bedeutet;
• genau da weitermacht, wo sie aufgehört haben, was dem Wiederaufnehmen vom letzten Zustand entspricht.

In technischen Begriffen kann ein solcher Agent mehrere Kontextfenster überstehen, Neustarts und Abstürze überdauern (Fehlertoleranz), strukturierte Informationen in Form von Artefakten und Session-Logs hinterlassen und ohne Neustart fortfahren.

Den Zustand außerhalb des Modells zu speichern und sauber daraus wiederherzustellen, ist ein zentraler Bestandteil dessen, was man als Harness-Engineering bezeichnet.

Die drei Wände

Fast jeder langlaufende Agent stößt auf dieselben drei Probleme.

1. Begrenzter Kontext. Jedes Modell verfügt über ein begrenztes Kontextfenster, und selbst große Fenster füllen sich. Wenn es voll ist, werden ältere Informationen entfernt oder komprimiert, wodurch die Entscheidungen des Agents schlechter werden. Dies wird oft als Kontextverfall bezeichnet.
2. Kein persistentes Zustand. Eine neue Sitzung beginnt in der Regel mit leeren Speichern. Da es keine externe Speicherung für den Fortschritt gibt, ist jedes Neustarten wie die Einstellung eines neuen Mitarbeiters, der nichts über die Vorgeschichte des Projekts weiß.
3. Schwache Selbstüberprüfung. Modelle neigen zum Optimismus. Wenn gefragt wird, ob die Arbeit abgeschlossen ist, sagen sie oft ja, obwohl sie nur teilweise fertig ist. Ohne externe Überprüfung wird unvollendete Arbeit als abgeschlossen markiert.

Diese drei Faktoren erklären, warum einfache Agenten nicht langfristig zuverlässig arbeiten können.

Von Grundlagen zu nützlichen Mustern

Sobald die Hindernisse beseitigt sind, stellt sich die Frage, wie die Menschen sie überwinden können. Vier grundlegende Muster tauchen immer wieder auf.

• Checkpoint und Wiederaufnahme. Der Agent speichert in regelmäßigen Abständen den Fortschritt in einer strukturierten Form. Fällt etwas aus, startet er von dem letzten funktionierenden Checkpoint statt vom Anfang neu.
• Externe Speicherung. Wichtige Informationen befinden sich außerhalb des Kontexts des Modells – in Dateien, einer Datenbank oder einem Session-Speicher – und der Agent liest sie zu Beginn jeder neuen Sitzung ein.
• Mensch im Prozess. Bei wichtigen Entscheidungen pausiert der Agent, wartet auf die Genehmigung oder Ablehnung durch einen Menschen und setzt anschließend fort. Dies muss sorgfältig gestaltet werden, damit der Zustand während des Wartens nicht veraltet.

Getrennte Rollen. Anstatt dass ein einziger großer Agent alles erledigt, teilen Systeme die Aufgaben oft auf: Ein Teil plant, ein anderer führt aus und ein weiterer überprüft die Qualität. Dadurch sinken die Chancen auf Verwirrung oder Überheblichkeit. Dies wird in der Regel als Mehr-Agenten- oder Unter-Agenten-Setup bezeichnet.

Allein betrachtet sind diese Muster einfach, doch zusammen sind sie äußerst mächtig.

Ein mentales Modell

Ein nützliches Bild: Das Modell ist das Gehirn, die Werkzeuge sind die Hände, und das Sitzungslog zusammen mit dem externen Zustand bilden das überlebende Gedächtnis.

Falls Gehirn und Hände an einen einzigen vorübergehenden Prozess gebunden sind, stirbt das System mit ihm. Wenn das Gedächtnis außerhalb liegt, kann ein neuer Prozess starten, das Gedächtnis lesen und fortfahren. Das ist der Kern der architektonischen Veränderung.

Was möglich wird

Sobald die Agenten länger überleben, eröffnen sich neue Arten von Aufgaben:

• Forschung, die mehrere Tage dauert;
• große Code-Migrationen;
• kontinuierliche Überwachung sowie Hintergrundarbeiten;
• Workflows, die zur Hälfte eine menschliche Genehmigung benötigen;
• Teams von Agenten, die im Laufe der Zeit koordinieren.

Kurzlebige Chat-Agenten sind gut darin, Fragen zu beantworten. Langlaufende Agenten werden nützlich, um tatsächliche Ergebnisse zu erzielen.

Von der Demo zur Produktion

Die meisten Demos enden an diesem Punkt, und die eigentliche Entwicklung beginnt. Fünf Muster spielen dabei eine entscheidende Rolle.

1. Checkpoint und Wiederaufnahme

Das ist das wichtigste Muster, denn der häufigste Fehler bei langen Aufgaben ist der Verlust des Fortschritts. Stellen Sie sich einen Agenten vor, der 200 Dokumente verarbeitet hat und beim 201. auf einen Fehler stößt. Ohne Checkpoint, also ohne Abbild des Speichinzustands oder des Prozesszustands, geht die gesamte Arbeit verloren. Viele Agenten reagieren darauf, den gesamten Prozess neu zu starten, was viele Token verbraucht.

Ein gutes System speichert in regelmäßigen Abständen dauerhaften Fortschrittsbericht und protokolliert:

• Was bereits abgeschlossen ist;
• Was noch aussteht;
• Alle wichtigen Zwischenergebnisse.

Nach einem Neustart liest der Agent das letzte Checkpoint und setzt von dort aus fort. Diese eine Gewohnheit beseitigt einen großen Teil an Anfälligkeit und spart außerdem Tokens.

2. Speicher außerhalb des Modells

Es gibt in der Regel zwei Arten:

• Der Arbeitsgedächtnis ist das, was der Agent im aktuellen Kontext sofort benötigt.
• Das dauerhafte Gedächtnis muss eine Sitzung überdauern und wird extern gespeichert.

Das dauerhafte Gedächtnis kann in strukturierten Dateien wie progress.txt, plan.json oder notes.md, in einer Datenbank, in einem Session-Store oder in einem spezialisierten Speicherdienst vorhanden sein. Das Prinzip ist einfach: Das Modell kann vergessen, das System darum herum jedoch nicht.

3. Generierung und Bewertung getrennt halten

Modelle bewerten ihre eigene Arbeit ungerecht und neigen dazu, zu großzügig zu sein. Eine gängige und wirksame Lösung besteht darin, die Rollen aufzuteilen, sodass eine Seite die Arbeit erstellt und eine andere beurteilt, ob sie gut genug ist. Dabei können es zwei verschiedene Modelle sein oder ein und dasselbe Modell, das in zwei Modi mit unterschiedlichen Anweisungen verwendet wird. Entscheidend ist, dass die Fertigstellung nicht allein vom Ersteller entschieden wird.

Eine häufige Struktur besteht aus einem Supervisor oder Planer, anschließend aus Aufgabenspezialisten als Arbeitern und schließlich aus einem Urteilsgeber, der für die Verteilung und Koordination zuständig ist. Das nächste Muster erläutert dies ausführlicher.

4. Korrekte menschliche Freigabe

Viele Systeme behaupten, eine Freigabefunktion zu unterstützen, implementieren sie aber schlecht. Die schwache Variante speichert etwas JSON, sendet eine Benachrichtigung, hofft auf eine Antwort eines Menschen und versucht später, mit oft veralteten Daten fortzufahren.

Die bessere Version betrachtet die Pause als Teil des Arbeitsablaufs selbst. Der Agent erreicht einen klaren Entscheidungspunkt, speichert seinen Zustand ordentlich ab und wartet. Wenn die Person antwortet, setzt der Agent seine Arbeit fort, da er genau weiß, warum er pausiert hat. Dies ist besonders wichtig für Aktionen mit Konsequenzen, wie zum Beispiel das Ausgeben von Geld, das Ändern von Produktionsystemen oder das Senden von Nachrichten außerhalb der Organisation.

5. Koordination mehrerer Agenten

Wenn die Aufgaben zunehmen, wird es unübersichtlich, wenn ein einziger Agent alles erledigen muss. Eine straffere Organisation teilt die Verantwortung auf:

• Planer untersuchen das Problem und teilen es in Aufgaben auf;
• Arbeiter führen fokussierte Aufgaben aus;
• Urteiler entscheiden, ob eine Iteration ausreichend gut ist.

Laut Berichten hat Cursor nach gescheiterten früheren Koordinationsversuchen zu diesem Ansatz übergegangen. Dadurch wird das Chaos verringert und verhindert, dass die Agenten sich gegenseitig behindern.

Wie eine Produktionsumgebung aussieht

Eine realistische Umgebung weist in der Regel drei Schichten auf:

1. Agentenlogik, also die Anfragen, Tools und die Entscheidungsschleife.
2. Das Steuerungssystem, das für die Sitzungskontrolle, den Workflow-Management, Wiederholungsversuche und die Wiederherstellung zuständig ist.
3. Verwaltete Grundkomponenten, darunter dauerhafter Speicher, Scheduling, langlaufende Tools, Ereignistreiger und Überwachungsfunktionen.

Google’s ADK beispielsweise bietet Bausteine für dauerhafte Sitzungen, eine Ausführung, die auch nach Neustarts weiterläuft, sowie treiberbasierte Ereignisse. Damit kann ein Agent lange Zeit inaktiv bleiben und danach weiterhin korrekt arbeiten. Anthropic betont in seinen Schriften über Steuerungssysteme, dass das „Gehirn“, also das Modell und seine Schleife, vom „Handwerk“, also den Ausführungsumgebungen, sowie von der „Sitzung“, also dem dauerhaften Ereignisprotokoll, getrennt werden sollte.

Die Anbieter verwenden unterschiedliche Bezeichnungen, doch das Konzept bleibt dasselbe: Zustand und Wiederherstellung müssen außerhalb eines einzelnen temporären Prozesses liegen.

Entwurfsregeln, die helfen

Diese Gewohnheiten machen Systeme zuverlässig widerstandsfähiger:

• Schreiben Sie wichtige Fortschrittsinformationen stets auf dauerhaften Speicher.
• Wählen Sie strukturierte Formate wie JSON, Markdown-Logs und Aufgabenlisten statt Texte, die nur im Arbeitsspeicher als gewöhnlicher Prosa gespeichert werden.
• Betrachten Sie Ausfälle als normal und planen Sie darauf vor.
• Machen Sie die Wiederaufnahme des Standardweges zur Regel und nicht zu einem Sonderfall.
• Wenn Qualität wichtig ist, halten Sie den Ersteller und den Bewerter getrennt voneinander.
• Verwenden Sie Komprimierung oder Zusammenfassung, wenn der Kontext zu groß wird.
• Entwerfen Sie Genehmigungspunkte absichtlich, anstatt sie später hinzuzufügen.

Kleine Entscheidungen summieren sich. Eine gute Strategie zur Erstellung von Checkpoints kann einen mehrtägigen Ablauf retten und sowohl Zeit als auch Ressourcen sparen.

Verbleibende Grenzen

Auch bei guter Architektur bleiben strenge Grenzen bestehen:

• Kosten. Lange Laufzeiten verbrauchen viele Token.
• Sicherheit. Ein System, das länger läuft, hat eine größere Angriffsfläche.
• Abweichung von der ursprünglichen Absicht. Im Laufe der Zeit kann der Agent allmählich von der ursprünglichen Intention abweichen.
• Überprüfung. Für bestimmte Qualitätsaspekte ist weiterhin menschliches Urteilsvermögen erforderlich.

Die Rolle des Menschen verschwindet nicht – sie ändert sich. Anstatt jeden Schritt selbst auszuführen, definieren Menschen Ziele, legen Einschränkungen fest, prüfen entscheidende Entscheidungen und kümmern sich um Ausnahmen, die das System nicht sicher bewältigen kann.

Was bleibt für Sie übrig

Kurze Chat-Agenten eignen sich für Fragen und kleine Aufgaben. Langlaufende Agenten sind geeignet für Arbeiten, die Zeit in Anspruch nehmen, über mehrere Sitzungen gehen oder realen Störungen standhalten müssen.

Der Wandel hat weniger damit zu tun, das Modell intelligenter zu machen, und vielmehr damit, das umgebende System widerstandsfähiger, wiederherstellbarer sowie ehrlicher bezüglich seines eigenen Fortschritts zu gestalten. Da solche Systeme als solche betrachtet werden, die der Zeit, Fehlern und Kontextbeschränkungen standhalten müssen, werden Agenten viel einfacher zu entwerfen. Agenten, die in der Lage sind, sinnvolle Aufgaben zu erledigen, stammen in der Regel aus Teams, die Ausdauer und Wiederherstellbarkeit in den Mittelpunkt des Designs stellen.

Verwandte Literatur

• Praktische Anmerkungen: Entwurf eines Caches für KI-Agenten – Einsatz in der Produktion — Detaillierte Anleitung zu den Praktischen Anmerkungen: Entwurf eines Caches für KI-Agenten – Einsatz in der Produktion: Verträge, Überprüfungen sowie Code-Blöcke für Teams, die dieses Muster einsetzen.

Warum Agenten, die in Demos beeindrucken, in der Produktion versagen – und was stattdessen entwickelt werden sollte — Versagungspunkte, der Kompromiss zwischen Einzel- und Mehr-Agenten-Systemen, Entwurfspraktiken wie Wiederholungsversuche und Fallback-Mechanismen sowie das vollständige Kostenbild für den Betrieb eines KI-Agenten abgesehen von Token-Gebühren.

Verwaltung von KI-Agenten mit dem CARE-Framework: Klarheit, Autonomie und mehr — Managementkonzepte lassen sich auf KI-Agenten übertragen. Erfahren Sie, wie Klarheit, Autonomie, Beziehungen und Gleichheit die Delegation, Agentenverträge, die Modellwahl sowie den Kontext beeinflussen, den Agenten benötigen.