Startseite / Artikel

Das Problem des kostenlosen Verifiers: Warum Agent-Loops zum Stillstand kommen, wenn die Arbeit kein Code ist.

Coding-Agent-Schleifen funktionieren, weil Compiler und Tests kostenlos überprüfen. Außerhalb des Codes gibt es keinen kostenlosen Überprüfer: vier Subventionen, Fehlerdaten und ein Oracle-Test.

Verlag: REACTAPP.TOP6 Min. Lesezeit1331 Wörter

Quellen: Loop Engineering for Enterprise Agents: The Free Verifier Problem

Viele Anbieter präsentieren das Konzept der Schleifenentwicklung als das, was auf die Prompt-Engineering-Technik folgt, und die Demonstrationen sind echt. Anstatt einen Programmieragenten manuell anzusprechen, wird eine Schleife um ihn herum erstellt. Diese Schleife wird nach einem Zeitplan ausgelöst, arbeitet in einer isolierten Branch, wird von einem zweiten Agenten bewertet und speichert ihren Zustand in einer Datei, sodass jeder Ausführungsvorgang von dem letzten fortgesetzt werden kann. Boris Cherny, der bei Anthropic für Claude Code verantwortlich ist, sagte, seine Aufgabe bestehe darin, solche Schleifen zu schreiben. Addy Osmani von Google gab diesem Muster einen Namen, und sowohl Claude Code als auch OpenAI Codex bieten nun dieselben sechs Grundfunktionen als integrierte Features an.

Es funktioniert – und das aus einem Grund, den die Verkäufer selten offen aussprechen. Dieser Grund lässt sich auf andere Arten von Arbeit nicht übertragen.

Code-Schleifen funktionieren, weil die Codebasis einen eigenen Überprüfer mitliefert. Compiler, Typprüfer und Testsets bewerten jeden Versuch sofort und nahezu kostenlos. Die Trennung zwischen Ersteller und Prüfer, die allgemein als Vertrauensmechanismus hinter der Schleifenentwicklung gilt, kostet im Softwarebereich sehr wenig, da bereits die Hälfte davon im Repository vorhanden war, bevor irgendein Agent auftauchte.

Verlagern Sie dieselbe Schleife in einen Antragsabwicklungsprozess, eine Beschaffungsfreigabe oder eine Kundenbehebung – dann gibt es keinen Überprüfer. Sie müssen ihn selbst erstellen, und kaum jemand budgetiert dafür. Er ist der beste Indikator dafür, ob ein Agentprogramm in der Pilotphase stecken bleibt.

Warum Code einfach ist und alles andere nicht

Von den sechs Schleifenprimitiven funktionieren nicht alle gleichermaßen gut. Geplante Ausführungen, Verbindungen, Fähigkeiten und Speicher lassen sich mit geringem Widerstand auf andere Bereiche übertragen. Zwei jedoch nicht.

Isolation steht an erster Stelle. Git-Worktrees pro Sitzung ermöglichen es Spotify, Dutzende von Agentensitzungen parallel auf einer Codebasis auszuführen, ohne dass die Agenten sich gegenseitig stören. Seine interne Entwicklungsumgebung für Agenten, Xirp, hat bereits über 36.000 Sitzungen bei Tausenden von Entwicklern erfasst, und gerade die Worktrees sorgen dafür, dass diese Parallelität sicher bleibt. Ein Generalledger verfügt nicht über git worktrees. Unternehmensagenten schreiben in gemeinsame Datensysteme, und wenn zwei Agenten gleichzeitig an derselben Entity arbeiten, handelt es sich um einen Vorfall der Dateneintegrität – nicht um einen Merge-Konflikt.

Überprüfung ist der zweite Schritt und zugleich der kostspieligste. Im Code wird die Frage „Hat das funktioniert?“ von einer Maschine innerhalb von Sekunden beantwortet. In einem Unternehmensworkflow handelt es sich dabei um eine Beurteilung, die oft erst nach Prüfung durch einen Menschen festgestellt werden kann – manchmal erst zum Monatsende oder gelegentlich erst, wenn eine Aufsichtsbehörde nachfragt. Claude Code bewertet die Ergebnisse mit einem separaten Modell, weil eine Selbstbewertung zu großzügig wäre. Das ist das richtige Design; außerhalb des Codes ist es der Teil, den man von Grund auf entwickeln muss.

Was die Produktionszahlen über Fehler aussagen

Hier sind die Belege nicht mehr bloß anekdotisch.

Die Telemetriedaten von Foundra, die 6.259 eingesetzte Agenten sowie etwa 4,5 Millionen Ausführungen umfassen, zeigen, dass die Erfolgsrate in der Praxis bei 56,6 % liegt – das sind rund 37 Punkte unter dem Referenzwert. Wiederholungen verschlimmern die Situation, und genau das tun Schleifen. In tau-bench sinkt die Leistung der Agenten, die bei einer einzigen Versuchsanordnung etwa 60 % erreichen, auf rund 25 %, wenn sie acht Mal in Folge erfolgreich sein müssen.

Auch die Statistiken aus dem „Funnel“-Modell bestätigen dies: 46 % der Konzeptionsbeispiele gelangen in die Produktion, 14 % werden in der gesamten Organisation eingeführt und etwa 5 % zeigen einen messbaren Einfluss auf Gewinn und Verlust. Gartner erwartet, dass bis Ende 2027 mehr als 40 % der Projekte im Bereich agierende KI abgebrochen werden.

Der Abbau an Ressourcen an sich ist nicht der interessante Aspekt. Entscheidend ist, wo die Fehler auftreten. Sie konzentrieren sich an den Schnittstellen: bei der Übertragung zwischen Schritten, bei unstrukturierten Eingaben und bei Blindstellen in der Überwachung – und nicht in der reinen Leistungsfähigkeit des Modells. Genau an diesen drei Stellen würde ein Compiler in einer Programmierschleife das Problem markieren, während es in Unternehmensschleifen keinen automatischen Bewertungsmechanismus gibt.

Eine weitere Zahl stammt aus einer Umfrage von LangChain unter über 1.300 Praktikern: 89 Prozent der Teams, die Agenten einsetzen, verfügen über Überwachungsfunktionen, doch nur 52 Prozent führen Offline-Bewertungen durch und 37 Prozent Online-Bewertungen. Fast alle überwachen, aber nur wenige bewerten. Eine überwachte, aber unbewertete Schleife korrigiert sich nicht selbst. Sie erzeugt weiterhin das, was sie bereits erzeugt hat – nur schneller –, wobei ein Dashboard beweist, dass sie weiterhin läuft.

Was eine Codebasis einer Schleife umsonst bietet

Jeder, der einen Schleifencode aus der IDE in einen Geschäftsprozess überträgt, sollte vier Aspekte berücksichtigen: Was git und der Compiler kostenlos zur Verfügung stellen, sowie was jeweils an Kosten entsteht, wenn es sich nicht um Code handelt.

1. Der Prüfmechanismus. Tests und der Compiler liefern bei jedem Ausführungsvorgang innerhalb von Sekunden ohne Kosten ein Ergebnis von „bestanden“ oder „fehlgeschlagen“. Außerhalb des Codes gibt es keinen Standard-Prüfmechanismus. Man muss einen solchen selbst erstellen, indem man eine benannte Bewertungsmenge erstellt – das bedeutet, dass eine Person entscheiden muss, was „korrekt“ ist, anhand von einigen hundert tatsächlichen Fällen, bevor der Schleifencode unüberwacht ausgeführt werden kann. Diese Kostenstelle wird oft weggelassen, obwohl sie darüber entscheidet, ob der Schleifencode funktioniert.

2. Rollback. Mit git revert kostet es nichts, eine falsche Aktion rückgängig zu machen – und genau diese Eigenschaft macht einen autonomen Programmieragenten akzeptabel. Ein versandtes E-Mail bleibt verschickt. Ebenso gilt das für eingestellte Tagebucheinträge oder eingereichte Anträge. Wenn Fehler Kosten verursachen, benötigt der Prozesssschleifen einen Kontrollpunkt vor der Aktion statt einer Nachbesserung danach, und die Entscheidung darüber, wo dieser Kontrollpunkt liegen soll, ist eine architektonische Entscheidung.

3. Isolation. Ein Worktree ermöglicht es vielen Agenten, in einem Repository zusammenzuarbeiten, ohne in Konflikt zu geraten. Systeme zur Datenspeicherung verfügen nicht über eine solche Funktion, weshalb die Isolation durch begrenzte Lizenzen, entity-spezifisches Verriegeln oder eine Zwischenschicht realisiert werden muss, in der der Agent schreibt, bevor etwas das echte System erreicht.

4. Herkunft. Jede Codeänderung ist ein Diff mit einem Autor und einer Historie, die Monate später von jemandem überprüft werden kann, der nicht dabei war. Enterprise-Looks schreiben oft über ein gemeinsames Service-Konto, wodurch der gesamte Ablauf auf „die Integration hat es erledigt“ reduziert wird. Mit der Umsetzung des EU AI Acts seit dem 2. August 2026 ist das mehr als nur ein betriebliches Ärgernis.

Nennen wir das das Problem des kostenlosen Verifizierers: Die Wirtschaftlichkeit der Loop-Engineerung hängt von vier Subventionen ab, die nur eine Codebasis zahlt.

Der Oracle-Test

Ein Schritt geht allen Architekturarbeiten voraus.

Bestimmen Sie, was den Abschluss der Arbeit signalisieren wird und wer die Kosten dafür trägt. Wenn beides nicht in einem Satz beantwortet werden kann, dann ist das, was Sie bauen, kein Loop – es handelt sich um einen Prozess, der unter dem Deckmantel der Autonomie ewig läuft.

Eine Person kann die Antwort sein. Dass ein erfahrener Schadensadjuster wöchentlich eine Stichprobe von 30 Fällen prüft, gilt als zuverlässige Quelle der Informationen, und das hat einen messbaren Preis. Wenn behauptet wird, der Agent prüfe sich selbst, reicht das nicht aus. Die Labore sind bereits darauf gestoßen, was erklärt, warum Claude Code ein separates Modell als Bewertungsmechanismus verwendet.

Eine haltbare Abfolge

Für Teams, die in großen Unternehmen agierende Frameworks entwickeln, hält diese Reihenfolge in der Regel auch dem Kontakt mit der Realität stand.

Wählen Sie den Workflow, der dem tatsächlichen Einsatz am nächsten kommt. Bevor Sie irgendeine Schleifenstruktur hinzufügen, schreiben Sie die Antwort der Quelle in einer Zeile nieder. Wenn das mehr als einen Satz erfordert, ist der Workflow noch nicht bereit – und keine Orchestrierungslösung wird das ändern.

Dann legen Sie Ihre Bewertungskriterien anhand des Verhältnisses 89/37 fest. Wenn Sie Dashboards haben, aber keine Online-Bewertungen, dann handelt es sich bei dem, was Sie besitzen, um einen Cron-Job sowie eine Überwachungskostenrechnung – nicht um einen Schleifenmechanismus. Fügen Sie einen Bewertungsmechanismus zum Freigabepfad eines Workflows hinzu und geben Sie ihm die Befugnis, Blockaden vorzunehmen. Ein Bewertungsmechanismus ohne diese Befugnis ist lediglich ein Bericht.

Zuletzt sollten Sie die vier Subventionen als Budgetposten betrachten und nicht als bloße Anmerkung im Design. Jeder Aspekt, den die Codebasis kostenlos bereitstellt, wird erst zu echter Ingenieursarbeit, wenn die Arbeit nicht mehr aus Code besteht – und die Ignorierung dieses Aspekts erklärt den größten Teil der Lücke zwischen den 46 Prozent, die in die Produktion gelangen, und den 5 Prozent, bei denen eine Auswirkung auf Gewinn und Verlust sichtbar wird.

Die Schwierigkeit liegt nicht im Schleifenmechanismus selbst. Die eigentliche Schwierigkeit besteht darin, festzulegen, wann die Arbeit als abgeschlossen gilt – obwohl der Code nie dazu geführt hat, sie tatsächlich zu erstellen.