Entwurfsprinzipien für Workflows von Agenten für Produktionsingenieurteams
Entwurfsprinzipien für Workflows von Produktionsagenten: Abschlussverträge, ehrlicher Zustand, Genehmigungsübersichten, idempotente externe Aktionen, Nachverfolgung und Bewertungen.
Quellen: What building agents taught me about production engineering
Die Einbeziehung von Agenten in reale Geschäftsprozesse verändert die Fragen, die man sich stellt, bevor man einer Automatisierung vertraut. Woher stammen die Beweise? Was durfte das System ändern? Was passiert, wenn der Ablauf auf halbem Weg abbricht? Diese Fragen sind wichtiger als die Wahl des Frameworks – insbesondere dann, wenn marktreife Aufgaben wie Kundenrecherche, E-Mails, Inhalte und Nachfolgetätigkeiten mit Geschäftssystemen verbunden sind. Die unten aufgeführten Prinzipien stammen aus solcher Arbeit und richten sich an die nächste Entwicklungsschicht.
Stellen Sie sich eine gewöhnliche Anfrage vor: Eine Kontrolle durchführen, eine sinnvolle Nachricht verfassen und sie an einem Ort hinterlassen, an dem eine Person sie einsehen kann. Das Modell kann bei der Überprüfung und beim Schreiben helfen. Alles drumherum, also die Software, muss die Beweise aufbewahren, Überprüfungen verarbeiten und für alle Änderungen außerhalb des Arbeitsablaufs Verantwortung übernehmen. Die Erstellung eines Entwurfs kann bereits lange vor der Freigabe durch externe Stellen abgeschlossen sein, weshalb Beweise, Freigabeverfahren und Ergebnisse jeweils einer separaten Überprüfung bedürfen.
Bestimmen Sie vor der Auswahl eines Frameworks, was „erledigt“ bedeutet
Andere Arbeitsabläufe definieren die Abgeschlossenheit auf unterschiedliche Weise. Ein Kontoinformationsschreiben gilt als abgeschlossen, wenn ein Dokument zusammen mit seinen Quellen, einer Relevanzbeurteilung sowie einer Anmerkung zu noch unklaren Punkten gespeichert wurde. Ein Outreach-Workflow ist abgeschlossen, wenn der E-Mail-Dienstleister die vom Nutzer freigegebene Nachricht tatsächlich erhalten hat. Dabei handelt es sich um getrennte Zuständigkeiten, wobei keines davon anzeigt, dass der Empfänger die E-Mail geöffnet hat.
Sobald das festgehalten wurde, sieht der Ablauf anders aus. Die Recherche kann zu Recht zu zu wenigen Beweisen führen. Ein Entwurf kann erstellt werden, während seine Überprüfung noch aussteht. Eine externe Aktion kann vom Dienstleister angenommen werden, obwohl die endgültige Zustellung noch aussteht.
Lassen Sie das Modell das übernehmen, was eine Interpretation erfordert – wie beispielsweise die Auswahl einer guten Quelle, das Erkennen relevanter Kontexte oder die Erklärung einer Empfehlung. Lassen Sie den Code die Fälle durchsetzen, bei denen explizite Regeln gelten: erforderliche Felder, zulässige Tools und Ausführungsgrenzen. Ein Schema kann bestätigen, dass eine Quellenreferenz existiert, doch ob die Quelle die Behauptung stützt, erfordert weiterhin eine Überprüfung mit Beweisen.
Hier zeigt sich der Unterschied zwischen Workflows und Agenten. Anthropic betrachtet einen Workflow als im Voraus festgelegten Weg und einen Agenten als eine Konfiguration, in der das Modell die Richtung vorgibt. Ein einzelnes Produkt kann beides kombinieren, wodurch die eigentliche Frage lautet, wo Freiheit ihren Preis hat.
Lassen Sie den Zustand ausdrücken, was tatsächlich passiert ist
Das Datenmodell erfordert vor dem Ausbau des Workflows sorgfältige Planung. Ein Feld mit dem Namen status wird schnell unklar, wenn es Forschung, Überprüfung, Ausführung und Lieferung gleichzeitig beschreiben soll. Die Trennung dieser Aspekte hat praktische Vorteile. Wenn ein Entwurf gespeichert wird, aber die Benachrichtigung zur Überprüfung fehlschlägt, kann der nächste Schritt die Benachrichtigung erneut versuchen, ohne einen weiteren Entwurf zu erstellen, und jeder, der den Ablauf überprüft, kann beide Fakten erkennen.
Auch die Freigabe erfordert dieselbe Genauigkeit. In dieser Konfiguration ist sie mit der Aktion, dem Konto, dem Empfänger sowie dem gesamten Nachrichteninhalt verknüpft. Ein praktikabler Ansatz besteht darin, die Nutzdaten unveränderlich zu halten und aus einer kanonischen Version einen Digest zu erzeugen. Vor der Versendung vergleicht der Ausführende das, was er vorhat, mit dem, was freigegeben wurde, prüft Gültigkeitsdaten und aktuelle Rechte und sendet anschließend dieselben gespeicherten Nutzdaten. Der Digest erkennt lediglich Änderungen. Wer freigeben darf, ist eine Frage der Zugriffskontrolle.
Ein Modell darf sich nicht selbst freigeben, indem es approved: true zurückgibt. Die Anwendung protokolliert die Autorisierung über einen zuverlässigen Überprüfungsweg. Einige Aufgaben mit geringem Einfluss können stattdessen eine explizite Dauerregel verwenden; in jedem Fall sollte die Berechtigung weiterhin begrenzt und überprüfbar bleiben.
Ein logischer Eigentümer pro Ausführung
Framework wie LangGraph helfen dabei, über Zustände und Übergänge nachzudenken, während Werkzeuge für Workflows wie n8n Auslöser, Routing sowie vorhersehbares Datenverhalten handhaben. Eine andere Frage stellt sich, wenn die Arbeit die Laufzeitgrenzen überschreitet: Welcher Komponente obliegt die Verantwortung für die Ausführung?
In diesem Design ist ein logischer Eigentümer für die Planung, die Identifizierung einer Ausführung sowie den autoritativen Zustand verantwortlich. Ein delegierter Ausführungskontext erhält eine begrenzte Aufgabe und gibt eine strukturierte Ausgabe zurück, die vom Eigentümer überprüft wird, bevor der Workflow fortgesetzt wird. Das ist ein Anwendungsmodell, das nichts darüber aussagt, wie bestimmte Tools integriert werden.
Für ein Kontoinformationsschreiben könnte die Delegation den Kontoinhalt, die erlaubten Quellen, die Tool-Rechte, das Ausgabeschema sowie ein Zeit- oder Kostenvorhaben angeben. Die Rückmeldung sollte unterscheiden können zwischen einem abgeschlossenen Bericht, unzureichenden Beweisen, einem Toolfehler oder einer Erreichungsgrenze, damit der übergeordnete Workflow auf jedes Szenario reagieren kann, ohne den Schlusssatz der Antwort eines Modells als Steuersignal zu betrachten.
Die zugehörige Software ist das Agent-Framework: Code, der Kontext bereitstellt, Tools freigibt, die Ausführung verwaltet und den Fortschritt überwacht. Anthropics Arbeiten an langlaufenden Agenten liefern ein Beispiel dafür, wie explizite Fortschrittsdokumente dabei helfen, in späteren Sitzungen unvollendete Aufgaben aufzunehmen. Welche Dokumente aufbewahrt werden, hängt von der Aufgabe ab.
Der Zustand eines Geschäftsworkflows benötigt eine dauerhafte Aufzeichnung, die außerhalb des Chat-Modells gespeichert wird. In den Dokumenten von LangGraph wird zwischen dem gespeicherten Thread-Zustand und den über verschiedene Threads hinweg gespeicherten Daten unterschieden, wobei darauf hingewiesen wird, dass nur in der Speicherung vorhandene Checkpoints bei einem Neustart verloren gehen. Welcher Speicherbackend verwendet werden soll, ist eine Entscheidung der Betriebsabteilung. Der Kontext eignet sich zur Speicherung von in Erinnerung behaltenen Stilpräferenzen, während das Berechtigungssystem zur Verwaltung der aktuellen Autorisierungen dient. Eine heruntergeladene Seite oder eine wiederverwendbare Fähigkeit können eine Aufgabe informieren, dürfen jedoch niemals die Möglichkeiten der Aufgabe erweitern. Mehrere Worker können einem logischen Eigentümer dienen, sofern Koordinierungsmechanismen kollidierende Zustandswechsel verhindern.
Geben Sie jedem Schritt seinen eigenen Kontext
Forschung benötigt Zugang zu Quellen sowie einen Ort, um Zweifel zu notieren. Das Schreiben erfordert eine genehmigte Zusammenfassung, Beispiele für wirksame Nachrichten sowie Hausregeln. Wenn jedem Schritt der passende Kontext zur Verfügung steht, ist sein Verhalten einfacher zu beurteilen. Verschiedene Rollen können in einem Laufzeitumfeld definiert werden, ohne dass dadurch zusätzliche Agenten oder Infrastruktur erforderlich wären.
Eine Fähigkeit umfasst einen wiederholten Ablauf: Quellen, die überprüft werden müssen, welche Ausgabe erzeugt werden soll und wie diese bestätigt wird. Die Durchsetzung obliegt weiterhin dem Laufzeitumfeld durch Zugriff auf Tools und Ressourcenlimits. Dem Mitarbeiter in einer Fähigkeitsdatei mitzuteilen, keine Nachrichten zu senden, ist lediglich ein Ratschlag, während das Ausklammern der Sendungsbefugnisse aus seinen Händen eine tatsächlich gültige Beschränkung darstellt.
Auch Haufen von Fähigkeiten und Einstellungen müssen regelmäßig überprüft werden. Zwei sinnvolle Anweisungen können aufeinandertreffen, wenn sie gemeinsam geladen werden. Nach einem Ablauf kann ein Agent einen Speicheraktualisierungsvorschlag machen, doch seine Selbstbewertung beweist keine Verbesserung. Eine Korrektur sollte ihre Herkunft, einen geeigneten Umfang sowie eine Bewertung enthalten, bevor sie Verhaltensweisen verändert, die auch andere teilen.
Behandeln Sie externe Aktionen als ihr eigenes Ausführungsproblem
Beschreiben Sie die Effekte von Tools genau. Das Erstellen eines lokalen Artefakts, das Anfertigen eines Entwurfs beim Anbieter sowie das Senden einer Nachricht sind drei Operationen, jede mit ihren eigenen Berechtigungen. Adapter sollten Anbieterantworten in explizite Statusangaben umwandeln, und Integrationstests sollten den daraus resultierenden Zustand des Anbieters überprüfen.
Für Schreibvorgänge mit Folgen sollte der Zugriff über einen Ausführungsdienst geleitet werden, der in letzter Minute vor der Ausführung die Autorisierung überprüft. Anmeldeinformationen und Netzwerkpfade müssen dies unterstützen, denn eine Überprüfung in einem Hilfsprogramm nützt wenig, wenn ein anderes Skript mit denselben Anmeldeinformationen auf den Anbieter zugreifen kann.
Die Wiederherstellung fällt am schwierigsten aus, wenn keine Antwort zurückkommt. Stellen Sie sich vor, der Anbieter nimmt eine Nachricht entgegen und die Verbindung bricht ab, bevor der Prozess das Ergebnis speichern kann. Der Prozess weiß, dass er es versucht hat, kann aber nicht erkennen, ob ein erneuter Versuch zu Doppelungen führen würde. Verwenden Sie für die Aktion über mehrere Versuche hinweg eine einzige Identität und geben Sie jedem Versuch eine eigene. Wenn ein Anbieter Idempotenz unterstützt, stützt er sich auf einen stabilen Schlüssel pro vorgesehener Operation, wobei die Garantie aus dem Vertrag dieses Anbieters stammt. In den Dokumentationen von Stripe wird beispielsweise erklärt, wie Parameter verglichen werden und wie lange Schlüssel gültig sind; die Wiederverwendung eines abgelaufenen Schlüssels kann zu einer neuen Anfrage führen.
Falls es eine zuverlässige Statusabfrage gibt, nutzen Sie diese. Wenn der Anbieter sichere Wiederholungsversuche für denselben Schlüssel und die gleiche Payload verspricht, kann ein erneuter Versuch das Problem lösen. Sollten beide Methoden fehlschlagen, dokumentieren Sie das Ergebnis als unbekannt und klären Sie die Angelegenheit oder wenden Sie sich an einen Menschen. Eine Abfrage, die nichts findet, ist kein Beweis dafür, dass die Aktion nie ausgeführt wurde, insbesondere wenn die Daten des Anbieters verzögert bereitgestellt werden können. AWS’ Erläuterungen zu sicheren Wiederholungsversuchen begründen die Notwendigkeit, die Identität der Anfragen in den API-Vertrag aufzunehmen, damit die Client-Überwachung und das Verhalten des Anbieters übereinstimmen.
Eine transaktionale Ausgabeschlange verhindert, dass eine bestätigte Aktion zwischen dem Schreiben in die Datenbank und der Übermittlung verschwindet, kann aber allein nicht verhindern, dass ein Anbieter eine wiederholte Anfrage ausführt. Ein Checkpoint ermöglicht ebenfalls die Wiederaufnahme der lokalen Arbeit, kann jedoch ein unbekanntes externes Ergebnis nicht lösen. Nach einem unklaren Timeout kann das Ergebnis eine unterstützte Abfrage, ein Ereignis oder eine dokumentierte idempotente Wiederholung sein. Eine lokal generierte Aktion-ID macht eine API nicht idempotent.
Messung an den Grenzen
Toolaufrufe sind ein guter Ort, um das Verhalten von Agenten zu beobachten. Die Trace sollte die Ausführung, die Revision des Artefakts, die Autorisierungsentscheidung sowie jeden externen Versuch miteinander verknüpfen. Erfassen Sie Tool-Argumente und -Ergebnisse selektiv, unter Verwendung von Redaktionseinstellungen und Zugriffskontrollen – denn das Speichern jedes Rohdatenpakets erzeugt eigene Probleme.
Die Dokumentation muss praktische Fragen beantworten. War das Forschungsmaterial nutzbar? Hat die Validierung den Entwurf abgelehnt? Wartet der Vorgang auf einen Prüfer oder ist die Benachrichtigung fehlgeschlagen? Wurde die Aktion angenommen, abgelehnt oder unerledigt gelassen?
Auch die Bewertung wird durch diese Unterscheidungen verbessert. Für einen Arbeitsablauf sollten zunächst alltägliche Beispiele sowie eine kleine Anzahl schwieriger Fälle herangezogen werden:
- Die Quellen sind uneinig, und der Auftrag muss diese Uneinigkeit beibehalten.
- Die Nachricht wird nach der Freigabe bearbeitet, was eine erneute Autorisierung für die Ausführung erfordert.
- Derselbe Auftrag kommt zweimal an und darf keine zwei separate Aktionen erzeugen.
- Der Anbieter führt die Aktion aus, danach bricht die Verbindung ab – daher muss die Wiederherstellung das einhalten, was der Anbieter bei erneuten Versuchen tatsächlich garantiert.
Reservieren Sie deterministische Überprüfungen für Aspekte wie gültige Schemata und übereinstimmende Genehmigungen. Für die Relevanz sowie die Qualität der Belege, die eine Behauptung stützen, verwenden Sie eine definierte Bewertungskriterienliste sowie überprüfte Beispiele. Die Bewertung durch ein Modell kann hilfreich sein, vorausgesetzt Sie prüfen, inwieweit es dem menschlichen Urteilsvermögen entspricht. Anthropics Bewertungsempfehlungen trennen die aufgezeichnete Ausführung eines Agenten vom Endzustand der Umgebung und empfehlen, Versuche zu wiederholen, da Agenten jedes Mal anders handeln können. Diese Ansätze eignen sich gut zur Überprüfung eines gesamten Workflows.
Bei einem Entwurfsworkflow sollten Sie beachten, wie oft Entwürfe unverändert akzeptiert werden, wie viel Zeit die Prüfer aufwenden sowie die Gesamtkosten pro akzeptiertem Ergebnis – wobei auch fehlgeschlagene Versuche in diese Kosten einfließen. Auch die Abdeckung ist wichtig: Wie viele geeignete Anfragen nützliche Ergebnisse lieferten. Wenn man diese Überprüfung überspringt, kann ein System durch das Ablehnen schwieriger Aufgaben den Anschein von Stabilität erwecken.
Veröffentlichen Sie das Verhalten als eine Einheit
Durch die Anpassung eines Prompts kann sich das Verhalten bei der Ausführung ändern, obwohl das Containerbild unverändert bleibt. Daher benötigt jede Veröffentlichung ein Manifest, das die Codeversion mit dem Workflow, den Prompts, den Schemata, den Tool-Adaptern, den Modell-Einstellungen sowie der Berechtigungsrichtlinie verknüpft. Jede Ausführung dokumentiert die unter der jeweiligen Veröffentlichung durchgeführte Version. Dadurch wird eine Untersuchung möglich, obwohl eine genaue Wiederholung nicht garantiert werden kann, da Modelle sich entwickeln, Anbieter wechseln und Quelldaten verschwinden können. Das Aufbewahren der relevanten Eingabeversionen oder zulässiger Snapshots hilft anschließend dabei, die Ergebnisse zu erklären.
Arbeiten, die über einen längeren Zeitraum laufen, bringen ein weiteres Problem mit sich: Ein alter Checkpoint passt möglicherweise nicht mehr zu einem neueren Zustandschema. Eine Bereitstellung muss explizit entscheiden, ob diese Ausführungen mit der alten Version abgeschlossen, migriert oder zur Überprüfung gestoppt werden sollen. Ein Rücksetzen nur des Worker-Bildes führt möglicherweise nicht zu einem kompatiblen Verhalten.
Die Ausführung wird an den entscheidenden Punkten neu gestartet: direkt nach dem Speichern eines Artefakts, während eine Überprüfung aussteht, sowie auf beiden Seiten der Versandvorbereitung. Wenn es mehrere Mitarbeiter gibt, kann die Datenbank veraltete Schreibvorgänge durch bedingte Aktualisierungen oder Schutzmechanismen abweisen. Das Verhindern von Duplikaten außerhalb des Systems hängt weiterhin davon ab, wie die Ausführung gestaltet ist, sowie vom Vertrag des Anbieters.
Eine erste Implementierung kann bescheiden ausfallen: Ein Service, eine dauerhafte Datenbank und ein Hintergrundprozess reichen bereits aus. Getrennte Anmeldeinformationen, begrenzte Wiederholungsversuche sowie ein Abschaltmechanismus für neue externe Schreibvorgänge sind vor einer großen Clusterstruktur erforderlich. Kubernetes lohnt sich, wenn seine Planungs- oder Betriebsfunktionen eine von Ihnen ermittelte Anforderung erfüllen.
Bleiben Sie bei einem Workflow, bis Sie ihn verstehen
Agent-Produkte verändern ständig, was kostengünstig erstellt werden kann, und es lohnt sich, sie zu erkunden. Dennoch ist es sinnvoll, konsequent genug zu bleiben, um die durchgeführte Arbeit zu verstehen. Für Account-Beschreibungen oder die Sortierung von E-Mails sollten Eingaben, nützliche Ausgaben sowie Überprüfungsgrenzen konstant bleiben, während die Implementierung verbessert wird. Ein neues Modell oder eine neue Laufzeitumgebung kann anschließend anhand identischer Beispiele, Berechtigungen und Wiederherstellungsanforderungen beurteilt werden.
Der Einsatz eines anderen Tools wird zu einer konkreten Frage: Kann es einen Übergang klarer darstellen, die Arbeit der Überprüfer reduzieren oder unterbrochene Arbeiten mit weniger manuellen Schritten wieder aufnehmen – und rechtfertigt das die Migration sowie die anschließende Wartung? Das ist die Beurteilung, die man beibehalten sollte: Entscheiden, wo die Überlegungen ihre Kosten rechtfertigen, die Zuständigkeiten klar definieren und genügend Beweise sammeln, um zu wissen, was nachdem das Modell nicht mehr funktionierte, geschah.
Verwandte Artikel
- LangGraph-Konzepte in einfachen Worten: Zustand, Speicher und Orchestrierung — Bevor man Code schreibt: Was Orchestrierung, Laufzeitumgebung, zustandsbasierte Agenten, kurzfristiger und langfristiger Speicher sowie mehrere Agenten und der Mensch im Prozess in LangGraph bedeuten.
- Von Prototyp bis Produktion mit Agents CLI: Ein Agent für die Genehmigung von Ausgaben — Erstellen, testen, bewerten und in Cloud Run mit Agents CLI ein ADK-Agent bereitstellen, wobei unterwegs Themen wie Tracing, Logging in BigQuery, CI/CD sowie RAG-Erweiterungen behandelt werden.