Überprüfung dessen, was KI-Agenten tun: Berechtigungen, Genehmigungsschwellen und Risikostufen

In den letzten Jahren ging der größte Teil der Bemühungen im Bereich generativer KI darin auf, bessere Fragen zu stellen. Da Modelle nun in der Lage sind, Tools anzurufen und reale Systeme zu verändern, gewinnt eine andere Fähigkeit an Bedeutung: die Überprüfung dessen, was die KI tatsächlich getan hat. Dieser Artikel erklärt, warum eine falsche Aktion eine andere Art von Fehler darstellt als eine falsche Antwort, und bietet Ihnen ein praktisches Rahmenwerk zur Festlegung von Berechtigungen, zur Einbeziehung menschlicher Genehmigung sowie zur Abstimmung der Autonomie auf das Risiko, wenn Sie Agenten entwickeln oder einsetzen.

Von Systemen, die antworten, zu Systemen, die handeln

Frühe Chat-Assistenten waren passiv. Sie stellten eine Frage, das Modell antwortete und Sie entschieden, was als Nächstes geschah. Ein Agent ändert diese Arbeitsteilung. Gegeben ein Ziel kann er die Anfrage interpretieren, Schritte planen, Tools aufrufen, Aktionen ausführen, die Ergebnisse prüfen und ohne auf Sie zu warten weitermachen.

Der Unterschied ist am leichtesten anhand einer alltäglichen Anfrage zu erkennen. Fragen Sie einen Chatbot, wie man eine unordentliche Menge an Ordnern strukturieren kann – Sie erhalten Ratschläge, die Sie befolgen oder ignorieren können. Geben Sie einem Agenten die Befugnis zur Organisation, kann er Verzeichnisse durchsuchen, Dateien umbenennen und verschieben, neue Ordnner erstellen, Einträge aktualisieren sowie das als Doppelte Erkannte löschen. Ein Chatbot empfiehlt eine Aktion; ein Agent führt sie aus. Genau dieser Unterschied ist der Grund, warum die Zuverlässigkeit neu überdacht werden muss, sobald Agenten ins Spiel kommen.

Warum eine falsche Aktion teurer ist als eine falsche Antwort

Wenn ein Modell Ihnen falsche Informationen liefert, haben Sie mehrere Möglichkeiten, dies zu erkennen. Möglicherweise bemerken Sie, dass etwas nicht stimmt, suchen erneut nach Informationen, vergleichen mit einer anderen Quelle oder ignorieren die Antwort einfach. Der Mensch steht zwischen der Ausgabe und allen möglichen Konsequenzen.

In einem autonomen Pipeline-System gibt es diesen Puffer nicht mehr. Der folgende Ablauf zeigt die typische Struktur: Das Agent liest etwas ein, trifft eine Entscheidung, ruft ein anderes System auf, ändert den Zustand und geht weiter. Beachten Sie, dass in der Kette nichts zur Überprüfung pausiert.

Reads information
↓
Makes a decision
↓
Calls another system
↓
Changes something
↓
Continues automatically

Ein Fehler im ersten Schritt breitet sich auf alle nachfolgenden Schritte aus. Eine falsch interpretierte Eingabe führt zu einer falschen Entscheidung, diese wiederum zu einem fehlerhaften API-Aufruf, was letztendlich zu einer veränderten Dateneintrag führt, den die nachfolgenden Schritte als wahren Wert betrachten. Deshalb verschiebt sich die wichtige Frage von der Fähigkeit eines Modells hin dazu, wie sicher es handeln darf.

Mindestberechtigungen: Begrenzen Sie, was das Agent erreichen kann

Betrachten Sie, wie Sie einen neuen Mitarbeiter aufnehmen würden. Am ersten Tag würden Sie ihm keinen unbegrenzten Zugriff auf Produktionsdatenbanken, Kundendaten, Finanzsysteme, den Quellcode sowie den Bereitstellungsprozess gewähren. Sie würden nur den Zugriff erteilen, der für seine Rolle erforderlich ist, und diesen im Laufe des Aufbaus von Vertrauen erweitern.

Agents verdienen dieselbe Behandlung. Gewähren Sie nur den Zugriff, der für eine Aufgabe notwendig ist, und trennen Sie bei Möglichkeit Lesen von Schreiben:

• Ein Agent, der Dokumente liest, benötigt keine Berechtigung, sie zu löschen.
• Ein Agent, der Quellcode analysiert, benötigt keine Berechtigung, Produktionsversionen bereitzustellen.
• Ein Agent, der E-Mails entwirft, benötigt keine Berechtigung, sie zu senden.

Die Regel ist einfach: Ein Agent erhält nur den Zugriff, den er für seine Aufgabe benötigt. In der Praxis bedeutet das in der Regel speziell entwickelte, eng gefasste Tools sowie kurz gültige Zugangsdaten anstelle eines allgemein einsetzbaren Tokens, sodass das Schlimmste, was ein verwirrter Agent tun kann, durch die Konzeption begrenzt ist und nicht von seinem Urteilsvermögen abhängt.

Menschliche Freigabe für wichtige Aktionen

Eines der wirksamsten Muster ist zugleich eines der einfachsten: Lassen Sie den Agenten die Arbeit erledigen, verlangen Sie aber von einer Person, entscheidende Aktionen vor deren Ausführung zu genehmigen. Die unten dargestellte Abfolge teilt den Prozess in eine von dem Agenten bearbeitete Vorbereitungsphase und eine Ausführungsphase auf, die erst beginnt, nachdem ein Mensch die vorgeschlagene Änderung überprüft und genehmigt hat.

AI identifies issue
↓
AI proposes solution
↓
AI prepares changes
↓
Human reviews
↓
Human approves
↓
System executes

Man behält den größten Teil der Geschwindigkeit, da der Agent weiterhin ermittelt, Vorschläge macht und vorbereitet, während die endgültige Entscheidung bei einer Person getroffen wird – genau dort, wo es zählt. Der Freigabeschritt funktioniert am besten, wenn der Agent ein konkretes, überprüfbares Ergebnis vorlegt, wie zum Beispiel einen Diff, eine Liste der zu ändernden Datensätze oder einen Entwurf einer Nachricht, anstatt nur eine vage Beschreibung der Absicht.

Nicht alles muss freigegeben werden, sonst beginnen die Prüfer aus Reflex, Dinge zu genehmigen. Die Zusammenfassung von hundert Dokumenten kann sicherlich unüberwacht durchgeführt werden. Für solche Aktionen sollte die Hürde deutlich höher liegen:

• Geldüberweisungen
• Löschung von Produktionsdaten
• Veröffentlichung von Inhalten öffentlich
• Einbetten von Software
• Änderung von Sicherheitsberechtigungen
• Kontakt zu Kunden aufnehmen

Falls Sie dieses Muster umsetzen, behandeln unsere Anleitungen zu Zustimmungsabhängige Agenten mit LangGraph-Unterbrechungen und Kontrollpunkten sowie zu Zustand, Zustimmung und Idempotenz für handelnde Agenten die zugrundeliegenden Mechanismen.

Verifizierung als zentrale Fähigkeit

Prompt-Engineering und in jüngerer Zeit auch Context-Engineering erhalten die meiste Aufmerksamkeit. Verifizierung verdient genauso viel Beachtung: Können Sie erkennen, ob das Ergebnis tatsächlich richtig ist?

Das hängt vom Fachwissen ab. Ein Entwickler muss in der Lage sein, generierten Code kritisch zu prüfen. Ein Finanzfachmann benötigt ausreichend Expertise, um generierte Berechnungen in Frage zu stellen. Ein Forscher muss überprüfen, ob die zitierten Quellen existieren und was darin behauptet wird. Ein Designer muss beurteilen, ob eine generierte Gestaltung das tatsächliche Problem löst. KI kann die Ausführung erheblich beschleunigen, doch eine schnelle Ausführung ohne Überprüfung bedeutet meistens, dass Fehler schneller entstehen.

Autonomie in Abhängigkeit vom Risiko

Die Frage „Kann KI vertraut werden?“ mit einer Ja-oder-Nein-Antwort zu stellen, ist unergiebig. Das Vertrauen sollte pro Aufgabe und in proportion zum möglichen Fehlerrisiko gewährt werden. Ein einfaches dreistufiges Modell ist ein guter Ausgangspunkt.

Niedriges Risiko: Lassen Sie es laufen

Das Zusammenfassen von Meetingnotizen ist ein gutes Beispiel. Der Schaden durch einen Fehler ist gering und leicht erkennbar, daher ist ein hohes Maß an Autonomie angemessen.

Mittleres Risiko: Automatisieren und anschließend überprüfen

Die Änderung einer Softwarefunktion ist ein typisches Fallbeispiel für dieses Risikoniveau. Der Agent kann die Änderung vornehmen, doch automatisierte Tests sowie eine Code-Überprüfung sollten das Ergebnis bestätigen, bevor es veröffentlicht wird.

Hohes Risiko: Explizite Autorisierung erforderlich

Eine Anfrage zur Überweisung von Geldern auf ein Konto gehört hierher. Eine strenge menschliche Autorisierung sollte unbedingt erforderlich sein, unabhängig davon, wie zuverlässig der Agent erscheint.

Das Prinzip lässt sich allgemeinisieren: Die Überprüfung sollte mit den Folgen eines Fehlers skaliern.

Mehr Autonomie bedeutet nicht automatisch etwas Besseres

Es ist verlockend anzunehmen, dass der am meisten autonome Agent auch der beste ist. Eine nützlichere Frage ist, welches Autonomielevel für diese spezielle Aufgabe geeignet ist. Nützliche Autonomiegrade bilden eine Hierarchie:

• Nur Vorschläge machen
• Die Arbeit für jemand anderen vorbereiten, der sie ausführt
• Nach Bestätigung ausführen

Arbeitet vollständig automatisch

Gut konzipierte Systeme platzieren jede Funktionalität auf der richtigen Ebene, anstatt alles nach oben zu drängen.

Fragen, die man stellen sollte, bevor man ein Tool verbindet

Entwickler verbinden Modelle nicht mehr nur mit einem Textfeld. Agenten werden zunehmend mit einer breiten Palette von Systemen verbunden, wie die unten aufgelisteten.

APIs
Databases
Browsers
File systems
Cloud infrastructure
Development tools
Business applications
External services

Jede Integration fügt eine Funktionalität hinzu – und damit auch eine neue Möglichkeit zum Scheitern. Neben der Frage, ob der Agent die Aufgabe erledigen kann, sollten Sie für jedes Tool, das Sie bereitstellen, folgende Fragen klären:

• Welche Daten und Systeme kann es erreichen?
• Welche davon kann es ändern?
• Falls es mitten in der Aufgabe ausfällt, welcher Zustand bleibt zurück?
• Gibt es eine Möglichkeit, das Getanene rückgängig zu machen?
• Wer genehmigt sensible Operationen?
• Wird jede Aktion auf eine Weise protokolliert, die später überprüft werden kann?
• Wie kann man das schnell stoppen?

Diese Antworten können genauso wichtig sein wie die Wahl des richtigen Modells. Eine nützliche Faustregel lautet, dass alles Unumkehrbare und Nicht protokollierte niemals ohne menschliche Einmischung zugänglich sein sollte.

KI-Kompetenz umfasst nun auch Risikobewusstsein

Dass man weiß, wie man Ergebnisse mit einem KI-Tool erzielt, reicht nicht mehr aus; man muss auch verstehen, wo diese Tools versagen. Das ist kein Grund zur Angst, sondern das, was einen kompetenten Nutzer von einem nachlässigen unterscheidet. Ein erfahrener Nutzer fragt nicht nur, ob eine KI etwas tun kann, sondern auch, ob sie das ohne Überwachung tun sollte.

Menschliches Urteilsvermögen, maschinelle Ausführung

Agenten ermöglichen es einer Person, Aufgaben zu erledigen, die früher ein Team erfordert hätten – in Bereichen wie Forschung, Analyse, Programmierung, Content-Erstellung, Automatisierung, Datenverarbeitung und Betrieb. Diese zusätzliche Fähigkeit bringt jedoch auch mehr Verantwortung mit sich. Eine praktikable Arbeitsteilung sieht so aus:

• Menschen definieren die Absicht.
• Der Agent übernimmt die Ausführung.
• Das umgebende System setzt Grenzen durch.
• Menschen überprüfen die wichtigen Ergebnisse.

Kernpunkte

• Die erste Welle der generativen KI drehte sich um den Umgang mit Maschinen; das Zeitalter der Agenten geht darum, Aufgaben an sie zu delegieren, wobei diese Delegation auf Vertrauen, Grenzen, Überprüfung und Rechenschaftspflicht beruht.
• Fehler in autonomen Workflows kumulieren sich, daher sollte man auf Eindämmung achten: geringste Berechtigungen, rückgängige Aktionen und vollständige Protokolle.
• Lassen Sie menschliche Genehmigungen für bedeutende, schwer rückgängig zu machende Aktionen erforderlich sein und erlauben Sie niedrigriskante Aufgaben, unüberwacht abzulaufen, damit Überprüfungen weiterhin sinnvoll bleiben.
• Die entscheidende Frage verschiebt sich von dem, was KI leisten kann, zu dem, was man ihr eigenständig erlauben sollte – eine gute Beantwortung dieser Frage wird zu einer zentralen ingenieurtechnischen Fähigkeit.