Wer ist für einen KI-Agenten in Ihrem Unternehmen verantwortlich: Sechs Aufgaben und ihre Verantwortlichen

Die interne Prüfung fällt außerhalb dieser Liste, da in SR 26-2 festgelegt ist, dass sie im Allgemeinen keine doppelten Aktivitäten im Bereich Modellrisiken durchführt. Mehrere unten aufgeführte Unternehmen (Kaiser Permanente, Thomson Reuters, Morgan Stanley) nutzen Tools zur Erstellung und Abrufung von Inhalten anstelle vollständig autonomer Agenten, was sie zu den nächsten verfügbaren öffentlichen Entsprechungen macht.

Unternehmensinhaber: Genehmigung dessen, was der Agent tun darf

Diese Genehmigung umfasst den Umfang der Tätigkeiten, finanzielle Schwellenwerte sowie die Kunden, die der Agent nicht betreten darf – wobei dies nach dem Risikoniveau, wie in dem Vorschlag aus Singapur, gestuft wird. Zudem beinhaltet sie die Finanzierung des Systems sowie dessen schrittweise Abschaltung. Banken verfügen über einen teilweisen Präzedenzfall für diese Rolle innerhalb des Unternehmens. Laut dem Prüferhandbuch der OCC aus dem Jahr 2021 lag die Verantwortung für das Modell in der Regel in der jeweiligen Geschäftseinheit gemäß SR 11-7, obwohl das nicht überall der Fall war, und die Überarbeitung von 2026 strich diese Rolle, ohne etwas an ihre Stelle zu setzen.

Der praktische Argument ist stärker als das Präzedenzfallprinzip. Jede Entscheidung bei dieser Genehmigung – sei es ein Schwellenwert, ein ausgeschlossener Kundensegment oder ein Ablaufdatum – bringt Einnahmen oder Dienstleistungen im Tausch gegen Risiken. Nur die Person, die für das Endergebnis verantwortlich ist, kann diesen Tausch vornehmen und dafür haftbar gemacht werden. Die Person, die diese Position innehat, benötigt sowohl das Budget als auch die Befugnis, Entscheidungen rückgängig zu machen – und nur der Geschäftsinhaber besitzt beides: Risiken können das aufhalten, was sie nicht finanzieren können, während die Ingenieure das bauen können, was sie nicht aufhalten können. Wenn man diese Position dem Bauherren überlässt, könnte dieser seinen eigenen Umfang genehmigen, und wenn man sie dem Risikomanagement überlässt, gäbe es niemanden, der für die Vorteile verantwortlich wäre. Singapurs Formulierung weist in dieselbe Richtung, da dort der Schaden im Verhältnis zu den Geschäftszielen und den Interessen der Kunden definiert wird – und nur das Unternehmen kann bestimmen, was das sind. Hongkongs Leitlinien legen die Verantwortung beim Vorstand.

Architekt: Verantwortung für das Design

Das Design entsteht dort, wo der Agent aufhört und ein Mensch eingreift. Es umfasst den von dem Agenten befolgten Prozess, die Übergabepunkte an Personen sowie die Berechtigungen, die verhindern, dass es weitergeht. Die letzten beiden Elemente bilden gemeinsam die konkretisierte Handlungsgränze. Zwei Unternehmen haben die Übergabe an derselben Stelle platziert. Die Ärzte bei Kaiser Permanente bearbeiten einen Entwurf mit Ambient-Scribe, bevor er in die Krankenakte aufgenommen wird, und laut eigener Ankündigung lässt das Debrief-Tool von Morgan Stanley einen Berater eine Besprechungsübersicht bearbeiten, bevor etwas in die Kundendatenbank geschrieben wird. Ingenieure oder Lieferanten können das Berechtigungsmodell sowie die Benutzeroberfläche entwickeln. Dennoch behält der Architekt die Kontrolle, denn die Position dieser Grenze ist eine designbezogene Entscheidung, die unabhängig davon gelten muss, wer den Code schreibt.

Standardverantwortlicher: Erstellung der Richtlinien

Eine Bewertungskriterienliste ist die Checkliste, die angibt, was eine richtige Antwort enthält. Bei Thomson Reuters widmeten erfahrene Anwälte auf Partnerebene Monate der Erstellung von Bewertungskriterien für eine Suchanwendung. Zusammenfassend stellten sie fest, dass eine gute Antwort fünfzehn notwendige Komponenten aufweist, während eine plausibel erscheinende Antwort neun hat. Nur ein Anwalt kann zwischen fünfzehn und neun unterscheiden, was bedeutet, dass die Erstellung der Bewertungskriterien die Zeit eines Fachexperten in Anspruch nimmt und ein einziger Verantwortlicher erforderlich ist, da sich die Kriterien ändern, wenn mehrere Personen bewerten. Eine Forschungsarbeit zur Überprüfung von Tools zur Überprüfung von KI-Modellen ergab, dass sich die Kriterien bereits bei Beginn der Bewertung verschieben, und eine Studie von Shreya Shankar und Aditya Parameswaran zu Nutzern von Datenabfruhtools kam zu demselben Schluss, indem sie darauf hinwiesen, dass die Verantwortung für die Überprüfung beim Nutzer liegt.

Das Setzen von Standards und deren Überprüfung sind zwei unterschiedliche Aufgaben. Die Überprüfung, also der tägliche Zyklus aus Bewertungen und Fehleranalyse, liegt in den Händen der Ingenieure und Datenwissenschaftler. Sie entwickeln die Bewertungskriterien, erstellen die notwendigen Tools (den Code, der die Testfälle über den Agenten ausführt und die Ergebnisse bewertet) und analysieren die auftretenden Fehler. Der Validator prüft anschließend die Abdeckung sowie die Kalibrierung der Bewertungskriterien, ohne die Tests des Build-Teams erneut auszuführen.

Operationen: Kontinuierliche Funktionsfähigkeit

Nach dem Start besteht die Arbeit aus der Überwachung der Abdeckung, der Priorisierung von Alarmen, dem Herunterfahren und Wiederherstellen, dem Neuausführen des Regressionstests (der Testfälle, die nach jeder Änderung erneut ausgeführt werden) sowie der Überwachung der Nutzung und Kosten. Ein Mitarbeiter aus dem Geschäftsbereich nimmt an der Schichtrotation teil, da bestimmte Alarme geschäftliche Entscheidungen betreffen. Zeitplanung, Schweregrade und Eskalationsprozesse liegen in der Verantwortung des Operations-Leiters, der ein Ingenieur ist.

Validierer: Überprüfung vor dem Start

Die Überprüfung durch den Validierer umfasst drei Teile. Er prüft auf Prompt-Injection (böswillige Anweisungen, die in dem Material platziert werden, das der Agent liest), sowie auf unbefugte Aufrufe von Tools. Zudem wird überprüft, welche personenbezogenen Daten in die Protokolle des Agents gelangen, also in die schrittweisen Aufzeichnungen seiner Aktionen. Schließlich wird auch auf die Menschen geachtet, die die Handlungen des Agents genehmigen.

Vertragsmanager: Verwaltung des Vertrags

Der Sitz wird nur dann sichtbar, wenn das Unternehmen kauft. Ein Anbieter entwickelt anschließend einen Teil des Systems, führt einen Teil der Operationen durch und erstellt Nachweise, die vom Validierer überprüft werden müssen, wobei die Verantwortung dort bleibt, wo sie war. In der Zwischenzeit ist jeder andere Eigentümer von etwas abhängig, das nur der Vertrag liefern kann. Der Validierer benötigt Prüfungsrechte. Die Betriebsabteilung braucht frühzeitige Benachrichtigungen über Änderungen am Modell, denn erst dadurch wird die Regressionstestung gestartet. Der Standard-Eigentümer benötigt eine Möglichkeit, Spuren und Daten zu exportieren, sonst hat die Bewertung des Unternehmens nichts, was bewertet werden könnte. Der Geschäftseigentümer benötigt Austrittsbedingungen, sonst wird das Herunterfahren des Systems zu einer Verhandlung statt zu einer Entscheidung. Der Anbietermanager sichert diese vier Aspekte, ohne eine der vier Aufgaben selbst auszuführen. Die Einkaufsabteilung wird bezüglich Umfang und Akzeptanz konsultiert, ist aber für keines davon verantwortlich.

Drei der sechs Aufgaben – die Verantwortung für den Anwendungsfall übernehmen, entscheiden, was als korrekt gilt, und die Ergebnisse unabhängig überprüfen – werden von dem Implementierungsteam eines Anbieters nicht selbst erledigt. Die Zuweisung eines Verantwortlichen für jede Aufgabe ist der Aspekt, den die regulatorischen Vorgaben außer Acht lassen.

Besetzung der Positionen mit Mitarbeitern aus den bestehenden Teams

Die Rollen werden mit vorhandenen Mitarbeitern besetzt, und die Reihenfolge ist wichtig, da jede Position auf der vorherigen beruht.

Beginnen Sie mit dem Geschäftsführer; solange es keinen gibt, muss das Projekt warten. Diese Person kontrolliert das Budget, den Prozess sowie die Befugnis, das System auszuschalten, und tritt zunächst damit ein, ein Risikostufenmodell festzulegen und zu entscheiden, was der Agent tun darf. Ingenieurpersonal kann diese Rolle nicht übernehmen, da niemand sonst für die damit verbundenen Abwägungen verantwortlich gemacht werden kann.

Dann der Architekt. Idealerweise ist das jemand, der den Geschäftsprozess und das System gut genug kennt, um verantwortlich zu sein dafür, wo der Agent aufhört und ein Mensch beginnt. Wo eine solche Person vorhanden ist, gehört der Posten ihr. Wenn niemand passt, kann eine externe Partei die Arbeit einleiten, doch das Unternehmen muss trotzdem einen internen Empfänger benennen, da der Posten nicht unbesetzt bleiben darf, selbst wenn die Arbeit anderswo stattfindet.

Drittens kommt der Standard-Eigentümer, und der entscheidende Faktor ist, ob der Domain-Experte tatsächlich Zeit zur Verfügung hat. Wenn Zeit geschützt ist, erstellt der Experte die Bewertungskriterien, wie es die Anwälte von Thomson Reuters taten. Falls nicht, entwerfen Produkt- und Designmitarbeiter diese Kriterien, damit der Experte sie genehmigen kann – dadurch verschleift sich der Standard, da nicht diejenigen, die wissen, wie eine gute Antwort aussieht, sie auf Papier bringen. In seinem Brief an die Aktionäre formuliert Jamie Dimon die allgemeine Regel: Arbeit, die nur ein Teil der Aufgaben vieler Menschen ist, wird niemals fertiggestellt, und die Mission benötigt ein Team, das sich vollzeit dafür widmet.

Bei der Kalibrierung des Entscheidungsmodells sowie der Überwachung von Abweichungen sollte die Messungsebene dieses Systems an eine Daten- oder Analyseabteilung übergeben werden, sofern das Unternehmen eine solche besitzt. Andernfalls benötigt ein bestimmter Mitglied des Entwicklerteams geschützte Arbeitszeiten dafür. Die Beispiele zeigen, wie sich die Rolle des Data-Science-Teams verändert, sobald das Modell des Agenten von einem Anbieter bereitgestellt wird. Das Modellieren und Feintunen obliegt dem Anbieter, weshalb man nicht länger davon ausgehen kann, dass das Data-Science-Team für die KI zuständig ist. Übrig bleiben die Kalibrierung und die Überwachung von Abweichungen als dauerhafte Aufgaben, zusammen mit einer neuen Pflicht für die von dem Team weiterentwickelten Kredit-, Betrug-, Preis- und Prognosemodelle: Jedes Modell muss vor der Nutzung als Werkzeug seine vorgesehene Zielgruppe benannt werden. Versicherer und Krankenhäuser stehen vermutlich vor derselben Frage bezüglich ihrer eigenen Modelle, doch keine der hier besprochenen Quellen befasst sich damit.

Viertens ist der Validator, und der entscheidende Faktor ist der Zeitpunkt, an dem die Konformitätsprüfung einsetzt. Die Konformitätskontrolle kann von Anfang an Risikobegriffe liefern, was laut Berichten das Team von Chime tut, oder sie kann nur am Freigabepunkt überprüft werden; in diesem Fall benötigt ein Hochrisikocase dennoch eine unabhängige Validierung vor der Bereitstellung, wie es der Entwurf aus Singapur vorschreibt. Für eine Bank scheint die bereits vorhandene Modellrisikofunktion der einfachste Weg zu sein, da SR 26-2 die Agenten unberücksichtigt lässt und jede Einrichtung selbst entscheiden darf. Allerdings gibt es seit 2024 keine Quellen mehr, die berichten, dass eine Bank diesen Schritt unternommen hat.

Fünftens sind die Betriebsabläufe, und der entscheidende Faktor ist, wer das System nach seiner Inbetriebnahme überwacht. Der nächste Abschnitt befasst sich damit.

Zwei Elemente sind allen Anwendungsfallkonzepten gemeinsam. Erstens das Gateway – der einzige Weg, den jedes Agentenprogramm nutzt, um auf ein Modell zuzugreifen, wo die Identität überprüft und Anrufe protokolliert werden; es wird vom Verantwortlichen für die Betriebsabläufe verwaltet. Wealthsimple gibt an, dass etwa 80 Prozent des Datenverkehrs mit großen Sprachmodellen über sein Gateway läuft, wodurch unklar bleibt, ob der Rest ebenfalls reguliert wird. Zweitens die Messung, also die Tools zur Erfassung und Auswertung der Daten, die gemeinsam von den Abteilungen für Datenwissenschaft oder Analytik verwaltet werden, da zwei Teams, die sich mit unterschiedlichen Instrumenten bewerten, Zahlen erzeugen, die nicht miteinander verglichen werden können. Die übrigen Komponenten – nämlich der jeweilige Anwendungsfall, seine Bewertungskriterien, der Verantwortliche für die Standards sowie seine Position in der Abfolge der Ausführung – bleiben bei der Geschäftseinheit, die ihn betreibt.

Meistens erweitern diese Aufgabenbestandteile bereits vorhandene Jobs und schaffen keine neuen. Ein Unternehmensinhaber, der bereits die Gewinn- und Verlustrechnung führt, erteilt die Zustimmung zur Erweiterung des Aufgabenumfangs. Ein Fachexperte fügt Kriterien zu den bereits in seinem Kopf vorhandenen Kenntnissen hinzu. Ein Ingenieur übernimmt die Aufgaben des Richters und des Zügels. Die Datenwissenschaft, die bereits ihre eigenen Modelle auf Verfall überwacht, erweitert diese Überwachung auf den Agenten. Die Konformitätskontrolle integriert die Risikobeschreibungen in die bereits durchgeführten Überprüfungen. Es werden keine neuen Mitarbeiter eingestellt. Nur der Aufgabenteil des Validators kann nicht erweitert werden, da diese Aufgabe dort endet, wo der Aufbau beginnt.

Tägliche Betriebsführung des Agenten

Nach dem Start gibt es während der gesamten Lebensdauer des Systems sechs Aufgaben. Der Betriebsleiter übernimmt vier davon, der Standardverantwortliche eine und der Validator eine – für jede Aufgabe sind eine bestimmte Person sowie eine Reaktionszeit erforderlich.

Alert-Triage wird an die Betriebsabteilung weitergeleitet, wobei ein Geschäftsfachmann im Wechsel tätig ist. Die Alerts sind nicht einheitlich: Ein Berechtigungsfehler, ein Ausfall sowie eine fälschlich abgelehnte Anfrage erfordern jeweils eine andere Beurteilung, wobei letztere eine geschäftliche Entscheidung darstellt. Sowohl Entwürfe aus Singapur als auch das EU-KI-Gesetz fordern ein solches Eskalationsverfahren.

Abschaltung wird vom Geschäftseigentümer genehmigt und von den Betriebsabteilungen in vier Schritten durchgeführt: sofortiger Stopp, technische Wiederherstellung, Korrektur der Geschäftsabläufe sowie Genehmigung zum Neustart. Der EU-KI-Gesetz besagt, dass der Betreiber eines Hochrisikosystems in der Lage sein muss, es über einen Stopptaster oder ein ähnliches Verfahren zum Stillstand zu bringen, sodass es in einem sicheren Zustand bleibt. Die Person, die den Taster erstellt, ist nicht die Person, die entscheidet, ihn zu betätigen. Das Schließen des Chat-Fensters storniert keine bereits in der Warteschlange befindliche Zahlung oder Benachrichtigung, und bei der Korrektur der Geschäftsabläufe gibt es keinen Äquivalent zu einem Code-Rollback. Daher ist die Entscheidung zum Stoppen eine geschäftliche Angelegenheit, während die Durchführung eine Aufgabe der Betriebsabteilungen ist.

Regressionstests nach einer Modelländerung sind eine gemeinsame Aufgabe der Datenwissenschaft, des Engineerings und der Geschäftsführung, wobei die Freigabe vom Validierer erfolgt. Ein dokumentiertes Beispiel ist Morgan Stanley’s Assistant: Es läuft auf OpenAI-Modellen, doch die Bank entwickelte ihr eigenes Bewertungssystem. Berater und Prompt-Engineer bewerten täglich gemeinsam einen Satz an Regressionstests, wobei der Anbieter weder die Bewertungsmethode noch die dahinterstehenden Standards bereitstellt. Die Quelle hierfür ist OpenAI, das durch die Präsentation eines Kunden profitiert – es handelt sich dabei um eine Suchanwendung. Der Prozess beginnt mit einer Änderungsmeldung des Anbieters, die vom Anbietermanager freigegeben werden muss.

Nutzung und Kosten fallen in den Verantwortungsbereich der Betriebsabläufe, wobei die richtige Einheit die abgeschlossene Aufgabe ist. Wiederholversuche, Bewertungen und Nacharbeiten gehören alle zu einer Aufgabe, und ein einzelner Modellaufruf ist nur ein Teil davon; daher geben Preise pro Aufruf nur einen Teil der Kostenstruktur wieder.

Die Rückführung von Produktionsfehlern an die Bewertungseinheit ist eine anhaltende Aufgabe des Verantwortlichen für die Standards. In einem Vortrag, der von Arize, einem Unternehmen, das Uber als Kunden hat, erneut veröffentlicht wurde, sagte Ubers Konversationsdesigner, dass die Bewertungseinheit sowie ihr Datensatz wöchentlich aktualisiert werden, da Signale aus veralteten Datensätzen schlimmer seien als gar keine. Das bedeutet, dass ein Designer Aufgaben erledigt, die normalerweise Ingenieuren und Datenwissenschaftlern übertragen werden. Berichten zufolge erreichen Chimes Konformitätsmeldungen die Bewertungseinheit innerhalb weniger Stunden durch eine nachträglich durchgeführte Offline-Bewertung.

Die Überwachung der Genehmiger ist die ständige Aufgabe des Validators. Anthropic gibt an, dass etwa 93 Prozent der Genehmigungsanfragen für seinen Programmieragenten akzeptiert werden – ein Anteil, der so hoch ist, dass er auf eine bloße Formalität und keine echte Überprüfung hindeutet. Da es sich um einen Programmieragenten und nicht um einen Agenten für Geschäftsprozesse handelt, zeigt dies das Risiko auf, quantifiziert es hier jedoch nicht. Das freiwillige Generative-AI-Profil des NIST schlägt vor, jedes Mal aufzulisten, wenn eine Person die Systemausgabe überschreibt – dieselbe Überprüfung, die auch von der anderen Seite vorgenommen wird.

Diese Aufgaben enden niemals, und kein öffentliches Konto gibt an, wie viele Stunden jede dieser Personen aufwendet. Rotation, Regressionstests sowie Kostenverfolgung können von außen beauftragt werden, was Gegenstand einer späteren Diskussion sein wird.

Was das Team lernen muss und wie hoch die Anforderungen sind

Die Ausbildung wirft drei Fragen auf: Was jeder im Team leisten muss, wo ein Spezialist weiterhin notwendig ist, und welche Qualitätsstufe ausreichend ist.

Vier Fähigkeiten gelten für alle, unabhängig vom Jobtitel:

• Die Spuren und Bewertungsergebnisse selbst zu prüfen, anstatt sich auf Zusammenfassungen anderer zu verlassen
• Über Verteilungen von Ergebnissen nachzudenken, nicht über einzelne Beispiele
• Die Arbeit anhand des endgültigen Zustands zu beurteilen, den sie hinterlassen hat, und nicht danach, was der Agent behauptet, getan zu haben
• Eine Aufgabe klar genug zu formulieren, um sie zu delegieren, und anschließend das Ergebnis zu überwachen

Marco Argenti, der Chief Information Officer von Goldman Sachs, nennt diese letzte Abfolge. Seiner Ansicht nach müssen Führungskräfte drei Managementfähigkeiten beherrschen: eine Aufgabe beschreiben, sie an einen KI-Agenten delegieren und die Ergebnisse überwachen.

Die Hälfte der Bewertungsarbeiten erfordert weiterhin einen Spezialisten. Der Kreislauf aus Bewertungen und Fehleranalyse, die tägliche Arbeit der Bewertung der Ergebnisse sowie der Aufklärung von Fehlern bis zu ihren Ursachen, teilt sich in einen routinemäßigen Teil und einen gelegentlichen Teil auf. Der routinemäßige Teil umfasst das Schreiben der Bewertungskriterien, die Erstellung der notwendigen Tools sowie das Auswerten der täglichen Fehler. Dafür sind ingenieurtechnisches Know-how und ein statistisches Verständnis erforderlich, und Arbeitgeber fassen dies zunehmend unter dem Begriff „KI-Engineer“ zusammen. Die Skills Map von DeepLearning.AI beschreibt diese Rolle anhand von Stellenausschreibungen und Interviews, obwohl der Verlag genau die Kurse anbietet, die in diesen Ausschreibungen gefordert werden. Der gelegentliche Teil beinhaltet die Kalibrierung der Bewertungskriterien anhand menschlicher Beurteilungen sowie die Überprüfung auf Abweichungen und eignet sich besser für Datenwissenschaftler; er wird hauptsächlich zur Überprüfung benötigt. Ein nicht-technologisches Unternehmen würde vernünftigerweise Softwareingenieure für die Tätigkeit als KI-Engineer ausbilden und die Datenwissenschaft für die Kalibrierung sowie zur Unterstützung der Überprüfung durch die Validatoren beibehalten. Es gibt keine Studie, die diese beiden Ansätze vergleicht, und der Skills Map gibt lediglich an, was Arbeitgeber verlangen.

Die Bar dient dazu, die Art von Fehlern aufzufangen, die die Tools ständig übersehen, und diese Aufgabe liegt beim Standardverantwortlichen sowie beim Validierer. In einer Studie aus dem Jahr 2026 setzten Antaripa Saha und Hamel Husain, die einen bezahlten Bewertungskurs anbieten, sechs automatisierte Überprüfungssysteme auf 100 Produktionsprotokollen ein, die 39 manuell gekennzeichnete Fehler enthielten. Das beste System fand 87 Prozent der gekennzeichneten Fehler, und die Übersehungen waren systematisch – eine bestimmte Fehlerklasse entging jedem System. Zudem wiesen alle Systeme auch Fehler auf, die der menschliche Prüfer übersehen hatte; daher bilden die Ergebnisse keine Rangliste, und es handelt sich um einen einzigen Datensatz mit den Kennzeichnungen eines Experten. Die Studie zeigt jedoch klar, wo Menschen weiterhin erforderlich sind: der Standardverantwortliche, dessen Kriterien bestimmen, was als Fehler gilt, sowie der Validierer, dessen Abdeckungsprüfung genau jene Fehler aufspürt, die die Tools übersehen.