ai-agents prompt-engineering llm architecture guardrails

Grundlagen von AI-Agenten: Zweck, Prompt-Design und Modellwahl

Wie man die Grundlagen für einen Produktions-AI-Agenten schafft: Zweck und Erfolgsmetriken definieren, Prompts mit Zielen und Schutzmaßnahmen erstellen und anschließend das richtige Modell auswählen.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 202621 Min. Lesezeit4820 Wörter

Quellen: Building AI Agents Part 1: Defining Purpose, Designing Prompts, and Selecting Models

Ein Gesundheitsstart-up verbrachte sechs Monate mit der Entwicklung eines KI-Agenten für die Patientenzuordnung. Er basierte auf dem neuesten GPT-4-Modell, das Team bestand aus erfahrenen ML-Ingenieuren, die Benutzeroberfläche sah hervorragend aus und die Investoren waren von der Demo begeistert. Doch als er in echten Kliniken eingesetzt wurde, hörten die Krankenschwestern bereits nach wenigen Tagen auf, ihn zu nutzen. Der Agent stellte Fragen, die nichts mit der Beschwerde zu tun hatten, überging ernste Symptome und gab inkonsistente Ratschläge. Manchmal war er übervorsichtig und schickte Patienten mit leichten Problemen in die Notaufnahme. Andere Male ignorierte er Erkrankungen, die Aufmerksamkeit erforderten.

Das Modell war nicht schuld, genauso wenig wie der Code. Die Grundlage war instabil. Das Team hatte nicht klar definiert, wofür der Agent dienen sollte, hatte die Erstellung der Anweisungen überstürzt und die falsche Modellkonfiguration gewählt. Nach weiteren drei Monaten an Überarbeitungen kann der Agent nun täglich mehr als 10.000 Interaktionen mit Patienten bewältigen, was zu einer Zufriedenheit der Krankenschwestern von 94 % sowie deutlich besseren Ergebnissen für die Patienten führt.

Drei grundlegende Schritte entscheiden darüber, ob ein Agent erfolgreich ist: die Definition seines Zwecks, die Gestaltung seiner Anweisungen und die Auswahl des passenden Modells. Wenn diese Schritte richtig umgesetzt werden, wird der Rest einfacher. Fehlen sie, kann keine ingenieurtechnische Anstrengung das ausgleichen.

Schritt 1: Zweck definieren

Vor der Erstellung jeglichen Codes müssen vier Fragen präzise beantwortet werden. Welches Problem soll gelöst werden? Wer wird den Agenten nutzen? Wie sieht Erfolg aus? Welche Einschränkungen gelten? Unklare Antworten führen zu gescheiterten Projekten, während präzise Antworten Systeme hervorbringen, die in der Produktion bestehen bleiben.

Wann ist ein Agent das richtige Werkzeug

Ein Agent ist nicht die Lösung für jedes Problem. regelbasierte Systeme bewältigen einfache Arbeitsabläufe besser, klassische ML-Modelle eignen sich für reine Vorhersagen, und menschliche Experten sind die bessere Wahl, wenn eine entscheidende Entscheidung jemanden erfordert, der dafür verantwortlich ist.

Agenten sind dann nützlich, wenn eine Aufgabe autonome Entscheidungen in einem komplexen, mehrschrittigen Arbeitsablauf mit mehreren Informationsquellen und Werkzeugen erfordert.

Nehmen wir die Betrugserkennung in einer Bank. Eine einfache Regel erkennt offensichtliche Muster, wie doppelte Transaktionen oder eine Karte, die gleichzeitig an zwei weit entfernten Orten verwendet wird. Komplexe Betrugsfälle erfordern eine Untersuchung: Der Agent muss die Transaktionshistorie analysieren, sie mit dem normalen Verhalten des Kunden vergleichen, Datenbanken zu den Reputationen von Händlern prüfen, Risikowerte anhand mehrerer Modelle berechnen, den Fall mit bekannten Betrugsnetzwerken in Verbindung bringen und ein Beweismittelpaket für einen menschlichen Prüfer zusammenstellen. Dafür ist Autonomie erforderlich, da die Überwachung rund um die Uhr bei Tausenden von Transaktionen stattfindet, außerdem die Nutzung von Tools in verschiedenen Datenbanken und APIs, das Verknüpfen schwacher Signale sowie die Koordination einer mehrstufigen Untersuchung. Das eignet sich hervorragend für einen Agenten.

Die Überprüfung des Kontostands ist das Gegenteil. Dafür reicht ein einziger API-Aufruf aus – kein autonomer Agent ist notwendig. Die Regel lautet, das Einfachste zu verwenden, das funktioniert.

Wer die Nutzer sind

Die Nutzer prägen die Architektur. Ein Feldtechniker benötigt einen mobilen Zugang, der auch offline funktioniert, ein Datenanalyst möchte Dashboards mit Vertiefungsmöglichkeiten und ein automatisiertes System benötigt saubere APIs mit vorhersehbaren Antwortformaten. Einige konkrete Beispiele:

Einzelhandels-Lagerverwalter wollen kurze Vorschläge, die sie annehmen oder überschreiben können. Eine Nachricht wie „Bestellen Sie bis Freitag 150 Stück des Produkts X nach“, kann umgesetzt werden; eine rohe Optimierungsscore von 0,847 hingegen nicht. Der Assistent muss so sprechen wie der Nutzer und in die bestehende Routine passen.
Agenten, die Kleinbauern in ländlichen Gebieten unterstützen, müssen mit schlechter Netzverbindung umgehen. Nachrichten per SMS können eine Web-Oberfläche ersetzen; der Agent muss mit einer unzuverlässigen Verbindung leben, und seine Ratschläge sollten in den lokalen Sprachen erfolgen. Eine einfache Notiz, heute Nachmittag Feld 3 auf Schädlinge zu überprüfen, ist weitaus nützlicher als eine an einer Stelle mit 0,73iger Zuverlässigkeit gemeldete Anomalie.
Kliniker und Patienten benötigen unterschiedliche Benutzeroberflächen. Ein Arzt, der Empfehlungen prüft, möchte die klinischen Begründungen, Zuverlässigkeitswerte sowie Verweise auf wissenschaftliche Literatur, während ein Patient einfache Erklärungen und klare nächsten Schritte haben möchte. Es handelt sich dabei um einen Agenten mit zwei Benutzeroberflächen.

Erfolg, der messbar ist

Ziele wie „Effizienz steigern“ führen praktisch immer zum Scheitern. Messbare Ziele sind es, die Entscheidungen antreiben.

Für einen Qualitätskontrollmitarbeiter in der Fertigung könnte Erfolg darin bestehen, 95 % der Mängel zu erkennen, die menschliche Inspektoren feststellen, die Anzahl der Fehlalarme unter 10 % zu halten, jedes Teil innerhalb von 2 Sekunden zu verarbeiten, die Gesamtrate der entgangenen Mängel um 30 % zu senken sowie während der Produktionszeit eine Verfügbarkeit von 99,9 % zu gewährleisten. Diese Zahlen beeinflussen die Architektur direkt: Die 2-Sekunden-Grenze schließt einige Modelle aus, die 95-%-Erkennungsrate erfordert viel Trainingsdaten, und die Verfügbarkeitsangabe macht Redundanz sowie sorgfältige Fehlerbehandlung notwendig.

Ein Agent für die Flugzeugwartung wird anhand anderer Kriterien beurteilt: Die Fähigkeit, Komponentenfehler 30 Tage im Voraus mit 80-prozentiger Genauigkeit vorherzusagen, die unplanmäßige Wartung um 40 Prozent zu reduzieren, bei Empfehlungen eine 100-prozentige Einhaltung der Vorschriften zu gewährleisten, niemals davon abzuraten, arbeitskritische Aufgaben aufzuschieben, sowie für jede Entscheidung einen vollständigen Audit-Trail anzufertigen. Das Ziel der Konformität erfordert strenge Tests und menschliche Überwachung, während die Sicherheitsregeln konservative Entscheidungsschwelle vorschreiben. Dies sind architektonische Anforderungen und keine Anpassungen nach dem Start.

Beschränkungen

Jedes Produktionsystem stößt auf drei Arten von Grenzen. Zu den technischen gehören Latenzziele, Infrastrukturbeschränkungen und Integrationserfordernisse. Zu den geschäftlichen zählen Budget, Zeitplan sowie das, was die Organisation tatsächlich unterstützen kann. Zu den regulatorischen gehören Datenschutz, branchenspezifische Konformitätsanforderungen und Prüfanforderungen.

Die Bankwirtschaft wird stark durch Vorschriften geprägt. Betrugsbekämpfer führen vollständige Prüfungsprotokolle, erklären jede Entscheidung, greifen niemals ohne Autorisierung auf Kundendaten zu und befolgen je nach Rechtsgebiet unterschiedliche Regeln. Nichts davon ist verhandelbar.
Gesundheitsdienstleister müssen den HIPAA-Standard erfüllen. Patientendaten werden sowohl bei der Speicherung als auch während des Transports verschlüsselt, der Zugriff wird protokolliert und überprüfbar gemacht, die Aufbewahrungsfristen folgen festgelegten Regeln und einige Informationen dürfen nicht einmal kurzzeitig gespeichert werden. Diese Einschränkungen beeinflussen direkt die Konzeption der Speichersysteme sowie die verfügbaren Implementierungsoptionen.
Einzelhändler sind verschiedenen Druckfaktoren ausgesetzt. Spitzenzeiten in den Feiertagsperioden erfordern horizontales Skalieren, die Integration alter Kassensysteme beschränkt die technischen Möglichkeiten und Kostenbewusstsein lenkt die Wahl der Systeme in Richtung günstigere Optionen. All das prägt das gesamte Systemkonzept.

Schreiben Sie die Einschränkungen auf. Sie definieren, was möglich ist.

Fünf praktische Beispiele

Jeder dieser Punkte fasst zusammen den Zweck, die Nutzer, die Erfolgskriterien sowie die Einschränkungen.

Banking: Ein Agent zur Überwachung von Transaktionen. Er erkennt und untersucht täglich Millionen verdächtiger Transaktionen in Echtzeit für Betrugsanalysten und Compliance-Beauftragte. Erfolg bedeutet, 90 % der Betrügereien aufzudecken bei weniger als 5 % Falschpositiven, jede Transaktion innerhalb von 30 Sekunden zu bearbeiten und einen vollständigen Prüfungsverlauf beizubehalten. Zu den Einschränkungen gehören die Einhaltung von Vorschriften, die Erklärung jeder Entscheidung, das Niemals-Blockieren einer legitimen Transaktion ohne Prüfung durch einen Analysten sowie eine Verfügbarkeit von 99,95 % rund um die Uhr.
Einzelhandel: Ein Tool für dynamische Preissetzung. Es passt die Preise für Tausende von SKUs anhand von Nachfrage, Wettbewerb, Lagerbeständen und Gewinnzielen an – für Kategoriemanager und Preisanalysten. Erfolg zeigt sich in 8 % höheren Einnahmen bei den Zielgewinnen, Preisen, die zweimal täglich aktualisiert werden, der Bewältigung saisonaler Schwankungen sowie der Einhaltung von Preisunter- und -obergrenzen. Einschränkungen umfassen die bestehende ERP-Integration, das Vermeiden von Preisen unter Kosten, die Beibehaltung der Wettbewerbsfähigkeit sowie die Einhaltung von Preisregeln.
Gesundheitswesen: Ein Tool zur Patiententriage. Es bewertet Symptome, bestimmt den Dringlichkeitsgrad, empfiehlt eine geeignete Behandlungsform und bucht Termine – für Krankenschwestern, Patienten und Klinikverwalter. Erfolg zeigt sich in 95 % Übereinstimmung mit den Beurteilungen der Krankenschwestern, 30 % kürzeren Wartezeiten, höherer Zufriedenheit sowie einer sofortigen Weiterleitung dringender Fälle. Einschränkungen umfassen die Einhaltung von HIPAA-Vorgaben, das Vermeiden von Verzögerungen bei Notfallbehandlungen, empathische Kommunikation, die Integration in EHR-Systeme sowie mehrere Sprachen.
Fertigung: Ein Agent für prädiktive Wartung. Er überwacht den Zustand der Ausrüstung, prognostiziert Ausfälle, plant präventive Arbeiten und verteilt Personal – für Wartungsleiter, Betriebsleiter und Techniker. Erfolg zeigt sich in der Fähigkeit, Ausfälle 30 Tage im Voraus mit 85 % Genauigkeit vorherzusagen, einem um 50 % geringeren Ausmaß an ungeplanter Stillstandzeit, niedrigeren Wartungskosten sowie einer Lebensdauer der Ausrüstung um 20 %. Zu den Einschränkungen gehören die Echtzeitverarbeitung von Sensordaten, das vorhandene CMMS, veraltete Ausrüstungen, Sicherheitsvorschriften sowie der Betrieb offline.
Landwirtschaft – ein Tool zur Überwachung der Pflanzengesundheit. Es überwacht Anbauflächen mithilfe von Satellitenbildern und Bodensensoren, erkennt Krankheitsausbrüche, empfiehlt Gegenmaßnahmen sowie optimiert Bewässerung und Düngung – für Betriebsleiter, Agronomen und Genossenschaftsmanager. Der Erfolg zeigt sich in der Früherkennung von Krankheiten um eine Woche gegenüber manueller Inspektion, 25 % weniger Wasserverbrauch, 15 % höherer Ertrag sowie Empfehlungen in der Landessprache. Zu den Einschränkungen gehören ungleichmäßige Netzverbindungen, günstige Handys, vorhandene Landwirtschaftssoftware, SMS-Benachrichtigungen und viele verschiedene Pflanzenarten.

Jeder Anwendungsfall hat seine eigenen Anforderungen, die die gesamte Architektur prägen – daher erfordert dieser Schritt Echtzeitverarbeitung.

Schritt 2: Gestaltung der Anfragen

Die Systemanweisung ist das Bedienhandbuch des Agenten. Sie legt Persönlichkeit, Fähigkeiten, Grenzen und Verhaltensmuster fest. Eine gut gestaltete Anweisung sorgt für konsistentes, sicheres und zuverlässiges Verhalten, während eine schlecht gestaltete zu unvorhersehbaren Ergebnissen führt, die in der Praxis versagen.

Ziele

Fangen Sie damit an, was der Agent erreichen soll, und seien Sie dabei konkret und vollständig.

Einem Agenten zur Analyse von Bankbetrug könnte aufgetragen werden, Transaktionen nach Anzeichen für Betrug zu prüfen, das Risiko mit den bereitgestellten Bewertungsmodellen einzuschätzen, bekannte Betrugsmuster abzugleichen, detaillierte Ermittlungsberichte zu verfassen und hochriskante Fälle umgehend weiterzuleiten. Zudem soll er in allen Kommunikationen professionell bleiben, niemals Ermittlungsdetails an Kunden preisgeben und stets Begründungen für seine Risikobewertungen liefern. All dies legt den Umfang und die Grenzen fest, sodass der Agent weiß, was er tun soll und wovon er Abstand nehmen muss.

Ein Kundenservice-Mitarbeiter im Einzelhandel erhält eine andere Liste. Er beantwortet Fragen zu Bestellungen, Produkten und Richtlinien, prüft Bestellhistorien und Lagerbestände, bearbeitet Rücksendungen im Einklang mit den Richtlinien, leitet Erstattungsanfragen über 500 Dollar an einen Menschen weiter, behält einen freundlichen Ton bei und sammelt nach jeder Interaktion Feedback. Ihm ist es verboten, etwas außerhalb der Unternehmensrichtlinien zu versprechen, und er sollte Alternativen anbieten, wenn er eine Anfrage nicht erfüllen kann. Die Grenzen sind klar definiert: Er darf keine großen Erstattungen genehmigen, muss sie weiterleiten und sich stets an die Richtlinien halten. Diese Beschränkungen verhindern problematisches Verhalten.

Persona

Die Personas bestimmen, inwieweit der Agent konsequent wirkt und wie sehr die Nutzer ihm vertrauen. Ein Triage-Agent im Gesundheitswesen sollte ruhig und professionell klingen, um die Menschen zu beruhigen. Ein Nachhilfe-Agent sollte ermutigend und geduldig sein, um die Lernenden motiviert zu halten, während ein Technischer-Support-Agent kompetent und methodisch vorgehen muss, damit seine Lösungen zuverlässig erscheinen.

In der Flugzeugwartung ist die Persona ein erfahrener Flugzeugwartungsingenieur mit zwanzig Jahren Erfahrung bei verschiedenen Flugzeugtypen. Sicherheit hat Vorrang vor allem anderen, Herstellervorgaben werden streng befolgt, die Kommunikation ist klar und technisch präzise, Entscheidungen werden bei Sicherheitsfragen niemals überstürzt getroffen und alles wird für die Aufsichtsbehörden dokumentiert. Diese Persona prägt, wie der Agent Probleme angeht, Erkenntnisse meldet und Entscheidungen trifft, und sorgt dafür, dass Tausende von Interaktionen konsequent ablaufen.

Ein Landwirtschaftsberater für Kleinbauern ruft nach einer weiteren Stimme. Er kennt die lokalen Anbaupflanzen, das Klima und die landwirtschaftlichen Praktiken, spricht in einfachen, praktischen Begriffen, versteht die Ressourcenbeschränkungen, mit denen Bauern konfrontiert sind, bietet Ratschläge, die zu den vorhandenen Werkzeugen und dem Budget passen, achtet auf traditionelles Wissen, führt aber auch moderne Methoden ein, und bleibt geduldig sowie ermutigend.

Die Persönlichkeit muss zur Zielgruppe passen. Technischer Jargon eignet sich für Experten, einfache Sprache ist für die allgemeine Öffentlichkeit geeignet, und kulturelle Sensibilität ist bei globaler Anwendung wichtig.

Anweisungen

Anweisungen weisen den Agenten darauf hin, wie er Aufgaben ausführen soll. Allgemeine Anweisungen führen zu ungleichmäßigem Verhalten, während spezifische Anweisungen Zuverlässigkeit garantieren. Nummerierte Verfahren funktionieren gut, und diese beiden Beispiele zeigen den Stil.

Ein Qualitätskontrollagent, der Produktbilder prüft, folgt acht Schritten:

Laden Sie das Bild hoch und extrahieren Sie mithilfe des Vision-Modells die Merkmale.
Vergleichen Sie diese mit den Qualitätsvorgaben für diesen Produkttyp.
Erkennen Sie eventuelle Mängel und markieren Sie diese mit Begrenzungskästen sowie einer Klassifizierung.
Bewerten Sie die Schwere jedes Mangels anhand der bereitgestellten Bewertungskriterien.
Lehnen Sie das Produkt ab und dokumentieren Sie die Details, wenn die Schwere den Schwellenwert überschreitet.
Fordern Sie bei grenzwertiger Schwere eine menschliche Überprüfung mit entsprechenden Belegen an.
aktualisieren Sie die Qualitätsmetriken in der Datenbank.
Warnen Sie die Vorgesetzten umgehend, wenn nacheinander mehrere Mängel derselben Art auftreten.

Solche Schritte beseitigen Unklarheiten, sodass der Agent in jeder Situation weiß, was zu tun ist.

Ein Patientenbewertungsagent folgt zehn Schritten:

Sammeln Sie über das strukturierte Frageformular Symptome, deren Dauer sowie ihre Schwere ein.
Stellen Sie je nach Symptomkomplex weitere Fragen.
Prüfen Sie auf Warnsignale, die eine sofortige Behandlung erfordern.
Falls ein Warnsignal auftritt, klassifizieren Sie den Fall als Notfall und leiten Sie ihn über den entsprechenden Schnellweg weiter.
Berechnen Sie mit dem zugelassenen Algorithmus einen Triage-Score.
Empfehlen Sie auf Grundlage des Scores und der Symptome eine geeignete Behandlungsform.
Buchen Sie einen Termin, falls einer erforderlich ist.
Geben Sie dem Patienten klare nächsten Schritte sowie einen Zeitplan an.
Diagnosieren Sie niemals eine Erkrankung oder empfehlen Sie eine spezifische Behandlung.
Gehen Sie stets vorsichtig vor, wenn ein Fall unklar ist.

Die Regel „Niemals diagnostizieren“ ist hier am wichtigsten, da sie eine klare Grenze setzt und Haftungsprobleme verhindert.

Schutzmaßnahmen

Schutzmaßnahmen verhindern schädliches oder problematisches Verhalten, und Produktionssysteme können ohne sie nicht auskommen. Es gibt drei Arten davon:

Inhaltsbeschränkungen verhindern unangemessene Ausgaben. Ein Kundenservice-Mitarbeiter flucht niemals, selbst wenn der Kunde es tut, und ein Finanzberater garantiert niemals Renditen oder macht Versprechen bezüglich des Marktes.
Sicherheitsmaßnahmen verhindern gefährliche Handlungen. Ein Flugdienstmitarbeiter empfiehlt niemals, sicherheitskritische Wartungsarbeiten hinauszuzögern, ein Gesundheitsfachmann schlägt niemals vor, Notfallbehandlungen zu verschieben, und ein Produktionsmitarbeiter deaktiviert niemals Sicherheitsvorrichtungen.
Privatsphärebeschränkungen verhindern Datenlecks. Ein Bankmitarbeiter teilt niemals die Informationen eines Kunden mit einem anderen Konto, ein Gesundheitsfachmann gibt niemals Patientendaten ohne Genehmigung preis, und ein Einzelhändler macht niemals sensible Preisalgorithmen öffentlich.

Ein Betrugserkennungsmitarbeiter in einer Bank sollte sich an diese Regeln halten: Nie die Erkennungsmethoden oder -modelle gegenüber irgendwelchen Nutzern offenbaren. Nie Ermittlungsdetails mit einem untersuchten Kontoinhaber teilen. Niemals ein Konto ohne legitimen, betrugsspezifischen Grund eröffnen. Niemals eine Konto schließung ohne Zustimmung eines Analysten entscheiden. Nie Kundendaten von einer Ermittlung zur anderen übertragen. Immer Auditspuren des Kontozugriffs aufbewahren. Bei Unsicherheiten bezüglich der Regulatorikkompliance sollte man sich an einen menschlichen Vorgesetzten wenden. Dies schützt die Bank, ihre Kunden sowie die Integrität der Ermittlungen.

Ein Mitarbeiter für die medizinische Triage würde andere Personen tragen. Es werden keine spezifischen Diagnosen oder Behandlungsempfehlungen gegeben. Bei Brustschmerzen, Atembeschwerden, starkem Blutverlust oder anderen Notfallsymptomen ist umgehend weitere Hilfe zu rufen. Es wird nicht empfohlen, die Behandlung bei schweren Symptomen aus Kostengründen hinauszuzögern. Ohne aktive Interaktion besteht kein Zugang zu den Patientenakten. Der Tonfall sollte stets empathisch und professionell sein. Bei suizidalen Gedanken des Patienten soll umgehend eine Verbindung zu Krisenhilfeservices hergestellt werden. Patienteninformationen dürfen nicht an unbefugte Personen weitergegeben werden. Bei unklarer Dringlichkeit soll stets von einer höheren Akutität ausgegangen werden. Dies schützt die Patientensicherheit und stellt sicher, dass die Behandlung angemessen ist.

Testen und Iterieren

Der erste Prompt wird nicht perfekt sein. Testen Sie ihn in echten Szenarien, suchen Sie nach Randfällen und feinjustieren Sie ihn in mehreren Runden. Ein praktikabler Ablauf besteht darin, mit einem grundlegenden Prompt zu beginnen, 20 bis 30 repräsentative Szenarien durchzuführen, die Fehlschläge aufzuzeichnen, Muster zu erkennen, den Prompt zu überarbeiten und dies zu wiederholen.

Ein Agent für den Einzelhandelspreisfindung könnte bei hohem Bedarf Preise unter Kosten empfehlen. Die Lösung besteht in einer ausdrücklichen Regel gegen Preisgestaltung unter Kosten sowie einem Mindestmarge von 10 %. Ein Triage-Agent könnte wiederkehrende Beschwerden als unbedeutend abtun, obwohl sie auf etwas Ernstes hindeuten könnten; die Lösung ist eine Anweisung, bei Symptomen, die länger als zwei Wochen anhalten, stets eine medizinische Untersuchung zu empfehlen – unabhängig von ihrer scheinbaren Schwere.

Tests bringen Lücken in den Anweisungen, fehlende Schutzmechanismen sowie unklare Leitlinien zum Vorschein. Diese Feinjustierung ist nicht optional – so entstehen zuverlässige Produktionsysteme.

Vollständige Prompt-Beispiele

Zusammengefasst weist jede Anfrage denselben Aufbau aus Rolle, Zielen, Anweisungen und Schutzmaßnahmen auf, der an den jeweiligen Anwendungsbereich angepasst ist.

Der Analyst für Bankbetrug übernimmt die Rolle eines Betrugsfachmanns mit fünfzehn Jahren Erfahrung in der Aufklärung von Finanzkriminalität und erstellt detaillierte Risikobewertungen für andere Analysten. Seine Ziele sind es, Anomalien in Transaktionsmustern zu erkennen, Risikowerte mithilfe genehmigter Modelle zu berechnen, Transaktionen gegen bekannte Betrugsdatenbanken abzugleichen, umfassende Berichte mit Beweismitteln zu verfassen und hochriskante Fälle direkt an menschliche Analysten weiterzuleiten. Bei der Analyse einer Transaktion verfährt er wie folgt:

Erhält die vollständige Transaktionshistorie des Kontos.
Sucht nach Geschwindigkeitsanomalien, also ungewöhnlicher Häufigkeit oder Beträgen.
Prüft, ob Händler und Standort zum Profil des Kunden passen.
Berechnet die Betrugswahrscheinlichkeit mithilfe des Ensemble-Modells.

Falls der Wert über 0,8 liegt, ist umgehend mit detaillierten Beweisen eine Eskalation erforderlich.

Fällt der Wert zwischen 0,5 und 0,8, soll er mit unterstützenden Daten zur Prüfung durch einen Analysten gemeldet werden.

Ist der Wert unter 0,5, darf die Transaktion abgeschlossen und die Entscheidung protokolliert werden.

Jedes Mal müssen die Begründungen sowie die Datenquellen aufgezeichnet werden.

Die Richtlinien lauten: Keine Detektionsmethoden offenzulegen, keine laufenden Ermittlungen mit Kontoinhabern zu besprechen, ohne berechtigten Grund keinen Zugriff auf ein Konto zu nehmen, einen Nachweis jeder Entscheidung zu führen, regulatorische Zweifel an einen Vorgesetzten weiterzuleiten und ohne Bestätigung eines Analysten keine Kontoabschließung zu genehmigen.

Der Kundenservice-Mitarbeiter im Einzelhandel fungiert als hilfsbereiter, freundlicher Vertreter einer Premium-Marke, der bei Bestellungen, Produkten und Richtlinien unterstützt und gleichzeitig eine hervorragende Kundenerfahrung gewährleistet. Seine Ziele sind eine schnelle und effektive Lösung von Problemen, Rücksendungen und Umtausche gemäß den Richtlinien, genaue Produktinformationen und Empfehlungen, eine konsequente Markenstimme sowie die angemessene Weiterleitung komplexer Fälle. Bei Anfragen zu Bestellungen:

Sucht die Bestellung anhand der Nummer oder E-Mail.
Gibt den aktuellen Status sowie den voraussichtlichen Liefertermin an.
Erklärt die Ursache und bietet Alternativen, falls die Bestellung verspätet ist.

Bei Rücksendungen:

Erstellt eine Rücksendegenehmigung sowie ein Etikett.
Startet die Rückerstattung, sobald das Produkt eingetroffen ist.
Schickt Rückerstattungen über 500 Dollar an einen Manager zur Genehmigung.

Ihre Richtlinien sind: Keine Rückerstattung außerhalb der Vorgaben ohne Managerzustimmung, keine Zusagen zu Lieferterminen, die nicht kontrolliert werden können, keine Offenlegung von Informationen zum Lieferanten oder zu den Kosten, ein professioneller und einfühlsamer Tonfall auch gegenüber frustrierten Kunden, eine höfliche Beendigung des Gesprächs sowie Eskalation, falls ein Kunde aggressiv wird, und keine Rücksendung ohne angemessene Überprüfung.

Der Gesundheits-Triage-Mitarbeiter ist ein einfühlsamer, erfahrener Triage-Pfleger, der Patienten dabei hilft, die richtige Versorgungseinrichtung zu finden, indem er Symptome und Dringlichkeit bewertet und gleichzeitig ihre Sicherheit gewährleistet. Seine Ziele sind eine genaue Beurteilung von Symptomen und Dringlichkeit, die Zuweisung an Notfall-, Akut-, Primär- oder Selbstversorgungseinrichtungen, sofortige Betreuung bei Notfällen, weniger unnötige Notfallbesuche sowie ein anhaltendes Vertrauen der Patienten. Während der Beurteilung führt er Folgendes durch:

Er dokumentiert die Hauptsymptome sowie detaillierte Symptominformationen mithilfe strukturierter Fragen.
Er fragt nach Dauer, Schweregrad und Verlauf der Symptome.
Er prüft auf Warnsignale, die eine sofortige Behandlung erfordern.
Er überprüft bei Verfügbarkeit Abweichungen der Vitalwerte.
Er berechnet die Triage-Schwere mit dem zugelassenen Algorithmus.
Er gibt eine Empfehlung mit klarem Begründungsansatz ab.
Er bucht bei Bedarf einen Termin.
Er erläutert die nächsten Schritte ausführlich.
Fügt Vorsichtsmaßnahmen bei der Rückkehr hinzu, die beschreiben, wann man eine höhere Behandlungsstufe aufsuchen sollte.

Rote Flaggen, die auf einen Notfall hindeuten, sind Brustschmerzen oder -druck, Atembeschwerden, starke Blutungen oder Verletzungen, plötzliche starke Kopfschmerzen oder Sehstörungen, Verwirrtheit oder eine veränderte Geisteszustandslage, Anzeichen für einen Schlaganfall wie ein herabhängendes Gesicht, schwacher Arm oder Sprachprobleme, eine schwere allergische Reaktion sowie suizidale oder homicidale Gedanken. Zu den Schutzmaßnahmen gehören: keine spezifischen Diagnosen oder Behandlungsempfehlungen, rote Flaggen werden stets als Notfälle behandelt, unabhängig von anderen Faktoren, keine Empfehlung, die Notfallbehandlung aus Kostengründen oder Bequemlichkeit hinauszuzögern, empathische und patientenzentrierte Kommunikation, sofortige Bereitstellung von Krisenressourcen bei auftretenden suizidalen Gedanken, kein Zugang zu Patientendaten ohne aktive Zustimmung des Patienten sowie eine Neigung, bei unklarer Dringlichkeit auf eine höhere Behandlungsstufe umzusteigen, und die Überweisung komplexer Fälle an einen Krankenschwesternleiter.

Jeder Prompt passt zu seinem eigenen Anwendungsbereich, Nutzertyp und Risikoprofil. Der Bankagent konzentriert sich auf Ermittlungen und Compliance, der Einzelhandelsagent balanciert Kundenzufriedenheit gegenüber Richtlinien aus, und der Gesundheitsagent stellt die Sicherheit an erster Stelle.

Schritt 3: Das Modell auswählen

Die Wahl des Modells beeinflusst direkt Leistung, Kosten, Latenzzeit und Funktionalitäten, und eine falsche Auswahl untergräbt alles Weitere.

Optionen für Basismodelle

Der Markt verändert sich schnell, doch die grundlegenden Abwägungen bleiben unverändert: Funktionalitäten gegen Kosten, Latenzzeit gegen Qualität, gehostete gegen selbst gehostete Lösungen sowie allgemeine gegen spezialisierte Modelle.

GPT-4 und GPT-4 Turbo von OpenAI denken sehr gut, befolgen Anweisungen genau, erstellen hochwertigen kreativen Inhalt und rufen Funktionen zuverlässig auf, wobei sie umfangreiche Unterstützung bei der Nutzung von Tools bieten. Die Nachteile sind hohe Kosten, mäßige Latenz sowie Abhängigkeit von OpenAI’s API. Sie eignen sich für komplexe Denkprozesse, kreative Arbeiten, allgemein einsetzbare Assistenten sowie Fälle, in denen Qualität wichtiger ist als Preis.
Claude 3.5 und Claude 4.5 von Anthropic zeichnen sich durch die Analyse langer Dokumente aus, denken stark logisch, erzeugen hervorragenden Code, befolgen feine Anweisungen und bieten ein Kontextfenster von 200.000 Token sowie eine starke Sicherheitsausrichtung. Sie sind teurer, sind nur über eine API verfügbar und weisen auf der kostenlosen Ebene Gebührenbeschränkungen auf. Sie eignen sich für Dokumentenanalyse, Forschungsassistenten, Programmierhilfen, Anwendungen mit langem Kontext sowie Fälle, in denen Sicherheit und Ausrichtung entscheidend sind.

Llama 3 70B und 405B von Meta sind Open Source und können selbst gehostet werden, es fallen keine API-Gebühren an, sie leisten gute Ergebnisse, verfügen über starke Community-Unterstützung und sind in vielen fein abgestimmten Varianten erhältlich. Man benötigt Infrastruktur zum Hosten, muss für die Verarbeitung bezahlen und über Fachwissen zur Implementierung verfügen; zudem liegen sie hinter den führenden Modellen zurück. Sie eignen sich für On-Premise-Einsatz, bei Anforderungen an Datenprivatsphäre, bei hohem Datenvolumen, wo API-Kosten zu hoch wären, sowie für umfangreiche Anpassungen.

Gemini Pro und Ultra von Google können mehrere Datentypen verarbeiten, denken gut nach, lassen sich mit Google-Diensten integrieren und sind preislich wettbewerbsfähig. Sie haben sich in Produktionsagentensystemen weniger bewährt und verfügen über ein kleineres Ökosystem. Sie eignen sich für Vision-Anwendungen, Integrationen mit Google Cloud sowie multimodale Agenten.

Es existieren domänenspezifische Modelle für den Gesundheitssektor (Med-PaLM), Code (CodeLlama, StarCoder), Finanzen und andere Bereiche. Sie leisten bessere Ergebnisse in eng gefassten Anwendungsfällen, verfügen jedoch über keine allgemeine Leistungsfähigkeit.

Tuning-Parameter für die Produktion

Die Temperatur steuert die Zufälligkeit. Niedrige Werte zwischen 0,0 und 0,3 liefern konsistente, deterministische Ergebnisse, während hohe Werte zwischen 0,7 und 1,0 kreative, vielfältige Ergebnisse erzeugen. Ein Agent zur Erkennung von Bankbetrug sollte bei 0,0 laufen, da Konsistenz wichtiger ist als Kreativität – dieselbe Transaktion sollte stets die gleiche Risikobewertung erhalten. Ein Kundenservice-Agent arbeitet bei Werten zwischen 0,3 und 0,5, was eine gewisse natürliche Variation in der Formulierung zulässt, während die Auslegung der Richtlinien konstant bleibt. Agenten, die Marketingtexte oder Produktbeschreibungen verfassen, funktionieren am besten bei Werten zwischen 0,7 und 0,9, wo Vielfalt einen Mehrwert schafft.

Top-p, auch Kernstichprobenziehung genannt, ist eine weitere Methode zur Steuerung der Zufälligkeit. Niedrige Werte zwischen 0,1 und 0,5 beschränken die Auswahl auf die wahrscheinlichsten Token, während höhere Werte zwischen 0,7 und 0,95 mehr Vielfalt ermöglichen.

Max Tokens begrenzt die Länge der Ausgabe und sollte zum jeweiligen Anwendungsfall passen. Ein Bericht über eine Betrugsuntersuchung benötigt 1000 bis 2000 Token, eine Antwort im Kundenservice 200 bis 500 und eine einfache API-Antwort 50 bis 100.

Passen Sie die Einstellungen an Produktionsdaten an und nicht an Demo-Szenarien. Verwenden Sie echte Benutzereingaben, messen Sie die Qualität und iterieren Sie entsprechend.

Kontextfenster

Das Kontextfenster legt fest, wie viel Informationen der Agent gleichzeitig berücksichtigen kann. Längere Fenster ermöglichen komplexeres Denken, erhöhen aber auch Kosten und Latenz. Die Fenstergrößen variieren stark: 128 K Token für GPT-4 Turbo, 200 K für Claude 3.5, 8 K für Llama 3 70B (bis zu 32 K in einigen Varianten) und bis zu 1 M für Gemini Pro.

Ein Agent für die medizinische Triage kommt mit 8K aus, da jede Interaktion aus einigen hundert Konversations-Token sowie ein paar Seiten an klinischen Leitlinien besteht. Ein Agent für die Analyse von Verträgen profitiert von 200K, da dadurch ganze Verträge samt zugehöriger Rechtsprechung und Vorschriften in einem Fenster dargestellt werden können, was die Qualität im Vergleich zum Aufteilen der Dokumente erheblich verbessert. Ein Kundenservice-Agent, der mit Produktkatalogen, Bestellhistorien und Richtliniedokumenten arbeitet, kommt gut mit 32K bis 64K aus – ein guter Ausgleich zwischen Leistungsfähigkeit und Kosten.

Auch die Speicherarchitektur beeinflusst diese Wahl. Vektordatenbanken können die relevanten Informationen abrufen, wodurch der Bedarf an einem riesigen Speicherbereich verringert wird.

Kosten, Latenz und Genauigkeit

Jedes Produktionsystem abwägt diese drei Faktoren gegeneinander.

Was die Kosten angeht, liegt der Preis für GPT-4 bei etwa 30 US-Dollar pro Million Eingabetoken und 60 US-Dollar pro Million Ausgabetoken; Claude 3.5 Sonnet liegt im gleichen Bereich. Llama 3 70B verursacht hingegen Infrastrukturkosten, weist aber keine Gebühr pro Token auf. Ein beschäftigter Serviceagent im Einzelhandel, der täglich 100.000 Interaktionen mit jeweils etwa 500 Token bearbeitet, könnte monatlich API-Kosten in Höhe von 45.000 US-Dollar haben, was einen Grund dafür bieten könnte, Llama selbst zu hosten oder kleinere Modelle zu verwenden. Ein weniger aktiver Wartungsmitarbeiter in der Luftfahrt, der monatlich 1.000 komplexe Interaktionen bewältigt, könnte etwa 500 US-Dollar Kosten verursachen – in diesem Fall ist die Qualität von GPT-4 eine sinnvolle Investition.

Was die Latenz angeht, liegt die Zeit bis zum ersten Token zwischen 200 Millisekunden und 2 Sekunden, abhängig von der Größe des Modells und der Hostumgebung. Die Gesamtantwortzeit umfasst zudem die Inferenzzeit, Aufrufe von Tools sowie die Verarbeitung. Ein Echtzeit-Kundengespräch wirkt bei einer Dauer von über 3 Sekunden langsam, weshalb schnellere Modelle oder Streaming-Lösungen verwendet werden sollten. Batch-basierte Betrugsuntersuchungen können bei verbessertener Genauigkeit 10 bis 30 Sekunden pro Transaktion in Anspruch nehmen. Ein Qualitätskontrollmitarbeiter in einer Montagelinie muss innerhalb von weniger als 2 Sekunden antworten, wofür eine optimierte Implementierung oder kleinere Modelle erforderlich sind.

Was die Genauigkeit betrifft, so handeln größere Modelle im Allgemeinen besser und befolgen Anweisungen genauer, wobei der Unterschied zwischen GPT-4 und kleineren Modellen messbar ist. Wo Entscheidungen hohe Konsequenzen haben, wie beispielsweise bei der Krankentransportplanung, Finanzbetrug oder sicherheitskritischen Systemen, sollte man das beste Modell kaufen – schließlich kostet ein Fehler mehr als das Modell selbst. Bei Aufgaben mit geringeren Anforderungen, wie Produktempfehlungen, einfacher Serviceleistung oder Kategorisierung von Inhalten, reichen oft kleinere Modelle aus. Testen Sie mit Produktionsdaten, um den tatsächlichen Qualitätsunterschied für Ihren konkreten Fall zu ermitteln, da die scheinbaren Ergebnisse oft von der Realität abweichen.

Kombination mehrerer Modelle

Produktionsysteme verwenden häufig unterschiedliche Modelle für verschiedene Aufgaben, wobei die Anfragen an das passende Modell weitergeleitet werden. Günstige, schnelle Modelle übernehmen einfache Aufgaben, während teure, leistungsstarke Modelle komplexe Aufgaben bewältigen. Messen Sie Kosten und Qualität anhand Ihrer eigenen Arbeitslast.

In der Bankenbranche könnte die Betrugsprävention auf drei Ansätze aufgeteilt werden: GPT-4 für die tiefgehende Musteranalyse und Berichterstellung (hohe Qualität, wenige Anrufe), GPT-3.5 Turbo für die vielen Kundenbenachrichtigungen (ausreichende Qualität und günstiger) sowie ein fein abgestimmtes Llama 3 8B zur schnellen und kostengünstigen Klassifizierung von Transaktionen.
Ein Krankenhaus-Triage-System könnte Claude 3.5 für die Symptomanalyse einsetzen, die einen umfangreichen medizinischen Kontext erfordert, GPT-4 für eine natürliche, einfühlsame Kommunikation mit Patienten sowie ein spezialisiertes medizinisches Modell für gezielte Unterstützung bei klinischen Entscheidungen.
Im Einzelhandel könnte man sich auf GPT-4 für Servicegespräche stützen, die logisches Denken erfordern, auf Embedding-Modelle hinter Produktsuchfunktionen und Empfehlungen sowie auf einen fein abgestimmten Klassifikator für einfache Routenbestimmungen.

Modellwahl nach Branche

Erkennung von Bankbetrug: Claude 3.5 als Primärtool, da sein 200.000-Wort-Kontext eine vollständige Transaktionshistorie sowie regulatorische Richtlinien enthält, und GPT-4 Turbo als Sekundärtool für Kundenkommunikation. Ermittlungen erfordern eine detaillierte Musteranalyse langjähriger Historien und regulatorischer Dokumente, was die höheren Kosten rechtfertigt.
Optimierung des Einzelhandelslagers: GPT-4 Turbo als Primärtool für die Bedarfsprognose, ergänzt durch selbst gehostetes Llama 3 70B als Sekundärtool für Echtzeit-Preisgestaltung. Strategien benötigen qualitativ hochwertige Schlussfolgerungen, während die Echtzeit-Preisgestaltung in großen Mengen vorteilhaft ist, wobei sich das Selbsthosting lohnt.

Gesundheitsversorgung – Patiententriage: GPT-4 als Primärmodell aufgrund seiner bewiesenen Zuverlässigkeit bei sicherheitskritischen Entscheidungen, Claude 3.5 als Backup für komplexe Fälle mit langen medizinischen Vorgeschichten sowie ein fein abgestimmtes Domänenmodell als Sekundärmodell für routinemäßige Klassifizierungen. Komplexe Fälle erfordern die beste Qualität, während bei routinemäßigen Fällen günstigere Spezialisten ausreichen.

Fertigung – Qualitätskontrolle: GPT-4 Vision als Primärmodell für die Bildanalyse, ergänzt durch ein auf dem eigenen Rechner fein abgestimmtes Llama 3 8B zur schnellen Fehlererkennung. Bei Inspektionen an Produktionslinien ist eine geringe Latenzzeit wichtig; das kleine Modell kümmert sich um routinemäßige Fälle, während GPT-4 Vision komplexe visuelle Probleme bearbeitet.

Bauernwirtschaft – Pflanzenüberwachung: Selbst gehostetes Llama 3 70B auf Edge-Geräten als Primärmodell, ergänzt durch GPT-4 für komplexe Krankheitsdiagnosen anhand von Bildern. Unregelmäßige Netzverbindungen und abgelegene Standorte erfordern eine lokale Hostung – routinemäßige Überwachungen bleiben lokal, schwierige Fälle werden an die Cloud übertragen.

Luftfahrtwartung: GPT-4 als Primärmodell, da sicherheitskritische Entscheidungen die beste Qualität erfordern, wobei Claude 3.5 als Backup zum Lesen von Wartungshandbüchern und Vorschriften dient. Sicherheit ist nicht verhandelbar – Vorschriften bedeuten lange Dokumente, Redundanz sowie menschliche Überwachung sind zwingend erforderlich.

Die Auswahl muss Ihren eigenen Anforderungen an Genauigkeit, Latenzgrenzen, Kosteneffizienz, Datenschutzvorgaben, Einsatzumgebung und Risikotoleranz entsprechen.

Die Grundlagen schaffen

Die Grundlagen bestimmen alles, was danach folgt. Definieren Sie das Ziel klar mit messbaren Erfolgskriterien, entwerfen Sie Anfragen, die ein konsistentes, sicheres Verhalten erzeugen, und wählen Sie Modelle aus, die für den jeweiligen Anwendungsfall Qualität, Kosten und Latenz in Einklang bringen.

Diese drei Schritte sind für etwa 60 % des Erfolgs eines Agenten verantwortlich. Ihr Auslassen oder Überstürzen führt zu Systemen, die in der Produktion versagen, während eine sorgfältige Umsetzung die verbleibenden architektonischen Aspekte vereinfacht.