Fünf Ebenen von KI-Engineering-Projekten, von Chatbots bis hin zu sich selbst verbessenden Agenten.

Personalverantwortliche für Stellen in der KI-Entwicklung sehen immer wieder dasselbe Portfolio: einen Chatbot mit einer ansprechenden Benutzeroberfläche. Der Unterschied zwischen diesem und dem, was die Teams hinter Produkten wie Claude Code und Codex tatsächlich entwickeln, erscheint enorm – doch der Weg von dem einen zum anderen folgt einer recht klaren Abfolge von fünf Ebenen. Wenn man weiß, auf welcher Ebene ein Projekt sich befindet, weiß man auch, was als Nächstes entwickelt werden sollte. Viele Menschen geraten ins Stocken, weil sie weiterhin Projekte für die erste Stufe erstellen.

Ebene 1: Ein Modell hinter einer einfachen Benutzeroberfläche

Am Ende ruft ein Projekt eine Sprachmodell-API auf (meist OpenAI oder Anthropic) und stellt etwas Einfaches wie eine Streamlit-App davor. Man kann sich einen Chatbot vorstellen, der Kundenfragen beantwortet, oder eine kleine Funktion, die Artikel zusammenfasst. Es gibt auch Prompt-Engineering, wobei die Prompts in der Regel nicht nachverfolgt oder getestet werden. Es kann strukturierte Ausgaben geben, einige Tests, um zu überprüfen, ob das Modell die Daten korrekt verarbeitet, sowie einige Fallback-Logiken für den Fall, dass das Modell Fehler macht.

Ein Anfänger kann hier anfangen, indem er kostenlose Tutorials anschaut, um zu erkennen, welche Tools vorhanden sind und wie sie zusammenpassen, und anschließend ein Wochenende damit verbringt, ein persönliches Problem zu lösen – beispielsweise einen Coach für das Vorbereiten von Mahlzeiten.

Die Einschränkung besteht darin, dass es nur dann funktioniert, wenn es zufällig klappt. Die Anfragen werden nicht versioniert, sodass man nicht erkennen kann, ob eine Änderung geholfen hat. Es gibt keine Metriken für die Ausgabequalität. Zudem kennt der Bot nur das, worauf das Modell trainiert wurde, sowie alles, was es im Internet findet – wodurch der Kontext, den Ihr Unternehmen besitzt, außer Acht bleibt.

Niveau 2: Abruf und Bewertung

Sobald diese Einschränkungen zu Problemen führen, befinden Sie sich auf Niveau 2. Angenommen, jemand bittet um ein System, das die interne Dokumentation des Teams nutzen kann. Die Lösung ist die durch Abruf erweiterte Generierung, bei der das Modell auf eine interne Wissensdatenbank zugreifen kann.

Die Einbindung von RAG ist der einfachere Teil. Der schwierige Teil besteht darin herauszufinden, ob die Antworten richtig sind – und falls nicht, warum. Dafür muss man wissen, wie Dokumente in Blöcke aufgeteilt werden, wie diese für eine Vektordatenbank eingebettet werden sowie welche der vielen Suchmethoden die richtigen Blöcke für eine neue Frage liefern. Zudem sind Bewertungsmethoden erforderlich, die sowohl für jeden einzelnen Bestandteil als auch für das gesamte System spezifisch sind. Man muss Kennzahlen auswählen, wissen, was gut ist, und prüfen, ob die Antworten den Bedürfnissen des Kunden entsprechen.

Um vom Niveau 1 aufzusteigen, nimmt man den bereits erstellten Chatbot und verbindet ihn mit Inhalten, die das Modell noch nie gesehen hat. Für den Ernährungstrainer könnten dies eigene Essprotokolle oder Lieblingsrezepte der Familie sein. Wenn das funktioniert, kann man Fragen zu eigenen Daten stellen, individuelle Antworten erhalten und sicher sein, dass das System präzise arbeitet.

Dann taucht das nächste Problem auf: Wie lässt man die KI etwas mit diesen Informationen anstellen?

Niveau 3: Agenten

Auf Niveau 3 unternimmt das System Handlungen anstelle nur zu antworten. Ein Agent ist ein Modell, das Werkzeuge nutzen und Entscheidungen treffen kann. Man gibt ihm ein Ziel, und er arbeitet in einem Zyklus: entscheiden, handeln, das Ergebnis überprüfen, den nächsten Schritt wählen, wiederholen bis alles erledigt ist. Seine Werkzeuge können im Internet suchen, APIs aufrufen, Code ausführen oder eine Datenbank aktualisieren. Ein Forschungsagent kann Informationen aus Dutzenden Quellen ziehen, um einen Bericht zu verfassen, während ein Support-Agent Bestellungen abrufen und Anfragen eigenständig bearbeiten kann.

Das ist wohl der unterhaltsamste, aber gleichzeitig auch einer der riskantesten Aspekte der KI-Entwicklung heute. Jede Funktion, die Sie bereitstellen, ist ein weiterer Punkt, an dem etwas schiefgehen kann. Auf Stufe 2 bedeutete die Bewertung das Vergeben einer Punktzahl für eine Antwort. Jetzt müssen Sie eine Abfolge von Entscheidungen bewerten – ein falscher Schritt zu jedem Zeitpunkt kann alles danach ruinieren. Die Folgen sind besonders gravierend, wenn der Agent auf Ihre Kreditkarte, Ihren Code oder Ihre E-Mails zugreift; daher sind die Risiken von vornherein höher.

Eine praktische Vorstellung: Ein Bot auf Stufe 2, der eine schlechte Antwort gibt, kostet jemanden eine Minute Zeit. Ein Agent auf Stufe 3, der eine Anweisung falsch interpretiert, kann die falsche E-Mail versenden, die falsche Karte belasten oder fehlerhaften Code bereitstellen – und niemand bemerkt es, bis der Schaden bereits entstanden ist.

Ein Agent, der diese Aufgaben verantwortungsvoll bewältigt, kann mehrstufige Aufgaben von Anfang bis Ende abschließen und so Stunden einsparen. Um vom Niveau 2 aus dorthin zu gelangen, sollte dem bestehenden System ein echtes Werkzeugset zur Verfügung gestellt werden, es zunächst aber nur für den Lesmodus genutzt werden. Der Agent könnte Essensprotokolle durchsuchen, einen Nährwertrechner verwenden und im Internet suchen – ohne die Möglichkeit, etwas zu ändern. Anschließend muss der Ablauf zwischen diesen Werkzeugen funktionieren, wobei eine Überwachungsfunktion vorhanden sein muss. Erst nachdem der Agent als zuverlässig und sicher erwiesen wurde, sollte ihm mehr Befugnisse eingeräumt werden.

Zwischen einem Agenten, der einem hilft oder als interne Hilfsmittel dient, und einem mehragentigen System, auf das Millionen von Menschen zählen können, besteht weiterhin eine Lücke.

Diese Lücke zu schließen bedeutet, über die Frage hinauszudenken, ob der Agent auf dem eigenen Laptop funktioniert. Er muss weiterhin arbeiten, wenn gleichzeitig Tausende von Anfragen eintreffen und Nutzer Dinge tun, die niemand vorhergesehen hat.

Niveau 4: Unternehmensumfangreiche Systeme

Dies ist das Gebiet der Rollen, bei denen ein Jahresgehalt von über 300.000 US-Dollar angegeben wird. Anstatt dass ein einziger Agent alles erledigt, übertragen spezialisierte Agenten die Aufgaben untereinander. Einer analysiert den Antrag und leitet ihn weiter, andere kümmern sich jeweils um einen Teil davon, und ein weiterer überprüft die Arbeit, bevor sie versandt wird. Eine Support-Struktur kann einen Agenten zur Priorisierung und Weiterleitung der Anfragen haben, separate Billing- und Technikagenten, die ihre jeweiligen Aufgaben bearbeiten, sowie einen letzten Agenten, der die gesamte Antwort überprüft, bevor sie vom Kunden gesehen wird – all das läuft gleichzeitig für Millionen von Nutzern.

Das Koordinieren eines Teams von Agenten ist etwas völlig anderes als das Führen eines einzelnen Agents. Jeder zusätzliche Agent ist ein weiterer Punkt, der fehlschlagen kann; ein Fehler eines Agents wirkt sich direkt auf den nächsten aus, und da dies vor Kunden stattfindet, sind schlechte Antworten öffentlich sichtbar und teuer.

Ein Blick auf die Codebasis von Claude Code zeigte, dass die KI selbst nur ein winziger Teil davon ausmacht. Fast alles Weitere sind Strukturen, die dafür sorgen, dass das Produkt zuverlässig bleibt.

Modelle sind der Teil, über den alle sprechen, doch die meisten Arbeitsstunden auf dieser Ebene fließen in technische Aspekte wie Wiederholungsversuche, Berechtigungen, Protokollierung, Zustandsverwaltung sowie in Kontrollmechanismen, die verhindern, dass ein Fehler sich ausbreitet. Die meiste Arbeit auf dieser Ebene dreht sich daher um die Agenten: Umverfolgung, damit man sehen kann, was jeder Agent getan hat, wenn etwas schiefgeht; Schutzmaßnahmen, damit niemand einen Agenten dazu bringen kann, Daten zu leaken; sowie Kontrolle über Kosten und Latenz – zusätzlich zu den Prompts, RAG-Methoden und Bewertungen aus früheren Ebenen.

Zum Üben des Sprungs vom Niveau 3 teilt man den Ernährungstrainer in ein kleines Team auf. Ein Agent plant die Mahlzeiten, ein anderer erstellt die Einkaufsliste (und bestellt möglicherweise die Lebensmittel), und ein Prüfer überprüft den Plan, bevor er veröffentlicht wird. Versuchen Sie anschließend absichtlich Fehler einzubauen: Fügen Sie dem Planer ein falsches Zutat hinzu und sehen Sie, ob der Prüfer es entdeckt oder durchlässt. Den Teil mit den Millionen von Nutzern werden Sie nur im Berufsleben umsetzen, aber Sie können bereits jetzt etwas entwickeln, das sich durch den Einsatz von Cloud-Diensten skalieren lässt, wobei Sie von Anfang an Kosten und Zuverlässigkeit berücksichtigen sollten. Teams von Agenten, die bei hoher Auslastung weiterhin funktionieren, bilden die Grundlage für den Geschäftsbetrieb von Unternehmen – und die Gehälter spiegeln das wider.

Niveau 5: Agenten, die das System aufbauen

Auch auf Niveau 4 sind die Ingenieure das Engpassproblem. Auf Niveau 5 rücken Sie aus dem Weg. Das ist die fortschrittlichste Arbeit im Bereich: Anstatt das System manuell zu konstruieren, übertragen Sie Agenten die Aufgabe, es zu verbessern.

Das geht über den Einsatz von Programmieragenten zur Erstellung von Code hinaus, was auf jedem Niveau der Fall ist, sowie über entwicklungsorientierte Ansätze, bei denen ein Agent das umsetzt, was Sie beschreiben. Die führenden Teams, die Claude Code und Codex entwickeln, steuern die Agenten nicht mehr bei jeder Änderung. Sie bauen Systeme, die sich selbst verbessern, indem sie einen Kreislauf nutzen: Ein Agent prüft die Leistung, schlägt eine Änderung vor, führt sie durch, testet, ob sie geholfen hat, und behält sie bei oder verwirft sie – anschließend beginnt der Prozess erneut, stunden- oder tagelang, ohne menschliche Beteiligung.

Zwei Datensätze zeigen an, wo dies der Fall ist. In einem Projekt von Andrej Karpathy führte ein einzelner Agent über zwei Tage hinweg etwa 700 Experimente eigenständig durch und fand zwanzig Möglichkeiten, das Modelltraining zu beschleunigen. Anthropic gibt an, dass der größte Teil des Codes, der in ihre eigene Codebasis integriert wird, mittlerweile von Claude geschrieben wird.

Der gesamte Prozess hängt davon ab, dass der Agent seine eigene Arbeit immer wieder korrekt beurteilt – ohne Überprüfung – und das ist schwierig. Wenn die Bewertung auch nur geringfügig falsch ist, wird der Agent das Produkt nicht verbessern. Er wird den Fehler in der Bewertung finden und ihn ausnutzen, um eine hohe Punktzahl zu erzielen, während das eigentliche Produkt auf Arten schlechter wird, die niemand in Betracht gezogen hat.

Die hier geforderten Fähigkeiten sind äußerst anspruchsvoll. Man muss eine Bewertungsmethode entwickeln, bei der der Agent nicht betrügen kann, und dessen Leistung an das binden, was das Produkt wirklich gut macht, damit er nicht einfach leicht erreichbare Werte vortäuschen kann. Man muss alles überwachen, da man die Prozesse nicht in Echtzeit beobachten kann und nur die hinterlassenen Spuren lesen kann. Zudem muss man genau wissen, wo ein Mensch noch eingreifen muss. Selbst die besten Teams arbeiten nicht vollständig ohne Einmischung: Menschen wählen die Probleme aus, entwerfen die Bewertungskriterien und genehmigen, was in die Produktion geht.

Das ist kein Niveau, das man durch ein paar Wochen Selbststudium erreicht. Jede Fähigkeit entsteht durch jahrelange Erfahrung im Betrieb von Produktionsystemen, beim Beobachten ihrer Störungen und beim Verbessern derselben.

Die Logik ist einfach. Über Belohnungsbetrug kann man bereits am Nachmittag lesen, doch den Moment erkennen, in dem eigene Messgrößen ausgenutzt werden, erfordert, dass man dies bei etwas Wichtigem beobachtet und anschließend die Messung so umgestaltet, dass sie weiterhin zuverlässig ist.

Die meisten Menschen benötigen nicht das Niveau 5. Viele Aufgaben im Bereich künstlicher Intelligenz in der Produktion liegen realistischerweise auf Niveau 2 oder 3, und manchmal reicht bereits eine gut formulierte Anweisung in Kombination mit einer einfachen Bewertung aus, um etwas Nützliches zu erstellen. Ingenieure werden eingestellt, weil sie nützlich sind – nicht wegen ihrer Prunkvollheit.