LLM gegen AI-Agent: Eine Interviewfrage mit sechs Nachfragen verfolgen

Fragen Sie einen Bewerber für eine Stelle als KI-Engineer, was ein LLM von einem KI-Agenten unterscheidet – eine typische erste Antwort lautet, dass ein LLM Text erzeugt, während ein Agent Aktionen ausführt. Der Interviewer nickt selten und geht weiter. Die anschließenden Fragen zeigen, ob der Bewerber mit echten Systemen gearbeitet hat oder nur Definitionen auswendig gelernt hat. So verläuft in der Regel dieses Gespräch, Frage für Frage.

Was ein LLM von selbst tut

Ein Sprachmodell erzeugt Ausgaben auf der Grundlage des Kontexts, den es erhält. Es kann Fehler erklären, in die Anfrage eingefügte Protokolle zusammenfassen oder strukturierte Daten zurückgeben. Es kann jedoch nicht einfach in eine private Datenbank zugreifen, nur weil jemand darum bittet. Wenn der Interviewer also fragt, wie ein KI-Support-Assistent eine aktuelle Transaktion überprüfen könnte, lautet die Antwort: Tools zusammen mit Anwendungscode.

Wie ein Tool verwendet wird

Stellen Sie sich eine Kundennachricht vor: „Meine Zahlung war erfolgreich, aber die Bestellung wurde nicht erstellt.“ Die Backend-Schicht bietet nur einige begrenzte Funktionen an:

getPaymentStatus(transactionId)
getOrderStatus(transactionId)
createSupportTicket(details)

Die Anwendung sendet ihre Namen sowie die Parameter-Schemata zusammen mit dem Gespräch, und das Modell kann mit etwas Ähnlichem antworten:

{
  name: "getPaymentStatus",
  arguments: { transactionId: "txn_123" }
}

Die nächste Frage des Interviewers ist eine Falle: Hat das Modell gerade den Zahlungsdienst aufgerufen? Nein. Es hat lediglich eine strukturierte Anfrage zur Verwendung eines Tools erzeugt. Noch wurde nichts ausgeführt.

Wer führt tatsächlich den Aufruf durch?

Der Backend-Teil. Der eigentliche Ablauf umfasst sechs Schritte:

1. Die Anwendung sendet die Anweisung zusammen mit den Tool-Definitionen.
2. Das Modell gibt einen Tool-Namen sowie Argumente zurück.
3. Der Backend-Teil überprüft die Eingaben sowie die Berechtigungen des Aufrufers.
4. Dann wird die genehmigte Funktion ausgeführt.
5. Das Ergebnis gelangt als neuer Kontext zurück zum Modell.
6. Das Modell bittet um ein weiteres Tool oder gibt seine endgültige Antwort ab.

Kurz gesagt: Das LLM schlägt vor, während die Anwendung für Ausführung, Zugriffsdaten und Zugriffskontrolle verantwortlich ist. Dieser Satz sollte man parat haben, denn genau daran prüfen erfahrene Interviewer stets die Grenzen.

Was macht das zu einem Agenten?

Auf einer Tafel ist die Gleichung kurz geschrieben:

AI Agent = LLM + Instructions + Tools + State + Execution Loop

Der Agent überwacht seinen Zustand, wählt einen Schritt aus, erhält das Ergebnis und bewertet erneut, was die Schleife erzeugt:

Observe → Decide → Request Tool → Execute → Observe Result → Continue or Stop

Dann stellt sich die Frage, wer das stoppt. Das Modell kann eine endgültige Antwort liefern, doch die Anwendung muss Grenzen setzen. Der Loop sollte bei einer Obergrenze an Schritten, einem Timeout, einem nicht behobbaren Fehler oder bei einem Punkt enden, an dem eine menschliche Genehmigung erforderlich ist.

Mehrere Tools gleichzeitig ausführen

Ob Aufrufe gemeinsam ausgeführt werden können, hängt von Datenabhängigkeiten ab. Der Zahlungsstatus und der Bestellstatus benötigen nur die Transaktions-ID, sodass beide parallel abgerufen werden können:

const [payment, order] = await Promise.all([
  getPaymentStatus(transactionId),
  getOrderStatus(transactionId)
]);

Nehmen wir nun an, die Zahlungsantwort enthält eine Gateway-Referenz, die für den nächsten Aufruf erforderlich ist. Die zweite Operation muss auf die erste warten:

const payment = await getPaymentStatus(transactionId);
const gateway = await getGatewayDetails(payment.gatewayRef);

Eine gute Antwort zeigt, dass der Kandidat prüft, ob die Anrufe unabhängig voneinander sind, bevor er sie parallelisiert.

Erlaubnis geben, dass der Agent einen Rückerstattungsvorgang durchführt

Die richtige Antwort ist, dass allein die Anfrage des Modells nicht ausreicht. Der Backend muss den Kunden, der die Transaktion besitzt, überprüfen, ob sie für eine Rückerstattung in Frage kommt und welche Grenzen gelten. Die Schreiboperation benötigt einen Idempotenzschlüssel sowie ein Audit-Log, und große Rückerstattungen können eine menschliche Genehmigung erfordern. Ein Systemhinweis mit der Aussage „Rückerstattung nur für gültige Transaktionen“ dient dem Modell als Orientierungshilfe. Er gilt jedoch nicht als Autorisierung.

Wie der Interviewer bewertet

Die erste Antwort, „Ein LLM erzeugt Antworten, ein Agent führt Aktionen aus“, war für eine Führungsposition zu oberflächlich. Sie nannte nicht, wer die Aktionen ausführt, wer über Berechtigungen verfügt oder was unsichere Operationen verhindert. Nach weiteren Rückfragen kam der Kandidat zu einer besseren Antwort, doch um von Anfang an die Führungsstufe zu erreichen, hätte die erste Antwort unverzüglich die Anwendungsgrenzen sowie den Agentenzyklus erwähnen sollen.