Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Reliability
Warum die Genauigkeitsscores von Agenten irreführen: pass^k, Verzerrungen und Fehlerinjektionen
Warum pass@1 unzuverlässige KI-Agenten versteckt und wie pass^k, Eingabeverzerrungen sowie Fehlerinjektionen Lücken in Konsistenz, Stabilität und Fehlertoleranz aufzeigen.
9 Min. LesezeitDer nackte Agent: Was schiefgeht, wenn das Modell nicht geschützt wird.
Erstellen Sie denselben ungeschützten Reiseagenten im Claude Agent SDK und LangChain Deep Agents und beobachten Sie anschließend drei Ausfälle, um herauszufinden, welche Steuermechanismen fehlen.
9 Min. LesezeitWarum Produktions-AI-Agenten mehr als nur einen guten Prompt benötigen
Produktions-KI-Agenten benötigen mehr als nur einen guten Prompt: Kontext, Tools, Speicherfähigkeit, Fehlerbehandlung, Überwachbarkeit, Testing sowie Autonomie, die zum tatsächlichen Risiko passen.
7 Min. LesezeitGetestet wird ein Bewertungssystem, das die falsche Endaktion eines Agenten erneut prüft.
Ein Experiment mit 30 Fällen: Ein LLM-Richter zusammen mit einer erneuten Überprüfung reduzierte falsche Unterstützungsmaßnahmen von 6 auf 2 – und warum das Erkennen einer Verletzung nicht immer bedeutet, dass der Agent sie behebt.
7 Min. LesezeitWarum das Agent Harness und nicht das Modell entscheidet, was Wirklichkeit wird.
Ein zeitbegrenzter CRM-Update zeigt, warum Agenten Tool-Verträge, Zustände mit unbekanntem Ausgang, idempotente Wiederholungsversuche sowie verifizierte Abschlüsse benötigen, sowie Kontrollmechanismen, die beibehalten werden sollten.
6 Min. LesezeitBevor ein KI-Agent Produktionsrechte erhält: Verträge, Anspruchsgraphen, Schattenläufe und Kanarienvögel
Ein auf Beweisen basierender Freigabeprozess für KI-Agenten: begrenzte Verträge, zustandsbasierte Szenarien, Fehlereinbringung, Unsicherheitsgrenzen, schrittweise Testverfahren sowie maschinengesteuerte Beförderung.
23 Min. LesezeitHarness, Loop, Graph: Drei Schichten hinter den meisten Fehlern von Produktion-Agenten
Fehler bei Produktionsagenten gehen selten auf das Modell zurück. Trennen Sie das Tool-Harness, die Stoppschranke der Schleife sowie die Graph-Topologie von LangGraph voneinander – jede Komponente hat einen eigenen Verantwortlichen.
24 Min. LesezeitWarum Agenten, die in Demos beeindrucken, in der Produktion versagen – und was stattdessen entwickelt werden sollte.
Warum KI-Agenten, die in Demos beeindrucken, in der Produktion versagen: Wo sie versagen, Kompromisse zwischen Einzel- und Mehr-Agenten-Systemen, Wiederholungsversuche und Rückfallstrategien sowie die tatsächlichen Betriebskosten.
9 Min. LesezeitBewertung von Agenten mit einem Reisebot: Ergebnis gegen Verlauf, Schwellenwerte und Pass^k.
Ein beispielhafter Fall für die Bewertung von Reisebuchungsagenten: Achsen für Ergebnis und Verlauf, deterministische Schwellenwerte vor gewichteten Scores, eine 2x2-Matrix sowie Pass@k gegenüber Pass^k.
8 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.