Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: evals
Aufbau eines Agentenverbesserungszyklus mit LangGraph- und LangSmith-Bewertungen.
Ein schrittweiser LangGraph- und LangSmith-Zyklus: Datenerfassung, drei Bewertungsebenen, Clusterbildung bei Fehlern, Offline-Regressionssätze und Vorabbewertungen.
24 Min. LesezeitVibe Coding gegen Agentic Engineering: Was Googles neues SDLC-Paper behauptet.
Eine Zusammenfassung von Googles Whitepaper zum neuen SDLC: Überprüfung als Trennlinie, Harness statt Modell, Kontextengineering, die 80%-Falle sowie Conductor gegenüber Orchestrator.
9 Min. LesezeitBewertungen für GenAI und Agenten: Einzel-Schritt- versus Mehr-Schritt-Testing in CI
Vergleichen Sie trace-basierte Ein-Schritt-Bewertungen mit simulatorgesteuerten Mehr-Schritt-Bewertungen und berücksichtigen Sie dabei Goldens, LLM-Judys, Agentenmetriken, CI-Gates sowie sieben Arbeitspraktiken.
8 Min. LesezeitBewertung von KI-Agenten: Goldene Sets, LLM-Urteiler und CI-Regressionstüren
Offline- und Online-Bewertung für Agenten mit AgentCore, LangFuse, Ragas und DeepEval, sowie Gold-Datensätze, CI-Gating, A/B-Tests und Gedächtnisfeedback.
18 Min. LesezeitBestätigungen für Prüfaufträge an einen Agenten wurden niemals erstellt: Überprüfung der Werte statt der Formulierungen
Wie man einen Bewertungstool für Konsistenz der Anfragen erstellt, das von Support-Mitarbeitern zur Prüfung echter Bestellungen verwendet wird: Teilen Sie die Ergebnisse nach Eigentümern auf und überprüfen Sie die Identifikatoren anhand der Ergebnisse des Tools.
16 Min. LesezeitEin ehrlicher Vektor-Speicher: Lebenszyklus, Nutzerberechtigungen, Metadaten, hybrider Suchmodus
Ein Vector-Store für RAG in der Produktion betreiben: Dokumentlebenszyklus, Aktualisierung von Embeddings, Tenant-Filter, hybrider Suchmodus für exakte IDs, Metadaten und Tracing.
9 Min. LesezeitEval-Driven Development für KI-Agenten: Verträge, Spuren und Richter
Betrachten Sie Evaluierungen als CI/CD für Agenten: Nutzen Sie Versionsanfragen als Verträge, verfolgen Sie Ausführungen mit OpenTelemetry und Tempo und testen Sie anschließend mit deterministischen Überprüfungen sowie einem LLM-Bewerter.
13 Min. LesezeitBewertung von Agenten mit einem Reisebot: Ergebnis gegen Verlauf, Schwellenwerte und Pass^k.
Ein beispielhafter Fall für die Bewertung von Reisebuchungsagenten: Achsen für Ergebnis und Verlauf, deterministische Schwellenwerte vor gewichteten Scores, eine 2x2-Matrix sowie Pass@k gegenüber Pass^k.
8 Min. LesezeitAgentenfähigkeiten sind ein Code: Bestimmen, offenlegen, scripten und testen Sie sie
Warum SKILL.md die Produktionslogik ist: Schreiben Sie nur prozedurales Wissen, justieren Sie die Aktivierung, laden Sie schrittweise, verlagern Sie die genauen Aufgaben in Skripte, erstellen Sie Bewertungen und löschen Sie die unbrauchbaren.
10 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.