Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: llm-evaluation
Warum die Genauigkeitsscores von Agenten irreführen: pass^k, Verzerrungen und Fehlerinjektionen
Warum pass@1 unzuverlässige KI-Agenten versteckt und wie pass^k, Eingabeverzerrungen sowie Fehlerinjektionen Lücken in Konsistenz, Stabilität und Fehlertoleranz aufzeigen.
9 Min. LesezeitDiagnose von RAG-Fehlern: Eine Schritt-für-Schritt-Anleitung sowie ein Groundedness-Prüfer auf Behauptungs-Ebene
Ermitteln Sie, an welcher Stelle die RAG-Pipeline versagt hat, und entwickeln Sie anschließend einen Groundedness-Prüfer für LLMs, der die Behauptungen nacheinander überprüft und durch Kappa gegen menschliche Bewertungskräfte validiert wird.
9 Min. LesezeitAggressives Feintuning: Training einer Wissens-Wiki anstelle von Modellgewichten
Führen Sie den ML-Trainingszyklus auf einer Wiki mit aus Unternehmensdokumenten gewonnenen Erkenntnissen durch: Benchmarks, die aus Rohdaten erstellt werden, geheime Fragen sowie ein Zertifikat mit ehrlichen Grenzen.
9 Min. LesezeitRAG oder Wissensgraphen? 2.160 bewertete Antworten und der Einfluss des Modells
RAG gegen Wissensgraph, gemessen an: 2.160 bewerteten Antworten aus drei Modellfamilien und 120 Fragen. Der Gewinner wechselt je nach Modell, und das Modell ist am wichtigsten.
9 Min. LesezeitGetestet wird ein Bewertungssystem, das die falsche Endaktion eines Agenten erneut prüft.
Ein Experiment mit 30 Fällen: Ein LLM-Richter zusammen mit einer erneuten Überprüfung reduzierte falsche Unterstützungsmaßnahmen von 6 auf 2 – und warum das Erkennen einer Verletzung nicht immer bedeutet, dass der Agent sie behebt.
7 Min. LesezeitVom Evaluieren zu selbstverbessernden Agenten: Fünf Epochen der Agentenbewertung
Die Bewertung von Agenten bedeutet heute die Überprüfung von Spuren. Sehen Sie, wie deterministische Prüfungen, LLMs und Agentenrichter, Diagnosen sowie ein Meta-Tool einen sicheren Verbesserungskreislauf schaffen.
7 Min. LesezeitBewertung und Optimierung von Agenten: Vergleich von DSPy, TextGrad, Reflexion und OPRO
WieDSPy, TextGrad, Reflexion und OPRO als Rückkopplungsschleifen für Agenten zusammenwirken, welche man zuerst einsetzen sollte und wie man in einem Unternehmen Bewertung von Optimierung trennt.
12 Min. LesezeitEval-Driven Development für KI-Agenten: Verträge, Spuren und Richter
Betrachten Sie Evaluierungen als CI/CD für Agenten: Nutzen Sie Versionsanfragen als Verträge, verfolgen Sie Ausführungen mit OpenTelemetry und Tempo und testen Sie anschließend mit deterministischen Überprüfungen sowie einem LLM-Bewerter.
13 Min. LesezeitSchließungszyklus-Bewertungen für einen Produktionsbildalgorithmus: Was Uber Eats vorgestellt hat.
Eine Fallstudie zum Bewertungsdesign hinter dem Bildverbesserungsalgorithmus von Uber Eats: Router-Rückruf, Pass@K, Drift-Diagnose, Autotuning sowie schichtweise Qualitätskontrollen.
7 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.