Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: llm-as-judge
Wer bewertet den Bewertungsmechanismus? Validierung von Bewertungstools, bevor man ihnen vertraut.
Wer überprüft das Bewertungssystem? Richterische Verzerrungen, ausschließlich auf das Ergebnis ausgerichtete Bewertung, private Fehlermuster sowie versteckte Kosten können dazu führen, dass die Bewertungen von großen Sprachmodellen falsch sind. Überprüfungen des Systems selbst.
7 Min. LesezeitBewertung von KI-Agenten: Goldene Sets, LLM-Urteiler und CI-Regressionstüren
Offline- und Online-Bewertung für Agenten mit AgentCore, LangFuse, Ragas und DeepEval, sowie Gold-Datensätze, CI-Gating, A/B-Tests und Gedächtnisfeedback.
18 Min. LesezeitWenn Modelle Architektur bewerten: Kriterienfehler, für die man Budget einplanen sollte
LLM-Prüfer entwickeln strenge Kriterien für Architekturen, verwechseln Demonstrationen mit Produkten und belohnen Standardtexte. Fehler in den Bewertungskriterien, die nicht berücksichtigt werden, und wie man sie behebt.
13 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.