Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: LLM-as-a-Judge
Diagnose von RAG-Fehlern: Eine Schritt-für-Schritt-Anleitung sowie ein Groundedness-Prüfer auf Behauptungs-Ebene
Ermitteln Sie, an welcher Stelle die RAG-Pipeline versagt hat, und entwickeln Sie anschließend einen Groundedness-Prüfer für LLMs, der die Behauptungen nacheinander überprüft und durch Kappa gegen menschliche Bewertungskräfte validiert wird.
9 Min. LesezeitLLM-Prompts in Produktion evaluieren und auf Regressionen testen
Evaluationssets, Rubriken und Regressionssuites aufbauen, die zeigen, ob eine Prompt-Änderung geholfen hat: exakte Prüfungen, LLM-Judges, Zielkonflikte und Golden Cases.
8 Min. LesezeitDas Training Ihres eigenen LLM-Bewerters: Von PandaLM und JudgeLM bis hin zu Prometheus
Wie feintuningsfähige Bewertungsmodelle erstellt werden – von Daten und Bewertungskriterien über Bias-Kontrolle bis hin zur Meta-Bewertung – sowie ein praktischer Leitfaden für das Trainieren eines domänenspezifischen LLM-Bewerters.
39 Min. LesezeitEine abhängigkeitsfreie Bewertung von LLMs mit einem Richter, dem man wirklich vertrauen kann
Erstellen Sie eine einfache Bewertungsmethode für große Sprachmodelle anhand echter Protokolle, Code-Überprüfungen sowie eines einzigen Bewertungskriteriums, kalibrieren Sie anschließend diesen Bewertungsmechanismus anhand menschlicher Etiketten, damit seine Ergebnisse aussagekräftig sind.
9 Min. LesezeitDie Verwaltung von LLM-as-a-Judge als lebendiges Produktionsystem
Erfahren Sie, wie Netflix’ vierstufiges Lebenszyklusmodell – mit echten Daten, auf Skalen angepasster Schulung, sicherer Einführung und kontinuierlicher Überwachung – dafür sorgt, dass ein LLM-Bewertungsmodul in großem Maßstab präzise bleibt.
20 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.