Das Training Ihres eigenen LLM-Bewerters: Von PandaLM und JudgeLM bis hin zu Prometheus

Sobald ein Sprachmodell in der Lage ist, Aufsätze zu schreiben, Support-Anfragen zu beantworten und Verträge zusammenzufassen, lässt sich die Frage „Ist diese Ausgabe gut?“ nicht mehr einfach beantworten. Die menschliche Überprüfung gilt zwar als Goldstandard, ist jedoch langsam und kostspielig. Klassische Überschneidungsmetriken erfassen die Qualität kaum noch, und das Anweisen eines proprietären Modells zur Bewertung von Ausgaben funktioniert nur dann gut, wenn Ihre Kriterien denen entsprechen, die das Modell bereits kennt. Dieser Leitfaden geht der Forschung zu feinabgestimmten LLM-Bewertern sowie offenen Modellen ein, die speziell zum Bewerten und Kritisieren anderer Modelle trainiert wurden, und endet mit einem konkreten Vorgehensplan, den Sie befolgen können, um einen Evaluator für Ihr eigenes Fachgebiet zu erstellen.

Warum die Bewertung moderner LLMs so schwierig ist

Zwei Eigenschaften der aktuellen Grundmodellarchitekturen erschweren die Bewertung. Die erste ist der Umfang: Von einem einzigen Modell wird erwartet, dass es kodiert, übersetzt, logisch denkt, Formatierungsregeln befolgt, sicher und freundlich bleibt – und jedes dieser Verhaltensweisen erfordert eine eigene Messung. Die zweite Eigenschaft ist die Offenheit. Für fast jeden Prompt gibt es einen großen Bereich an akzeptablen Antworten, die sich in Wortwahl, Struktur, Länge und Betonung unterscheiden; daher kann man nicht einfach prüfen, ob die Ausgabe einer erwarteten Zeichenkette entspricht. Schon die gute Messung einer einzigen Fähigkeit stellt ein Forschungsproblem dar, und ein Produktionsmodell verfügt über Dutzende solcher Fähigkeiten.

Das zuverlässigste Signal stammt weiterhin von Menschen, die Ausgaben lesen und sie bewerten. Das Problem ist, dass menschliche Urteile ungenau sind, kostspielig in der Erhebung und langsam erfolgen, was im Widerspruch zum Tempo der Modellentwicklung steht. Ein Team, das ein Modell mehrmals pro Woche neu trainiert oder mit neuen Anfragen versorgt, kann nicht auf eine neue Annotationskampagne nach jeder Änderung warten. Ein gewisser Umfang an menschlicher Bewertung bleibt unverzichtbar, muss aber durch etwas ergänzt werden, das skalierbar ist.

Diese Notwendigkeit führte zu LLM-as-a-Judge, das im Paper „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena“ vorgestellt wurde: Man gibt einem leistungsstarken, proprietären Modell eine Anweisung, um die Ausgabe eines anderen Modells zu bewerten. Dieser Ansatz ist heute in der Forschung allgegenwärtig, weist jedoch eine Schwachstelle auf. Domänenspezifische Produkte legen oft Wert auf fein abgestimmte Kriterien – beispielsweise ob eine medizinische Zusammenfassung Informationen zur Dosis enthält oder ob eine rechtliche Antwort die richtige Klausel zitiert – und allgemein einsetzbare Modelle können diese nicht zuverlässig beurteilen. In solchen Fällen ist der natürliche nächste Schritt die Schulung eines spezialisierten „Richters“, und das Verständnis, wie dies gut umgesetzt werden kann, ist das Ziel des Rests dieses Artikels.

Das Bewertungswerkzeugset: Menschen, Metriken und modellbasierte Richter

In der Praxis kombinieren Teams menschliche Bewertungen mit automatischen Metriken. Die Menschen liefern die endgültige Beurteilung der Qualität, während automatische Metriken Geschwindigkeit bieten. Da automatische Bewertungen nur eine Annäherung daran sind, was die Menschen denken, werden sie regelmäßig mit menschlichen Überprüfungen abgeglichen. Zwischen diesen Überprüfungen lässt sich jedoch eine weitaus größere Anzahl an Modellvarianten vergleichen, als Menschen jemals prüfen könnten.

Die automatische Bewertung moderner LLMs fällt größtenteils in zwei Kategorien. Die erste ist die auf Benchmarks basierende Bewertung mittels Wahrscheinlichkeit oder Perplexität, die die meisten traditionellen NLP-Benchmarks wie MMLU und BIG-bench umfasst. Diese funktionieren in etwa wie Multiple-Choice-Prüfungen, die herausfinden sollen, was das Modell weiß. Sie sind nützlich, sagen aber wenig darüber aus, wie gut ein Modell eine lange, stilistisch angemessene Antwort auf eine offene Frage verfassen kann.

Für lange, offene Ausgaben gibt es tatsächlich nur zwei Möglichkeiten: Entweder lassen Menschen die Antworten bewerten oder ein leistungsstarkes Modell. Angesichts der Kosten des ersten Ansatzes ist die bewertungsbasierte Methode mit Modellen zur Standardlösung geworden. Sie benötigt keine Referenzantwort, lässt sich leicht einrichten und kommt mit einer breiten Palette von Aufgaben zurecht. In den folgenden Abschnitten wird nacheinander jedes Element dieses Werkzeugs betrachtet, beginnend mit dem menschlichen Aspekt, denn alles andere wird daran gemessen.

Menschliche Bewertung ist die Grundwahrheit – wenn auch keine perfekte.

Menschen können erkennen, was in einer Antwort wirklich wichtig ist: ob sie angemessen kurz, kreativ, im richtigen Tonfall gehalten oder kulturell sensibel ist. Deshalb bleibt die menschliche Überprüfung der Referenzpunkt. Die Annotatoren können aus vielen Bereichen stammen. Man kann wie bei Chatbot Arena Abstimmungen durch die Community einholen, ein spezielles Team engagieren oder, wie das Alpaca-Projekt es tat, die Modellentwickler selbst die Ergebnisse bewerten lassen. Menschen als Maßstab zu verwenden bedeutet nicht, dass ihre Beurteilungen einwandfrei sind. In der Praxis sind sie häufig inkonsistent, ihre Erstellung ist aufwendig und sie unterliegen Vorurteilen.

Konvergenz und Kalibrierung

Auch Aufgaben, die auf den ersten Blick einfach erscheinen, führen oft zu überraschend geringer Übereinstimmung zwischen den Annotatoren. Diese kann man mit einem einfachen Trefferquotienten oder mit chance-korrigierten Statistiken wie Cohen’s Kappa (zwei Bewertende), Fleiss’ Kappa (mehrere Bewertende) oder Krippendorff’s Alpha (flexibel bei fehlenden Labels und verschiedenen Skalentypen) quantifizieren. Die Chancekorrektur ist wichtig: Wenn 80 Prozent der Antworten als „gut“ eingestuft werden, werden zwei Bewertende, die alles als „gut“ markieren, meistens übereinstimmen, ohne etwas Neues zu lernen.

Wenn die Übereinstimmung gering ist, besteht die Lösung in der Kalibrierung – also darin, den Annotatoren beizubringen, die Aufgabe auf dieselbe Weise auszuführen. Ein typischer Ablauf besteht aus einer Überprüfungsphase, in der die Bewertenden sich die Punkte ansehen, über die sie unterschiedlicher Meinung sind, die Fälle erörtern und zu einer gemeinsamen Interpretation gelangen. Die Ergebnisse dieser Diskussionen werden anschließend in die Aufgabenanleitungen eingetragen, sodass die nächste Gruppe von einer klareren Ausgangsbasis ausgeht.

Richtlinien für das Schreiben, die tatsächlich genutzt werden

Richtlinien stellen den schriftlichen Vertrag für eine Annotierungsaufgabe dar. Mindestens müssen sie angeben, was bewertet wird – also die Kriterien – sowie wie jedes Kriterium angewendet werden soll. Gute Richtlinien kombinieren schriftliche Anweisungen mit Beispielen für korrekte und inkorrekte Etiketten, und die Annotatoren konsultieren sie während der gesamten Arbeit statt sie nur einmal durchzulesen. Dadurch werden die Etiketten konsistenter und die Einarbeitung neuer Bewertender erheblich verkürzt. Ein nützlicher Test: Wenn ein Annotator Wissen benötigt, das im Dokument nicht enthalten ist, um ein Element richtig zu bewerten, dann ist das Dokument unvollständig.

Leitlinien sollten ebenfalls als lebende Dokumente betrachtet werden. Das InstructGPT-Team beschrieb beispielsweise, dass es die Anweisungen für den Etikettierprozess im Laufe des Projekts immer wieder überarbeitet hat, da sich ihre Rückmeldungen, Metadatenfelder sowie das Verständnis des Ziels weiterentwickelten, und dass es Passagen korrigiert hat, die als verwirrend oder widersprüchlich erwiesen hatten. Diese Erfahrung ist typisch. Auf den ersten Blick offensichtliche Aufgaben verbergen in der Regel viel Subjektivität, und diese zeigt sich erst, wenn eine Gruppe von Menschen versucht, sich auf Hunderte von konkreten Beispielen zu einigen.

Überwachung der Übereinstimmung im Laufe der Zeit

Die umfangreiche Investition erfolgt zu Beginn: Es werden Kriterien festgelegt, die Bewertender kalibriert und wiederholt an den Vorgaben gefeilt, bis eine akzeptable Übereinstimmung erreicht ist. Erst dann können die menschlichen Bewertungen als zuverlässige Maßzahl für die Qualität des Modells dienen. Die Arbeit endet jedoch nicht dort. Die Übereinstimmung kann aus banalen Gründen nachlassen: Neue Bewertender schließen sich an, erfahrene weichen allmählich von den schriftlichen Regeln ab oder die Leitlinien selbst ändern sich. Die kontinuierliche Überwachung der Übereinstimmung zwischen den Bewertern – beispielsweise durch die Zuweisung eines Teils der Items an mehrere Bewertender – ist der einzige Weg, dies rechtzeitig zu erkennen, bevor es heimlich Ihre Bewertungsdaten verfälscht.

referenzbasierte Metriken und warum sie nicht mehr funktionieren

Frühere Generationen von Sprachmodellen wurden üblicherweise mit Metriken wie ROUGE für Zusammenfassungen und BLEU für Übersetzungen bewertet. Beide sind referenzbasiert: Sie vergleichen die Modellausgabe mit einer „Gold-Answer“-Lösung, hauptsächlich durch die Zählung überschneidender n-Gruppen, und belohnen Ausgaben, die mehr Wörter und Phrasen mit dieser Referenz teilen.

Sobald sich die Modelle verbesserten, verloren diese Metriken an Bedeutung. Studien zu den Ausgaben von großen Sprachmodellen haben gezeigt, dass solche Metriken nur schwach mit menschlichen Präferenzen korrelieren – zu dem Grad, dass keine der untersuchten klassischen Metriken eine gute Abbildung des menschlichen Urteils liefern konnten. Sie existieren weiterhin hauptsächlich, weil ihre Berechnung nahezu kostenlos ist. Falls Sie bereits Referenzantworten haben, dienen sie weiterhin als schnelle Überprüfung, um beispielsweise einen Rückfall zu erkennen, bei dem ein Zusammenfassungsmodell plötzlich leere oder themenfremde Texte erzeugt.

Der grundlegende Grund für ihr Scheitern ist strukturell bedingt. Eine auf Referenzen basierende Metrik stellt im Wesentlichen eine fortgeschrittene Fuzzy-Matching-Methodik gegenüber einem einzigen Ziel dar. Moderne Modelle sind offenen Typs: Ein Prompt ermöglicht viele gleichermaßen gute Antworten, die nur wenige n-Gramme mit der Referenz teilen. Eine Bewertungsmethode, die Ähnlichkeit mit einer bestimmten Antwort belohnt, kann den gesamten Bereich der gültigen Antworten nicht abbilden; daher wird sie perfekt gute Paraphrasen bestrafen und fließenden Text belohnen, der zufällig das Vokabular der Referenz wiederverwendet, obwohl er falsch ist.

Bewertung von LLMs durch Prompts

Die Schwächen der Überschneidungsmetriken führten dazu, dass das Feld zu flexibleren, modellbasierten Bewertungsmethoden überging. Die beliebteste Form ist LLM-as-a-Judge: Ein leistungsstarkes Modell wird dazu aufgefordert, als Prüfer für die Ausgaben eines anderen Modells zu fungieren. Die Ergebnisse von MT-Bench und Chatbot Arena zeigten, dass diese Methode gut mit menschlichen Präferenzen übereinstimmt, sich mit etwas mehr als einer gut formulierten Anweisung umsetzen lässt, offene Ausgaben nativ verarbeiten kann und auf viele verschiedene Kriterien angewendet werden kann. In diesen Arbeiten wurde sie als skalierbare, erklärbare Annäherung an menschliche Präferenzen dargestellt, deren Erfassung ansonsten kostspielig ist.

In den restlichen Teilen dieses Artikels bezieht sich „LLM-as-a-Judge“ konkret auf das Anstoßen eines kommerziell erhältlichen, proprietären Modells wie GPT-4o oder Gemini 1.5, während „finetuned judge“ ein von Ihnen selbst trainiertes Modell zur Bewertung bedeutet. Für weitergehende Hintergrundinformationen zu solchen bewertenden Modellen gehören ein praktischer Leitfaden zur Erstellung von Modellen, die Geschäftsentscheidungen unterstützen, eine Analyse der Effektivität von LLM-Bewertungstools sowie eine Übersicht zu Forschungen zum Thema „LLM-as-a-Judge“. Falls Sie bereits ein solches Modell in der Produktion einsetzen, wird die betriebliche Seite in unserem Leitfaden zur Verwaltung von LLM-as-a-Judge als lebendiges Produktionssystem behandelt.

Zweiwertige und punktweise Bewertung

Es gibt zwei Hauptwege, um von einem solchen Modell ein Urteil zu erhalten:

• Zwei gegen zwei: Der Bewertungsbeauftragte sieht eine Aufgabe sowie zwei Antwortvorschläge und wählt den besseren aus (oft mit einer Option für Unentschieden).
• Punktbasiert: Der Bewertungsbeauftragte sieht eine Aufgabe und eine einzige Antwort und vergibt eine Note, in der Regel auf einer Likert-Skala von 1 bis 5.

Punktbasierte Bewertung wird auch als direkte Beurteilung oder Einzelantwortbewertung bezeichnet. Bei beiden Ansätzen kann die Bewertung durch das Hinzufügen einer bekannten, richtigen Antwort zur Aufgabe unterstützt werden, sodass der Bewertungsbeauftragte diese als Vergleich heranzieht anstelle sich allein auf sein eigenes Wissen zu verlassen. Ein weithin bekanntes öffentliches Beispiel für eine solche Bewertungsmethode ist AlpacaEval, ein Leaderboard, das LLM-as-a-Judge verwendet, um menschliche Präferenzen zwischen Modellausgaben vorherzusagen, und alle seine Bewertungsaufgaben, einschließlich früherer Versionen, veröffentlicht.

Auswahl der Bewertungsmethode

Niemandes Vorgehensweise ist überall die beste; die richtige Wahl hängt von der Anwendung ab. Paarweise Beurteilungen neigen dazu, stabiler zu sein, denn es ist einfacher, zwei Dinge miteinander zu vergleichen, als etwas auf einer absoluten Skala einzuordnen. Der Nachteil besteht in der Positionenverzerrung – der Neigung, die erste (oder zweite) Antwort zu bevorzugen – sowie in einer geringeren Skalierbarkeit: Paarweise Ergebnisse zeigen lediglich, wie sich die Ausgaben zueinander verhalten, und der Vergleich vieler Systeme erfordert viele Paare. Punktweise Bewertung ist vielseitiger, da jede Ausgabe eine eigene Punktzahl erhält, die gespeichert, durchschnittlich berechnet und später verglichen werden kann. Für den Beurteiler ist sie außerdem schwieriger, da er die Punktzahl ausschließlich auf seinem eigenen Qualitätsverständnis stützen muss. Die Bereitstellung einer Referenzantwort ist eine gängige Methode, um eine zuverlässigere punktweise Bewertung zu gewährleisten.

Auch die Art des Kriteriums ist wichtig. Objektive Eigenschaften wie Faktizität oder Treue zum Quelldokument sind in der Regel binär: Die Antwort ist treu oder sie ist es nicht. Zu fragen, welche der beiden Antworten „treuer“ sei, ist schlecht definiert. Subjektive Kriterien wie Nützlichkeit, Tonfall oder allgemeine Präferenzen ermöglichen relative Beurteilungen, da Menschen und Modelle Vergleiche leichter und wiederholbarer als absolute Bewertungen vornehmen können. Ein vernünftiger Standard ist eine punktweise, oft binäre Bewertung für objektive Überprüfungen sowie ein Paarvergleich für die subjektive Qualität.

Die Voreingenommenheiten, die jeder Bewertungsexperte mitbringt

Egal, welche Art von Bewertungsexperten Sie verwenden – ob gesteuert oder feinabgestimmt – tauchen immer wieder einige systematische Voreingenommenheiten auf, und die meisten der im weiteren Verlauf dieses Artikels beschriebenen Feinabstimmungstechniken dienen dazu, sie zu bekämpfen. Es hilft, diese vor dem Weiterlesen beim Namen zu kennen:

• Positionenbias: Im Paarvergleich bevorzugt der Bewertende den ersten oder zweiten Platz unabhängig vom Inhalt.
• Länge- oder Ausführlichkeitsbias: Längere, ausführlichere Antworten erhalten höhere Punktzahlen, selbst wenn der zusätzliche Text nichts beiträgt.
• Selbstverbesserungsbias: Ein Bewertender bevorzugt Ausgaben, die von sich selbst oder Modellen derselben Familie erstellt wurden.
• Wissensbias: Der Bewertende kann Richtigkeit bei Themen, die er nicht gut kennt, nicht bewerten und belohnt möglicherweise selbstsichere, aber falsche Antworten.
• Formatbias: Der Bewertende arbeitet nur dann, wenn die Anfrage genau so aussieht wie die, für die er entwickelt oder angepasst wurde.

Nichts davon kann vollständig beseitigt werden, aber jedes davon lässt sich messen. Das Vertauschen der Reihenfolge der Kandidaten, das Auffüllen einer Antwort mit harmlosem Füllmaterial oder die Bewertung desselben Inhalts unter zwei verschiedenen Prompt-Vorlagen sind kostengünstige Experimente, die aufzeigen, inwieweit ein bestimmter Bewertungsmechanismus von Faktoren beeinflusst wird, die eigentlich keine Rolle spielen sollten. Sie durchzuführen, sobald man einen Bewertungsmechanismus einsetzt und erneut nach jeder Änderung an seinem Prompt oder Modell, gehört zu den wertvollsten Gewohnheiten in der Bewertungsarbeit.

Wo herkömmliche Bewertungsmechanismen versagen

LLM-as-a-Judge ist effektiv und weit verbreitet, doch die Verwendung eines proprietären Modells hat erhebliche Nachteile:

• Das Modell ist eine Black Box, und das Senden von Bewertungsdaten an Dritte kann Sicherheits- und Privatsphäreprobleme verursachen.

Sie haben keinen Einfluss auf das Versionieren. Der Anbieter kann das zugrunde liegende Modell aktualisieren, wodurch Ihre Bewertungswerte ohne jegliche Änderung seitens Ihrerseits schwanken oder fehlerhaft werden können.

Jede Bewertung stellt einen API-Aufruf dar, weshalb die Bewertung großer Mengen an Ergebnissen kostspielig wird.

Diese Modelle funktionieren am besten bei Bewertungsaufgaben, die ihrer Trainingsdaten ähneln – beispielsweise bei der Vorhersage allgemeiner menschlicher Präferenzen – und weniger gut bei spezifischen, nischenbezogenen Kriterien.

Allgemeine Assistenten sind nicht auf Kritik spezialisiert und neigen dazu, vorsichtig zu sein und starke Bewertungen oder klare Meinungen zu vermeiden.

Fast alle diese Probleme resultieren daraus, dass man von einem Modell abhängt, das man weder überprüfen noch ändern kann. Das führt zur offensichtlichen Frage, ob man nicht seinen eigenen Bewertungsalgorithmus trainieren kann. Die unten zusammengefassten Forschungsergebnisse antworten mit Ja: Ein fein abgestimmter Bewertungsmechanismus kann gezielt, detailliert und kritischer Feedback liefern – vorausgesetzt, man investiert in die dahinterliegenden Daten.

Meta-Bewertung: Messung des Urteilsvermögens selbst

Vor dem Trainieren eines Urteilsvermögens müssen Sie entscheiden, wie Sie feststellen können, ob es tatsächlich gut ist. Die Antwort liegt in einer Reihe von von Menschen annotierter Bewertungsdaten, denen Sie voll und ganz vertrauen, denn sie bilden den Maßstab für jedes von Ihnen erstellte Urteilsvermögen. Meta-Bewertung, also die Bewertung des Bewerters, bedeutet daher, das Urteilsvermögen mit diesen Daten zu testen und seine Entscheidungen mit den menschlichen Ergebnissen zu vergleichen.

Falls das Urteilsvermögen eine binäre Ausgabe liefert, wie beispielsweise eine Paarwahl oder eine Bestehens-/Nichtbestehens-Bewertung, können Sie herkömmliche Klassifizierungsmetriken wie Genauigkeit, Präzision, Recall und die ROC-Kurve verwenden. Da diese sehr leicht interpretierbar sind, argumentieren viele Praktiker, dass binäre Bewertungssysteme im Allgemeinen die praktikabelste Lösung für Urteilsvermögen in Large Language Models darstellen.

Für nicht-binäre Bewertungen, wie beispielsweise eine Likert-Skala von 1 bis 5, misst man, inwieweit die Bewertungen der Urteiler mit den menschlichen Bewertungen übereinstimmen. Als Referenzangabe gab die G-Eval-Studie an, dass ein auf GPT-4 basierender Bewertungsalgorithmus bei einem Zusammenfassungs-Benchmark eine Spearman-Korrelation von 0,514 mit Menschen erreichte, was zu diesem Zeitpunkt die früheren Methoden um einen großen Unterschied übertraf. Die Spearman-Rangkorrelation ist vermutlich die häufigste Wahl, doch man findet auch Kendall’s Tau, die Pearson-Korrelation sowie Cohen’s Kappa als Übereinstimmungsmessungen. Diese sind schwieriger zu interpretieren als Klassifizierungsmetriken, daher sollten Sie die Besonderheiten der jeweiligen Methode kennen. Pearson misst eine lineare Übereinstimmung und ist empfindlich gegenüber Ausreißern; Spearman und Kendall kümmern sich nur um die Reihenfolge, sodass ein Urteiler, der konsequent einen Punkt zu großzügig bewertet, bei diesen Methoden dennoch eine perfekte Bewertung erhalten kann.

Praktische Gewohnheiten bei der Meta-Bewertung

Einige Gewohnheiten machen die Meta-Bewertung weitaus informativer. Berichten Sie über die Übereinstimmung pro Kriterium statt über eine einzige zusammengefasste Zahl, denn ein Urteilsfäller kann hervorragend bei der Erkennung faktischer Fehler sein, aber schwach im Beurteilen des Tonfalls – und eine Durchschnittswertung verdeckt das. Betrachten Sie die Verwirrung durch benachbarte Bewertungen getrennt von großen Meinungsverschiedenheiten: Ein Urteilsfäller, der 4 angibt, während Menschen 5 sagen, stellt ein völlig anderes Problem dar als einer, der 1 angibt. Vergleichen Sie die Übereinstimmung zwischen Urteilsfäller und Menschen mit der Übereinstimmung unter den Menschen bei denselben Aufgaben; wenn zwei ausgebildete Annotatoren nur zu 70 Prozent übereinstimmen, dann liegt ein Urteilsfäller, der zu 68 Prozent mit ihnen übereinstimmt, im Grunde bereits am oberen Limit – es ist sinnlos, weiter danach zu streben. Schließlich sollten die Meta-Bewertungen strikt von allem getrennt werden, was zur Erstellung von Anleitungen oder zur Schulung der Urteilsfäller verwendet wird, sonst werden die Werte diese überbewerten.

Die erste Generation der feinabgestimmten Urteilsfäller

Zu Beginn verwendeten fast alle proprietäre Modelle für die beurteilende Bewertung im Stil eines Richters, und das hatte einen guten Grund. Es sei denn, man gibt dem „Richter“ eine Referenzlösung, muss das Modell in der Lage sein, die Aufgabe selbst zu lösen, um eine gute von einer schlechten Antwort zu unterscheiden. Offene Modelle lagen lange Zeit hinter geschlossenen zurück, weshalb geschlossene Modelle einfach bessere Bewertungsgeräte waren. Das änderte sich, als stärkere offene Basismodelle wie LLaMA und LLaMA-2 auftauchten und Forscher begannen, sie zu spezialisierten Evaluatoren weiterzuentwickeln. Die untenstehenden Artikel beschreiben diese erste Welle.

Ein feingetuntes Vicuna-Modell als Richter im MT-Bench-Artikel

Das gleiche Paper, das LLM-as-a-Judge vorstellte, führte auch eines der ersten Experimente mit einem feinabgestimmten „Judge“ durch. Der größte Teil dieser Arbeiten befasst sich damit, proprietäre Modelle mithilfe generischer Vorlagen dazu zu bringen, menschliche Präferenzen vorherzusagen, doch ein kurzer Anhang untersucht das Training eines offenen Modells für dieselbe Aufgabe. Dabei kam heraus, dass ein feinabgestimmtes Vicuna-13B als günstige, offene Alternative zu proprietären „Judges“ vielversprechend erscheint.

Die darin aufgeführten Motive sind bis heute die Hauptgründe, warum man einen maßgeschneiderten „Judge“ in Betracht zieht:

• Die Bewertung über eine bezahlte API wird im großen Maßstab teuer.
• Proprietäre Modelle bieten weder Kontrolle noch Transparenz.
• Offene Modelle werden immer leistungsfähiger, wodurch die Lücke schrumpft.

Falls ein feinabgestimmter offener „Judge“ die Qualität proprietärer Modelle erreichen könnte, würden alle drei Probleme verschwinden.

Im Experiment wurde Vicuna-13B, ein Ableger von LLaMA, verwendet. Aus dem Stand heraus war es ein schlechter Bewertungskriterium: Es wies eine hohe Fehlerquote auf, versagte oft bei der Befolgung des Bewertungsvorlagen oder Anweisungen und zeigte einen starken Positionsverzerrungseffekt. Das Feintunen änderte dieses Bild erheblich. Das Modell wurde mit 20.000 Einzelabstimmungen von Nutzern aus Chatbot Arena trainiert, wobei jeweils die Ausgaben einer breiten Palette von Modellen verglichen wurden. Die Aufgabe wurde auf eine dreistufige Klassifizierung vereinfacht: Die erste Antwort gewinnt, verliert oder es ist ein Unentschieden. Nach dem Training sank der Positionsverzerrungseffekt stark ab und die Übereinstimmung mit den menschlichen Abstimmungen verbesserte sich deutlich, obwohl das feintunete Modell immer noch nicht das Niveau von GPT-4 erreichte.

Die Aufgabe als dreiseitige Klassifizierung zu formulieren, ist eine sinnvolle Vereinfachung. Dadurch entfällt die Notwendigkeit, numerische Bewertungen zu kalibrieren; sie entspricht direkt der Art und Weise, wie in Arena Stimmen gesammelt werden, und es wird einfach möglich, die Genauigkeit anhand von externen menschlichen Stimmen zu berechnen. Der Nachteil ist, dass der Bewertungsalgorithmus keine Erklärungen liefert, wodurch man bei Meinungsverschiedenheiten nur wenig darüber erfährt, warum.

Die gesamte Untersuchung umfasst etwa eine Seite, doch die Ergebnisse waren ausreichend ermutigend, um mit der Entwicklung offener Bewertungsalgorithmen zu beginnen.

PandaLM: Ein Bewertungsalgorithmus zur Auswahl zwischen Modell-Checkpoints

Eine häufige Anwendung von Bewertungsalgorithmen ist die Modellauswahl: Von mehreren Kandidatmodellen – welches ist das beste? Dies wird schwierig, wenn alle Kandidaten stark sind und sich nur geringfügig unterscheiden. Menschen können diese Entscheidung treffen, allerdings langsam; daher ist ein Bewertungsalgorithmus, der kleine Qualitätsunterschiede zuverlässig erkennen kann, von großem Wert.

PandaLM wurde genau dafür entwickelt. Sein Ziel geht über die Überprüfung darauf hinaus, ob eine Antwort korrekt ist; er berücksichtigt auch subjektive Qualitäten wie relative Kürze, Klarheit, Umfassendheit, Formalität sowie die Einhaltung der Anweisungen. Die Hauptanwendung ist die Anpassung von Hyperparametern. Man trainiert mehrere Varianten eines Modells mit unterschiedlichen Einstellungen, lässt PandaLM ihre Ausgaben vergleichen und behält die beste Konfiguration bei. In den Experimenten des Artikels performten alle auf diese Weise angepassten Modelle besser als mit den Standardeinstellungen, was zeigt, dass ein Bewertungstool direkt in die Trainingsentscheidungen einfließen kann, anstatt nur Berichte zu erstellen.

Der Trainingsdatensatz enthält mehr als 300.000 Beispiele. Jeder Eingabewert ist ein Tupel der Form (instruction, input, response1, response2) und jedes Zielwert ist ein Tupel der Form (evaluation result, evaluation rationale). Jedes Beispiel verfügt über eine Referenzantwort, wobei das Ergebnis entweder die bessere Antwort angibt oder einen Gleichstand feststellt. Das Team hat LLaMA-Modelle verschiedener Größen anhand dieser Daten mit herkömmlicher Vorhersage des nächsten Tokens unter Verwendung eines Cross-Entropy-Verlusts, im sequenz-zu-sequenz-Stil und ohne separate Klassifizierungshead, feingetuned. Mit anderen Worten sind das Urteil und die Erklärung einfach nur Texte, die das Modell lernt zu generieren.

Die Anweisungen und Eingaben stammen aus den Alpaca-Trainingsdaten. Die Antwortpaare wurden von mehreren Modellen mit etwa 7 Milliarden Parametern erzeugt, nämlich LLaMA-7B, BLOOM-7B, Cerebras-GPT, OPT-7B und Pythia. Die Urteile und Begründungen für diese Paare wurden mithilfe von GPT-4 auf Basis eines Self-Instruct-Verfahrens synthetisch erzeugt und anschließend mit Heuristiken wie handgeschriebenen Regeln sowie Filtern, die ungültige oder instabile Bewertungen ausschließen, aufbereitet. Getrennt davon erstellten menschliche Annotatoren einen kleineren „goldenen“ Testdatensatz, der ausschließlich für die Meta-Bewertung verwendet wird.

Wenn PandaLM mit anderen Bewertungssystemen verglichen wird, einschließlich GPT-3.5 und GPT-4, weisen ihre Präferenzen ähnliche Muster auf: Sie ordnen die bewerteten Modelle in einer konsistenten Reihenfolge ein. Im direkten Vergleich mit proprietären Bewertungssystemen ist die 7B-Version von PandaLM wettbewerbsfähig, während die 70B-Version in der Bewertung des Artikels GPT-4 übertrifft – was darauf hindeutet, dass die Bewertungsfähigkeit, wie auch die meisten anderen Fähigkeiten, mit der Größe des Modells zunimmt.

PandaLM zeigt sich auch in spezialisierten Bereichen leistungsfähig. Der Artikel wendet es auf Antworten zu LSAT-Fragen sowie auf Datensätze für die Beantwortung biomedizinischer Fragen an, wobei die größere Modellversion besonders gute Ergebnisse erzielt. Da es speziell an Bewertungsdaten trainiert wurde, kann es Aufgaben mit domänenspezifischen Anforderungen bewältigen, die seiner Trainingsverteilung nahekommen – nicht nur allgemeine Chat-Bewertungen.

JudgeLM: Was macht eigentlich einen feinabgestimmten Bewertungssystem aus?

Die meisten frühen feinabgestimmten Bewertungssysteme gaben nur wenig darüber preis, warum sie funktionierten. JudgeLM hatte zum Ziel, die entsprechenden Faktoren systematisch zu untersuchen, darunter:

• wie viel Trainingsdaten verwendet werden und wie gut sowie vielfältig diese sind;
• die Größe und Qualität des Basismodells;
• wie Vorurteile die Entscheidungen der Bewertungssysteme beeinflussen;
• ob das System auf andere Formate übertragen werden kann, wie beispielsweise mehrstufige Chats, Bewertungen mit einziger Antwort, Paarvergleiche sowie multimodale Eingaben.

Ein feinabgestimmtes Bewertungssystem kann aus vielen Gründen hinter einem proprietären zurückbleiben: ein schwaches Basismodell, störende Daten, systematische Vorurteile und so weiter. Der Wert von JudgeLM liegt darin, zu zeigen, dass diese Probleme direkt angegangen werden können.

Das wichtigste Element ist ein umfangreiches Datensatz, der hochwertig, detailliert und vielfältig ist. Das JudgeLM-Team bezeichnete seinen Datensatz ausdrücklich als den vielfältigsten und hochwertigsten verfügbaren zu diesem Zeitpunkt. Er basiert auf 105.000 Ausgangsanweisungen aus öffentlichen Quellen wie ShareGPT sowie einer Version der Alpaca-Daten mit Antworten von GPT-4.

Für jede Ausgangsanweisung werden Antworten durch mehrere Modelle erzeugt, darunter Alpaca, Vicuna und LLaMA, und mit der ursprünglichen Antwort aus dem Datensatz kombiniert. Dadurch erhält jede Anweisung mehrere mögliche Antworten zusammen mit einer Referenz. Anschließend werden Paare von Antworten zufällig ausgewählt, GPT-4 bewertet jedes Paar und erklärt seine Begründung. GPT-4 fungiert somit effektiv als Lehrer: JudgeLM lernt, seine Urteile nachzuahmen.

Die Bewertungsvorlagen für GPT-4 sind in zwei Varianten erhältlich – mit und ohne Referenzantwort. Sie ähneln stark den Standardanweisungen für öffentliche Bewertungsmodelle, mit einem wichtigen Unterschied: Sie legen recht detaillierte Bewertungskriterien fest. Dadurch wird GPT-4 zu präziseren Beurteilungen angeleitet, und das Feintunieren anhand dieser Bewertungen überträgt diese Präzision auf JudgeLM.

JudgeLM wurde mit 7B, 13B und 33B Parametern auf Datensätzen mit 3.5K bis 100K Beispielen trainiert, wobei Instruction Tuning in Kombination mit supervised finetuning (SFT) verwendet wurde. Die Eingabe umfasst eine Anweisung, zwei Kandidatenantworte sowie eine Referenzantwort. Das Modell gibt für jeden Antwortentwurf einen separaten Score sowie die Begründung aus. Es ist dabei einfach, daraus ein Paarvergleichsergebnis zu erzeugen: Der Antwortentwurf mit dem höheren Score gewinnt, bei gleichen Scores gibt es einen Unentschieden. Ein weiterer Vorteil dieses Designs ist, dass ein und dasselbe Modell sowohl als Bewertungsmodell als auch als Vergleichsmodell fungieren kann.

Die Verringerung von Voreingenommenheiten war ein zentrales Ziel. JudgeLM bezieht sich auf drei Arten davon:

1. Positionsvoreingenommenheit: Die Präferenz für eine Antwort aufgrund ihrer Position im Prompt anstelle dessen, was darin steht.
2. Wissensvoreingenommenheit: Das Basismodell verfügt über kein im Vortraining erworbenes Wissen, das zur korrekten Beurteilung der Antwort erforderlich ist.
3. Formatvoreingenommenheit: Der Bewertungsalgorithmus funktioniert nur dann gut, wenn der Prompt genau dem Format entspricht, das während des Feintunings verwendet wurde.

Jeder dieser Probleme hat eine ziemlich direkte Lösung. Der Formatvorzug verringert sich, wenn der Richter während des Trainings mehrere Prompt-Formate sieht. Der Wissensvorzug verringert sich, wenn man dem Richter eine Referenzantwort gibt, sodass er die Fakten nicht selbst kennen muss. Der Positionsvorzug wird durch das Wechseln der Positionen bewältigt: Jede Paarung wird sowohl in der einen als auch in der anderen Reihenfolge bewertet, sowohl bei der Erstellung der Trainingsdaten als auch zur Zeit der Inferenz. Wenn sich das Urteil ändert, wenn die Reihenfolge gewechselt wird, gilt das Paar in der Regel als Unentschieden. Das Wechseln der Positionen im Training lehrt das Modell, sich auf den Inhalt statt auf die Platzierung zu konzentrieren, und das Wechseln bei der Inferenz begrenzt den verbleibenden Vorzug. In Kombination verringern diese Techniken den Bias von JudgeLM erheblich.

Der Aufwand durch das Wechseln der Positionen bei der Inferenz sollte berücksichtigt werden: Er verdoppelt die Anzahl der Vergleiche zwischen den Modellen zur Paarbewertung. Bei großen Offline-Bewertungen ist das in der Regel akzeptabel; bei latenzempfindlicher Online-Nutzung könnte es jedoch nicht ausreichen.

Auf seinem eigenen Bewertungsdatensatz schneidet JudgeLM besser ab als PandaLM und GPT-3.5 – sowohl mit als auch ohne Referenzantworten. Dieser Vergleich begünstigt JudgeLM, da es mit Daten aus nahezu derselben Verteilung trainiert wurde, doch es performt auch gut auf PandaLMs Bewertungsdatensatz. Zu beachten ist, dass ein großer Teil der von JudgeLM erzielten Leistungen auf Übereinstimmung mit GPT-4 beruht, demselben Modell, das seine Trainingsetiketten erzeugt hat, und nicht auf Übereinstimmung mit Menschen. Insgesamt zeigen die Modelle solide Leistungen, werden mit zunehmender Größe besser und sind gegenüber dem Wechsel der Positionen robuster als die Alternativen.

Dies weist auf eine allgemeine Einschränkung von destillierten Bewertern hin. Wenn ein Schülermodell anhand der Urteile eines Lehrers trainiert wird, dient die Genauigkeit des Lehrers als eine Art Obergrenze, wobei dessen Blindstellen und Vorurteile zusammen mit seinen Stärken übernommen werden. Eine hohe Übereinstimmung mit GPT-4 zeigt an, dass die Destillation erfolgreich war; sie sagt jedoch nicht aus, ob der Bewerter mit Ihren Nutzern übereinstimmt. Nur ein von Menschen beschrifteter Testdatensatz kann diese zweite Frage beantworten.

Auto-J: basierend auf echten Nutzeranfragen

Auto-J aus dem Paper „Generative Judge for Evaluating Alignment“ ist ein weiterer feinabgestimmter Bewertungstool, das sich auf scanningspezifische Benotung in realistischen Umgebungen konzentriert. Seine besonderen Merkmale sind:

• Es unterstützt sowohl vergleichende Paarvergleiche als auch Bewertungen mit einzelnem Antwortfeld.
• Es legt Wert auf gut strukturierte, hochwertige Kritiken in natürlicher Sprache.

Seine Trainingsanfragen stammen von echten Menschen, sodass die Daten die Vielfalt der Fragen widerspiegeln, die ein Modell tatsächlich erhält.

Das Ergebnis ist ein Urteilsvermögen, das flexibel, interpretierbar und praktisch ist.

Die Daten von Auto-J beginnen mit der Definition von Szenarien, wobei jedes sein eigenes Definitionskriterium und Bewertungskriterium hat. In der Studie werden 58 Szenarien in acht übergeordnete Kategorien eingeteilt. Für jedes Szenario werden echte Benutzeranfragen gesammelt, Antworten erzeugt und GPT-4 fällt die Urteile. GPT-4 wird dabei durch handgeschriebene Kriterien, die speziell für jedes Szenario gelten, geleitet, und die Ausgaben werden anschließend mit heuristischen Filtern sowie Formatnormalisierung bearbeitet, um Störgeräusche zu reduzieren. Jedes Szenario liefert bis zu 100 Beispiele, was insgesamt etwa 3.500 Beispiele ergibt.

Die Abfragen stammen größtenteils aus öffentlichen Quellen, die auf menschlicher Interaktion beruhen, wie zum Beispiel Chatbot Arena und WebGPT. Da sie das widerspiegeln, was Menschen in der Praxis fragen, ist Auto-J auf eine realistische Bewertung spezialisiert. Sowohl paarweise als auch einzelaufgeführte Labels werden von GPT-4 erzeugt, und Filter entfernen Vorhersagen, die inkonsistent oder schlecht formatiert sind.

Auto-J wurde auf dieser Mischform-Datensammlung anhand von LLaMA-2-13B-Chat feinabgestimmt. Eine interessante Gestaltungsentscheidung besteht darin, dass die Bewertungskriterien nicht in der Eingabe enthalten sind. Der Grund dafür war, dass das Modell die Kriterien implizit aus den Daten ableiten sollte, was es allgemeingültiger machen würde. Spätere Arbeiten, insbesondere Prometheus, kamen zu dem gegenteiligen Schluss und stellten fest, dass es wichtig ist, Bewertungskriterien sowie weiteres Referenzmaterial in das Modell einzubringen. Um Positionsvoreingenommenheiten entgegenzuwirken, verwendet Auto-J eine einfache Erweiterungsmethode: Jedes Paarbeispiel wird durch Duplizierung mit vertauschten Antworten erweitert, wobei die Labels „Antwort 1“ und „Antwort 2“ in der Bewertung entsprechend getauscht werden.

Der Auto-J-Testdatensatz ist wie sein Trainingsdatensatz aufgebaut, mit dem Unterschied, dass jede Beschriftung von menschlichen Annotatoren stammt. Im Vergleich zu einer Reihe anderer Modelle übertrifft Auto-J fast alle, außer GPT-4. Das bestätigt, dass ein auf domaingerechten Daten trainierter spezialisierter Bewertungsmechanismus in seinem Zielbereich proprietären Bewertungsmechanismen nahekommen – und manchmal sogar sie übertreffen – kann. Doch seine absolute Übereinstimmung mit Menschen in diesem Datensatz bleibt weiterhin gering, was daran erinnert, dass die Qualität der Bewertungsmechanismen im Allgemeinen noch viel Verbesserungspotenzial hat.

Kritiker, Überprüfer und synthetische Datengeneratoren

Neben diesen Bewertern gibt es eine eng verwandte Forschungsrichtung, die Modelle trainierte, um die Ausgaben anderer Modelle zu überprüfen, zu kritisieren oder Feedback zu geben. Ähnlich wie die Bewertungsmodule bewerten auch diese Modelle Antworten und erklären ihre Begründungen. Der Unterschied besteht darin, dass die Kritiker und Überprüfer auf das Urteil handeln: Sie überarbeiten die Antwort oder initiieren einen neuen Versuch, wenn diese nicht ausreicht.

SelFee ist ein gutes Beispiel: Ein auf LLaMA basierendes Modell, das mit Generierungen von ChatGPT, dem Feedback von ChatGPT dazu sowie überarbeiteten Versionen trainiert wurde. Bei einer Antwort schreibt SelFee erst Feedback und überarbeitet anschließend die Antwort auf dieser Grundlage. Es kann so weiter iterieren, bis die Ausgabe einen bestimmten Qualitätsstandard erreicht. Dadurch fungiert es sowohl als Überprüfer, da es seine eigene Ausgabe prüft, als auch als Kritiker, da es Feedback gibt und überarbeitet.

Viele weitere Kritikmethoden wurden vorgeschlagen, darunter Selbstkorrektur, PEER sowie Modelle zur selbstständigen Kritik. Dasselbe System kann synthetische Trainingsdaten für SFT oder Präferenzanpassungen erzeugen und filtern, wie es in RLAIF und Constitutional AI der Fall ist.

Von weitem betrachtet erledigen all diese Systeme – angeleitete Urteiler, feinabgestimmte Urteiler, Pipelines für synthetische Daten, Kritiker und Überprüfer – im Grunde dasselbe: Sie liefern eine Bewertung sowie eine Erklärung. Was unterschiedlich ist, ist die Verwendung der Bewertung, sei es zur Angabe der Modellqualität oder zur Entscheidung darüber, welche Beispiele in einen Trainingsdatensatz aufgenommen werden. Jüngste Arbeiten zu generativen Überprüfern und belohnungsbasierten Modellen, die auf Kritik beruhen, argumentieren, dass zumindest einige dieser Funktionen in einem einzigen Modell zusammengefasst werden können, das alle Bewertungsaufgaben bewältigt.

Die Prometheus-Familie: feinabgestimmte Urteiler, die mit GPT-4 konkurrieren

Feinabgestimmte Bewertungsmodelle wurden erst mit Prometheus populär – einem Modell, das für domänenspezifische, detaillierte Bewertungen entwickelt wurde. Seine Methodik ist nicht grundlegend neu; die große Veränderung besteht in einem viel stärkeren Ausgangspunkt in LLaMA-2 sowie in einem sorgfältig gestalteten Datensatz. Da es in Bezug auf die Bewertungsqualität vielen proprietären Modellen entsprach, verbreitete es sich schnell und führte zu mehreren Nachfolgemodellen.

Prometheus: Bewertungskriterien als erstklassige Eingabedaten

Die Nutzung eines proprietären Bewertungsmodells ist einfach: Man beschreibt die Kriterien und lässt das Modell arbeiten. Die Probleme sind bereits erwähnt worden – unkontrollierte Versionierung und Kosten – sowie die Tatsache, dass diese Modelle meist mit allgemeinen Kriterien wie der allgemeinen menschlichen Präferenz trainiert werden und mit individuellen Kriterien Schwierigkeiten haben können. Prometheus löst dies mit einem feinabgestimmten Bewertungsmodell, das nach der Anpassung an eine bestimmte Domäne proprietären Modellen ebenbürtig oder sogar überlegen sein kann.

Die zentrale Idee ist, dass Prometheus eine benutzerdefinierte Bewertungskriterienliste als Eingabe erhält, wodurch es sich ohne Neutraining an neue Bereiche und Kriterien anpassen kann. Es wird mit dem Feedback Collection trainiert, einem synthetischen Datensatz, der mithilfe von GPT-4 erstellt wurde und viele Bewertungsaufgaben umfasst. Jedes Beispiel enthält die gleichen Komponenten:

• Anweisung: Die dem getesteten Modell gegebene Aufgabe.
• Antwort: Die Antwort dieses Modells, die bewertet wird.
• Bewertungskriterien: Benutzerdefinierte Kriterien, die beschreiben, wie die Antwort beurteilt werden soll.
• Vorlageantwort: Eine Beispielantwort, die die höchste Punktzahl einbringen würde.
• Begründung: Eine Erklärung, warum die Antwort die jeweilige Punktzahl erhält.
• Punktzahl: Eine Likert-Bewertung von 1 bis 5.

Eine Bewertungsskala besteht aus zwei Teilen: einer allgemeinen Beschreibung des Kriteriums und einer Erklärung, was jede Bewertung von 1 bis 5 bedeutet. Die Verwendung dieser Informationen ermöglicht es dem Modell, mit hoher Detailgenauigkeit zu bewerten und auch auf Bewertungsschemata anzuwenden, die es zuvor nicht gesehen hat. Die Prometheus-Studie gehörte zu den ersten, die zeigten, wie sehr ein fein abgestimmter Bewertungsexperte von umfangreichen Referenzmaterialien in seiner Eingabe profitiert – insbesondere von Referenzantworten.

Die Erstellung beginnt mit 50 von Menschen verfassten Bewertungsskalen und erfolgt in drei Schritten:

1. GPT-4 erweitert, nachdem es Beispiele der handgeschriebenen Bewertungsskalen gesehen hat, diese auf 1.000 Bewertungsskalen.
2. Für jede Bewertungsskala erstellt GPT-4 20 Anweisungen, was insgesamt 20.000 Anweisungen ergibt.
3. Für jede Anweisung generiert GPT-4 zunächst eine Antwort, anschließend Feedback dazu und schließlich eine Bewertung – in dieser Reihenfolge.

Zwei Ausgleichstricks machen die Daten nützlicher. Erstens erzeugt GPT-4 für jede Anweisung fünf Trainingsbeispiele, wobei jedes ein anderes Ergebnis von 1 bis 5 abbildet, sodass die Ergebnisdistribution gleichmäßig ist und der Bewertende nicht dazu neigt, automatisch hohe Punkte zu vergeben. Zweitens werden diese Beispiele in ähnlicher Länge beibehalten, damit der Bewertende keinen Verlängerungsbias entwickelt – also die Angewohnheit, längere Antworten unabhängig vom Inhalt zu belohnen.

Prometheus wurde auf Basis von LLaMA-2-13B-Chat mithilfe der Feedback Collection sowie der Bewertungssätze MT-Bench und Vicuna Bench feingetuned. Durch das Enthalten aller Referenzmaterialien im Prompt lernt das Modell mittels SFT, zunächst seine Rückmeldung zu verfassen und erst danach die Bewertung zu liefern. Diese Reihenfolge ist beabsichtigt und spiegelt das Chain-of-Thought-Feintuning wider: Die geschriebene Kritik dient als Kontext, auf den sich das Modell bei der Auswahl einer Zahl stützt, anstatt erst später eine Begründung hinzuzufügen. Das Prometheus-Team betont außerdem die Einfügung eines speziellen Trenntokens, [RESULT], zwischen der Rückmeldung und der Bewertung – dies verhindert, dass die Generierungen zur Inferenzzeit degenerieren, und hat den praktischen Vorteil, dass die Bewertung leicht zu parsen ist.

Prometheus wurde mit GPT-3.5, GPT-4 sowie mehreren offenen Basismodellen an verschiedenen Datensätzen verglichen, wobei sowohl die Übereinstimmung mit den Bewertungen von Menschen als auch der Nutzen seiner Rückmeldungen gemessen wurden. Seine Ergebnisse erreichten eine Pearson-Korrelation von 0,897 bei den menschlichen Bewertern – auf dem Niveau von GPT-4 und weit über GPT-3.5 hinaus. Somit kann ein auf hochwertigen Bewertungsdaten für einen bestimmten Bereich feinabgestimmtes Modell die Übereinstimmung mit menschlichen Bewertungen viel größerer proprietärer Modelle erreichen oder sogar übertreffen.

Auch die Bewertungen bestätigen dies. Bei 58,67 Prozent der Vergleiche bevorzugten menschliche Bewertungsexperten die Rückmeldungen von Prometheus gegenüber denen von GPT-4 und bei fast 80 Prozent gegenüber denen von GPT-3,5. Als Grund gaben die Experten an, dass Prometheus kritischer und präziser sei. In der Studie wird dies so zusammengefasst: GPT-4 neigt dazu, neutral und abstrakt zu bleiben, während Prometheus klar eine Meinung darüber äußert, ob die Antwort gut ist. Das ist der Vorteil der Spezialisierung: Prometheus ist kein allgemeiner Assistent, der darauf trainiert ist, zuzustimmen, sondern ein Modell, dessen einzige Aufgabe die Kritik ist.

Prometheus 2: ein Modell für punktweise und paarweise Bewertung

Prometheus 2 setzt diese Reihe mit einem weiteren offenen, feingranularen Bewertungstool fort, das individuelle Kriterien berücksichtigen kann. Es adressiert zwei Schwächen des ursprünglichen Tools: Die Übereinstimmung mit den Bewertungen von Menschen ließ noch Verbesserungsmöglichkeiten zu, und wichtiger noch war, dass das ursprüngliche Prometheus nur eine direkte Bewertung ermöglichte. Man konnte zwar eine Rangliste durch den Vergleich zweier punktueller Bewertungen erstellen, doch weder Prometheus noch die meisten früheren offenen Bewertungstools konnten zwei Antworten direkt miteinander vergleichen. Prometheus 2 vereint beide Ansätze in einem einzigen Modell, das bei der Bewertung von Menschen und GPT-4 jeweils sehr genau vorgeht.

Die paarweisen Beispiele in Prometheus 2 unterscheiden sich von denen der direkten Bewertung in drei Punkten:

• Das Referenzmaterial enthält keine Referenzantwort.
• Es besteht lediglich aus einer Beschreibung des Bewertungskriteriums.
• Die Rückmeldungen sind anders formuliert.

In Modus „Paarweise Vergleich“ muss die Rückmeldung die beiden Antworten miteinander vergleichen, die Unterschiede hervorheben und diese zur Begründung für die Auswahl einer Antwort nutzen. Die meisten früheren paarweisen Datensätze und Modelle stützten sich auf allgemeine Kriterien und gaben oft nur ein einfaches Urteil ohne jegliche vergleichende Erklärung ab.

Zur Schulung der paarweisen Fähigkeiten führt Prometheus 2 die Preference Collection ein, die aus der Feedback Collection abgeleitet ist. Da diese letztere pro Anweisung fünf Antworten enthält – jeweils eine für jede Bewertungsstufe – können alle möglichen Paarungen gebildet werden: zehn Paare pro Anweisung. Die Kennzeichnung für jedes Paar ergibt sich direkt aus dem Vergleich der beiden Likert-Bewertungen.

Aufgrund der zentralen Bedeutung von erklärenden, gedankengängigen Rückmeldungen im Prometheus-Ansatz reichten allein die Kennzeichnungen nicht aus. GPT-4 wurde aufgefordert, für jedes Paar neue Rückmeldungen zu verfassen, wobei der Fokus darauf lag, was die beiden Antworten gemeinsam haben und wo sie auseinandergehen.

Es gibt mehrere Möglichkeiten, einen einzigen Richter zu erhalten, der beide Bewertungsmodi handhaben kann:

• Aufforderung: Verwenden Sie ein fertig verfügbares Modell mit unterschiedlichen Aufforderungen pro Modus.
• Training im Einheitsformat: Trainieren Sie ein Modell pro Modus und verwenden Sie das, das am besten passt.
• Gemeinsames Training: Trainieren Sie ein Modell mit einer Mischung aus beiden Datentypen.

Nur das gemeinsame Training liefert ein spezialisiertes Modell, das beide Modi abdeckt; die Aufforderungsmethode stützt sich auf allgemeine Modelle, und das Training im Einheitsformat erzeugt zwei Modelle. Eine vierte Option besteht darin, die beiden Modelle im Einheitsformat zu trainieren und sie anschließend durch Modellverschmelzung zu kombinieren, wie es Prometheus 2 tut. Zwei Bewertungsmodelle werden getrennt voneinander trainiert – eines für die Feedback-Sammlung und eines für die Präferenzsammlung – und ihre Gewichte werden durch einfache lineare Verschmelzung kombiniert, um ein Modell zu erzeugen, das auf beide Weisen bewerten kann.

Prometheus 2 basiert auf Mistral-7B und Mixtral 8x7B: Getrennte Versionen werden für jedes Datensatz individuell feinabgestimmt und anschließend mithilfe verschiedener Algorithmen zusammengeführt. Die resultierenden Modelle übertriffen alle anderen offenen Bewertungsmethoden in einer Reihe von direkten Bewertungen sowie Paarvergleichs-Benchmarks. Ihre Pearson-Korrelation mit proprietären Bewertungsmethoden verbessert sich in allen Datensätzen um 0,2, und bei Paarvergleichs-Benchmarks verringern sie den Abstand zu GPT-4 auf etwa die Hälfte.

In Modus „Paarweise Vergleich“ erscheinen die Vorteile geringer, doch dort werden Belohnungsmodelle zusammen mit offenen Bewertern verglichen. Belohnungsmodelle, die in der Verstärkungslernen-mit-Menschlichen-Feedback-Methode (RLHF) als Bewertungsmechanismen verwendet werden, werden ausschließlich für die Paarpräferenz trainiert, liefern keine schriftlichen Rückmeldungen und weisen eine sehr hohe Genauigkeit bei Paarvergleichen auf. Prometheus 2 zeigt außerdem eine bessere Konsistenz zwischen den Bewertungsmodi als andere Evaluatoren: Die Antwort, die es bei einem Paarvergleich bevorzugt, erhält in der Regel auch eine höhere Punktzahl bei einer direkten Bewertung. Diese Eigenschaft ist in der Praxis wichtig, denn einem Urteiler, dessen Beurteilungen in den beiden Modi nicht übereinstimmen, ist in keiner der Varianten zu trauen.

Prometheus-Vision: Bewertung von Vision-Language-Modellen

Bis jetzt ging es ausschließlich um textbasierte Modelle. Vision-Language-Modelle (VLMs), die sowohl Bilder als auch Text verarbeiten können, sind sowohl in proprietärer Form wie GPT-4V und Gemini als auch in offener Form wie LLaVA sowie den visuellen Varianten von Llama 3.2 weit verbreitet. Abgesehen von der zusätzlichen Eingabemodalität werden sie ähnlich wie textbasierte LLMs trainiert und strukturiert.

Ein VLM erzeugt Text anhand eines Bildes sowie einer Anweisung, und seine Bewertung fügt eine weitere Dimension hinzu. Man muss zwei Dinge überprüfen:

1. Ob die Antwort der Anweisung entspricht, wie es bei jedem LLM der Fall ist.
2. Ob die Antwort auf dem basiert, was das Bild tatsächlich zeigt.

Eine Lösungsmöglichkeit besteht darin, das Bild in Text umzuwandeln – beispielsweise mit einem Untertitelungs- oder Bild-Text-Modell – und diese Beschreibung an einen Textbewerter wie GPT-4 oder Prometheus weiterzuleiten. Solche mehrstufigen Pipelines führen jedoch zu Fehlern: Alles, was die Untertitelung übersieht, kann der Bewerter nicht bewerten. Die Verwendung eines VLM als Bewerter ist ein direkteres Konzept.

Prometheus-Vision ist ein offener VLM-Bewerter. Eigene VLMs wie GPT-4V wurden bereits als Bewerter für andere VLMs eingesetzt, doch Prometheus-Vision war der erste offene VLM, der nach fein abgestimmten, vom Benutzer definierten Kriterien bewerten konnte. Neben der Transparenz und Kontrolle eines offenen Modells weisen seine Bewertungen eine gute Übereinstimmung mit denen von Menschen sowie proprietären Bewertern auf, und es kann subtile Unterschiede erkennen – beispielsweise zwischen einem echten Kunstwerk und einer Parodie davon.

Zu Zeit der Veröffentlichung des Werkes existierte kein Feedback-, Kritik- oder Präferenzdatensatz zur Schulung eines feinabgestimmten VLM-Bewerters, weshalb das Team einen solchen erstellte. Die Perception Collection folgt dem Design der Feedback Collection, und jede Instanz umfasst fünf Eingabeteile:

• Bild: das Bild, das der Benutzer dem VLM zur Verfügung stellt.
• Anweisung: die textbasierte Anweisung des Benutzers.
• Antwort: die textbasierte Antwort des VLMs auf das Bild und die Anweisung.
• Bewertungskriterien: detaillierte Richtlinien zur Bewertung, einschließlich einer Beschreibung der Kriterien sowie jeder Punktzahl auf der Skala von 1 bis 5.
• Referenzantwort: eine Antwort, die mit einer Punktzahl von 5 bewertet würde und mithilfe von GPT-4V generiert wurde.

Die Ausgaben bestehen aus einer schriftlichen Begründung sowie einer Punktzahl von 1 bis 5.

Der Aufbau spiegelt das Textdatensatz-Modell wider. Dabei werden 5.000 Bilder aus den MS-COCO- und MMMU-Datensätzen ausgewählt, 50 Ausgangs-Rubriken von Hand erstellt, anschließend mit GPT-4 auf 15.000 Rubriken erweitert, 30.000 Anweisungen zusammen mit den entsprechenden Referenzantworten generiert und schließlich zu jeder Anweisung fünf Antworten hinzugefügt – eine pro Bewertungsstufe –, wobei jede Antwort Feedback enthält. Im Vergleich zur Feedback-Sammlung gibt es zwar viele mehr Rubriken (15.000 gegenüber 1.000), aber deutlich weniger Anweisungen pro Rubrik (zwei gegenüber 20).

Ein rein textbasiertes Basismodell kann hier nicht verwendet werden; das Training muss von einem vortrainierten VLM ausgehen. Prometheus-Vision nutzt die 7B- und 13B-Versionen von LLaVA-1.5. Die Vorgehensweise ist das gleiche Chain-of-Thought-Finetuning wie zuvor: SFT bringt dem Modell bei, Feedback zu schreiben und anschließend eine Bewertung zu geben. In jedem Trainingsbeispiel werden die beiden Teile durch den festgelegten Satz So der Gesamtscore ist getrennt, der dieselbe Funktion wie das [RESULT]-Token im Textmodell erfüllt. Mit Rubriken und Referenzantworten in der Eingabe entsteht so ein Modell, das für eine angepasste, feinabgestimmte Bewertung optimiert ist.

Prometheus-Vision weist eine bessere Übereinstimmung mit den menschlichen Ergebnissen auf als GPT-3.5-Turbo sowie die textbasierte Version von Prometheus, doch GPT-4 und GPT-4V stimmen insgesamt enger mit den Menschen überein. Am schwächsten abschneidet es beim VisIT-Bench, der voller textreicher Bilder ist. Dort schneidet GPT-4 gut ab, sogar besser als GPT-4V, da es den aus dem Bild extrahierten Text als Eingabe erhält, während Prometheus-Vision Schwierigkeiten hat, ihn zu lesen. Bei den anderen Benchmarks liegt Prometheus-Vision ungefähr auf dem Niveau von GPT-4 und GPT-4V und weist in einigen Fällen eine stärkere Übereinstimmung mit den Menschen auf als diese.

Menschliche Bewertungsexperten stuften ihre Rückmeldungen als etwa genauso gut wie die von GPT-4 und GPT-4V ein. Das Team untersuchte außerdem gängige Verzerrungen bei der Bewertung, wie beispielsweise die Länge-Voreingenommenheit – also die Präferenz für längere Antworten – sowie die Selbstverbesserungs-Voreingenommenheit, also die Präferenz für eigene Ausgaben. Sie fanden keinerlei offensichtliche Anzeichen für solche Verzerrungen, wobei darauf hingewiesen wird, dass es experimentell äußerst schwierig ist, eine einzelne Verzerrung isoliert nachzuweisen.

Weitere Ansätze in der feinabgestimmten Bewertung

Prometheus ist nicht die einzige Forschungsrichtung. Zahlreiche weitere Projekte haben große Sprachmodelle für die Bewertung trainiert, wobei jedes Projekt eine eigene Idee einbringt. Die folgende kurze Übersicht behandelt die am relevantesten für die Entwicklung eines eigenen Bewertungssystems.

Selbstbelohnende Sprachmodelle

Selbstbelohnende Modelle zielen darauf ab, die Abstimmung mithilfe eines internen Evaluators zu automatisieren. Anstatt ein separates Belohnungsmodell anhand menschlicher Präferenzen zu trainieren, wird das abzustimmende Modell selbst so trainiert, dass es seine eigenen Ausgaben unter Verwendung von Prompts im Stil von „LLM-as-a-Judge“ bewertet, wobei diese Bewertungen zur Belohnung dienen. Bei Anwendung auf LLaMA-2 lieferte diese Methode nützliche Rückmeldungen und verbesserte das zugrunde liegende Modell. Konzeptionell ähnelt sie Prometheus darin, dass das Modell lernt, als Richter zu fungieren, wobei die Ausgabe des Richters direkt wieder als Trainingssignal für dasselbe Modell verwendet wird.

LLM-as-a-Meta-Judge

Eine Einschränkung der selbstbelohnenden Modelle besteht darin, dass nichts die Urteilsfähigkeit an sich verbessert; das Modell wird zwar besser darin, zu antworten, doch seine Bewertungen bleiben genauso gut wie zu Beginn. Meta-belohnende Modelle fügen eine dritte Rolle hinzu. Neben der Funktion als Akteur und Urteiler agiert das Modell auch als Meta-Urteiler, der seine eigenen Urteile bewertet und so Trainingsdaten erzeugt, um sowohl den Urteiler als auch die Strategie zu verbessern. Beide Fähigkeiten verbessern sich somit im Laufe der Trainingsiterationen gemeinsam.

Selbstausgebildete Evaluatoren

Selbstausgebildete Bewertungssysteme entfernen die menschlichen Präferenzetiketten vollständig aus dem Prozess. Die Erhebung von Daten zu menschlichen Präferenzen ist kostspielig und veraltet, sobald sich die Modelle verbessern, weshalb dieser Ansatz iterativ synthetische Bewertungsdaten erzeugt. Aus einer Reihe von Anweisungen generiert ein LLM Paare von gegensätzlichen Ergebnissen, wobei eines absichtlich schlechter als das andere ist. Ein Bewertungsexperte wird darauf trainiert, diese Ergebnisse durch das Schreiben von Erklärungen und Urteilen zu bewerten. Durch Wiederholung dieses Vorgangs mit einem verbesserten Experten entstehen in jeder Runde bessere Trainingsdaten. Ohne jegliche von Menschen etikettierte Daten konnten die so erzeugten Bewertungssysteme laut Berichten in Bezug auf die Genauigkeit der Bewertungen sowohl GPT-4 als auch Belohnungsmodelle, die auf menschlichen Präferenzen trainiert wurden, übertreffen.

Die offensichtliche Einschränkung ist die Zirkularität. Ein Richter, der seine eigenen Trainingsdaten selbst erzeugt, neigt dazu, sich in Richtung dessen zu bewegen, was er bereits für gut hält, und ohne externe Überprüfung bleibt diese Tendenz unsichtbar. Selbst bei Verwendung eines selbstlernenden Zyklus bleibt eine kleine Menge an von Menschen gelabelten Datensätzen die einzige Möglichkeit, sicherzustellen, dass sich in jeder Runde tatsächlich Verbesserungen ergeben und nicht nur das Vertrauen des Systems wächst.

FLAMe: grundlegende Autorater

Foundational Large Autorater Models (FLAMe) verfahren bei der Verarbeitung von Daten auf die entgegengesetzte Weise: Sie werden anhand einer sehr großen Anzahl menschlicher Beurteilungen trainiert – mehr als 5 Mio. solcher Bewertungen zu über 100 Qualitätsbewertungsaufgaben. Im Vergleich zu anderen Bewertungsmodellen generalisieren FLAMe-Modelle besser auf unbekannte Bewertungsaufgaben, weisen weniger Verzerrungen auf und dienen als solide Ausgangspunkte für weitere Feinabstimmung zu spezialisierten Bewertungsmodellen. Es wurde berichtet, dass sie konsequent bessere Ergebnisse liefern als auf GPT-4 und Claude-basierte Bewertungsmodelle sowie Modelle, die anhand synthetischer GPT-4-Daten feinabgestimmt wurden.

Der Generalisierungs-Kompromiss

Optimierung der Präferenz für direkte Beurteilungen

Die Optimierung der Präferenzentscheidungen wendet die Präferenzoptimierung auf die Bewertenden an statt nur auf SFT. Für drei Anwendungsfälle werden Präferenzpaare gesammelt: Einzelbewertung, Paarvergleich und binäre Klassifizierung. Die ersten beiden entsprechen den üblichen punktweisen und paarweisen Konfigurationen; der dritte stellt die Bewertung als Ja-oder-Nein-Frage dar, beispielsweise ob eine bestimmte Eigenschaft in der Antwort vorliegt. Zudem wird eine Hilfstask hinzugefügt: Angesichts der Anweisung und eines Bewertungsergebnisses muss das Modell ableiten, welche Antwort bewertet wurde. Für jeden Anwendungsfall bilden eine gute und eine schlechte Entscheidung ein Präferenzpaar, und die Bewertenden werden mithilfe der direkten Präferenzoptimierung (DPO) damit trainiert. Der Vorteil besteht darin, dass der Bewertende nicht nur lernt, gute Entscheidungen nachzuahmen, sondern sie auch gegen plausible schlechte Entscheidungen zu bevorzugen.

Was bestimmt die Bewertungsscores eines Richters?

Eine berechtigte Frage zu jedem LLM-Bewerter ist, ob er tatsächlich die von Ihnen vorgegebenen Kriterien anwendet oder einfach Texte belohnt, die seinen Trainingsdaten ähneln. Analysen von LLM-Bewertern unter verschiedenen Bewertungsszenarien zeigten, dass detaillierte Anweisungen zur Bewertung im Prompt ihre Urteile nur geringfügig verbessern, und dass eine auf Perplexität basierende Bewertung, bei der eine Antwort danach bewertet wird, wie wahrscheinlich das Modell sie für sich hält, manchmal besser mit menschlichen Urteilen übereinstimmt als das Verwenden von Prompts – insbesondere was die Textqualität betrifft.

Dies scheint im Widerspruch zu den Erkenntnissen von Prometheus zu stehen, wonach Referenzmaterial von großer Bedeutung ist. Die beiden Ergebnisse lassen sich leichter in Einklang bringen, sobald man erkennt, was gemessen wurde. Die auf die Perplexität ausgerichteten Analysen konzentrieren sich hauptsächlich auf die allgemeine Antwortqualität aus der Perspektive menschlicher Präferenzen. Die meisten großen Sprachmodelle werden stark anhand von Präferenzdaten trainiert, weshalb es natürlich ist, dass sie Antworten, die Menschen mögen, eine hohe Wahrscheinlichkeit zuschreiben. Prometheus hingegen zielt auf eine Vielzahl von individuellen Kriterien ab, die über allgemeine Präferenzen hinausgehen, und für diese liefern explizite Bewertungskriterien Informationen, die das Modell allein aus der Flüssigkeit der Antworten nicht ableiten kann. Wenn Ihre Kriterien dem Prinzip „welche Antwort mögen die Menschen mehr?“ entsprechen, fügen die Bewertungskriterien vielleicht wenig hinzu; sind sie jedoch auf Ihr spezifisches Gebiet zugeschnitten, sind sie unerlässlich.

Ein schrittweises Rezept zur Erstellung Ihres eigenen Bewertungssystems

Angesichts der Forschungslage hilft es, sie in einen Prozess zu fassen. Die Prometheus-Arbeit skizziert bereits ein Rahmenwerk, und die folgende Version passt es leicht an, um das Einbringen der Erkenntnisse aus den anderen Arbeiten zu berücksichtigen.

Schritt 1: Die Bewertungskriterien festlegen

Bestimmen Sie zunächst genau, was Sie bewerten möchten:

• Führen Sie die spezifischen Kriterien auf, die für Ihre Anwendung relevant sind.
• Schreiben Sie eine detaillierte Beschreibung für jedes Kriterium, einschließlich der Bedeutung jeder Bewertungsstufe.

Die Feedback-Sammlung ist ein gutes Beispiel dafür, wie eine solche Bewertungsmatrix aussieht – mit einer Beschreibung der Kriterien, Beschreibungen zu jeder Bewertungsstufe sowie Referenzantworten. Rechnen Sie damit, die Kriterien mehrfach zu überarbeiten. Je besser Sie erkennen, wo Menschen und Modelle unterschiedlicher Ansicht sind, desto weiter können Sie die Bewertungsmatrix verfeinern und erweitern – jede Überarbeitung macht sowohl die menschliche als auch die modellbasierte Bewertung konsistenter.

Schritt 2: Erhebung hochwertiger menschlicher Labels

Vor dem Training oder sogar vor der Einsetzung eines Bewerters benötigen Sie zuverlässige Daten menschlicher Bewertungen. Nur so können Sie feststellen, ob ein Bewerter präzise arbeitet, und diese Daten sollten die Eingaben widerspiegeln, mit denen der Bewerter in der Praxis konfrontiert wird. Falls die Daten ausschließlich für Meta-Bewertungen verwendet werden, beispielsweise um einen als Bewerter eingesetzten LLM zu validieren, reicht in der Regel eine bescheidene Anzahl von etwa 100 bis 1.000 Beispielen aus. Für das Feintuning eines Prometheus-ähnlichen Bewerters sind deutlich mehr Daten erforderlich – in der Größenordnung von 1.000 bis 100.000 Beispielen.

Die Erfassung von menschlichen Daten ist schwierig, und genau hier investieren Teams am häufigsten zu wenig. Wenn die Personen sich bei der Aufgabe nicht einigen können, lässt sich nicht feststellen, ob ein Modell gute Arbeit leistet, und das Schulen eines Bewerters mit inkonsistenten Labels verschwendet alle Bemühungen. Alles, was im Abschnitt zur menschlichen Bewertung oben erwähnt wurde, gilt auch hier: Kalibrieren Sie die Bewertenden, halten Sie Richtlinien ein und messen Sie weiterhin die Übereinstimmung.

Schritt 3: Erweiterung mit synthetischen Daten

Die Prometheus-Modelle zeigen, dass synthetische Daten zu zuverlässigen Bewertern führen können: Fast alle ihre Trainingsdaten, einschließlich Anweisungen, Antworten, Bewertungen und Feedbacks, wurden von GPT-4 erzeugt. Rein synthetische Daten bergen ein Risiko, da sie das Modell nur einer begrenzten Auswahl möglicher Eingaben aussetzen und die Voreingenommenheiten des Lehrmodells übernehmen. Die Kombination aus von Menschen gelabelten und synthetischen Daten funktioniert in der Regel viel besser als jede dieser Optionen für sich allein. Verwenden Sie die von Menschen erstellten Daten, um die Qualität zu gewährleisten, und die synthetischen Daten, um das erforderliche Volumen sowie die Abdeckung für das Feintuning zu erreichen. Wenden Sie bei der Erstellung synthetischer Daten die aus der Feedback-Sammlung stammenden Prinzipien an – wie eine gleichmäßige Verteilung der Bewertungen und kontrollierte Antwortlängen.

Schritt 4: Investieren in die Begründungen

Genaue Bewertungen und Ranglisten sind selbstverständlich erforderlich, doch die Begründungen verdienen genauso viel Aufmerksamkeit. Es ist bekannt, dass Feintuning keine gute Methode ist, um neuen Wissen in ein Modell einzubringen; stattdessen eignet es sich gut dazu, Stil und Format beizubringen. Für einen Bewertenden ist das Feedbackformat das Wichtigste, was er kontrollieren kann. Spezifische, kritische Begründungen, die an das Bewertungskriterienheft gebunden sind, führen dazu, dass die Erklärungen des Bewertenden tatsächlich nützlich sind. Da das Modell die Begründung vor der Bewertung schreibt, tragen bessere Begründungen in der Regel zu besseren Bewertungen bei. Fügen Sie einen festen Trenner zwischen dem Feedback und der Bewertung ein, damit die Ausgaben leicht verarbeitet werden können.

Schritt 5: Fügen Sie an den passenden Stellen Referenzantworten hinzu

Dieser Schritt ist optional, lohnt sich aber in der Regel. Referenzantworten helfen sowohl den ursprünglich vorgegebenen als auch den feinabgestimmten Bewertern. Bei feinabgestimmten Bewertern kompensieren sie Wissensverzerrungen, füllen Lücken in dem ein, was das Basismodell während des Vortrainings gelernt hat, und sorgen dafür, dass die punktgenaue Bewertung deutlich genauer und stabiler wird. Bei faktenbasierten oder domänenspezifischen Aufgaben ist eine Referenzantwort oft wichtiger als jede Formulierung des Antrags.

Schritt 6: Trainieren und meta-evaluieren

Sobald die Daten sowie optional die Referenzantworten vorliegen, trainiert man den Urteilsverkünder mithilfe des Standard-SFT-Verfahrens. Das Prometheus-Repositorium bietet eine vollständige Umsetzung dieses Prozesses. Behalten Sie von Anfang an einen Testanteil der von Menschen gelabelten Daten zurück und verwenden Sie diesen für die Meta-Bewertung: Klassifizierungsmetriken, falls die Ausgabe des Urteilsverkünders binär ist, sowie Korrelationsmetriken für alle anderen Fälle. Bei paarweisen Urteilsverkündern sollte außerdem gemessen werden, wie oft das Urteil auch nach einem Wechsel der Reihenfolge bestehen bleibt; ein Urteilsverkünder, dessen Entscheidung sich mit dem Wechsel der Reihenfolge ändert, ist noch nicht bereit.

Bevor Sie sich auf den Urteilsverkünder verlassen, führen Sie einige zusätzliche Überprüfungen durch:

• Bewerten Sie Beispiele außerhalb der zugrundeliegenden Verteilung, um herauszufinden, wie weit seine Kompetenz reicht.
• Vergleichen Sie seine Score-Verteilung mit der der Menschen, um systematische Nachsicht oder Strenge festzustellen.
• Prüfen Sie direkt die Auswirkungen von Länge und Reihenfolge, indem Sie die Länge der Antworten sowie die Reihenfolge bei derselben Inhaltsangabe variieren.

Führen Sie die Meta-Bewertung erneut durch, sobald sich die Kriterien, die Eingaben oder das Basismodell ändern.

Wann man nicht feintunen sollte

Ein feintunerter Bewertungsalgorithmus ist nicht immer das richtige Werkzeug. Wenn Ihre Kriterien allgemein gehalten sind, wie beispielsweise die Gesamthilfreichkeit, reichen ein gut gesteuertes proprietäres Bewertungssystem oder ein vorhandener offener Evaluator oft aus und sind außerdem deutlich günstiger in der Einrichtung. Wenn Sie keine zuverlässige, von Menschen gelabelte Datensammlung sammeln können, können Sie keinen Bewertungsalgorithmus validieren – egal ob feintuniert oder nicht –, daher sollten Sie das zuerst klären. Zudem bedeutet die ständige Veränderung der Aufgabenzuweisungen, dass feintunerte Bewertungsalgorithmen aufgrund ihrer spezifischen Ausrichtung häufig neu trainiert werden müssen. Feintunen lohnt sich, wenn die Kriterien spezialisiert sind, das Ausmaß der Bewertung groß ist und Sie Kontrolle über Versionierung, Kosten oder Datensicherheit benötigen.

Ein Hinweis zu Kosten und Betrieb

Die Nutzung eines „Judges“ verschiebt die Kosten statt sie zu beseitigen. Man tauscht Gebühren für API-Aufrufe gegen Rechenzeit auf GPU, Hosting von Modellen sowie die notwendige Ingenieurarbeit, um sicherzustellen, dass die Version des „Judges“ versioniert und reproduzierbar bleibt. Im Gegenzug erhält man eine feste Modellversion, die unter der eigenen Kontrolle nicht geändert werden kann, Bewertungsdaten, die niemals Ihre Infrastruktur verlassen, sowie die Möglichkeit, Millionen von Urteilen auszuführen, ohne dass die Rechnungen ansteigen. Behandeln Sie den „Judge“ wie jedes andere Produktionsmodell: Fixieren Sie seine Gewichte, dokumentieren Sie, welche Version welche Ergebnisse erzeugt hat, und behalten Sie die Metabewertungssätze bei, damit eine zukünftige Neuanpassung unter gleichen Bedingungen mit der aktuellen verglichen werden kann.

Kernpunkte

• Menschliche Urteile bleiben der Referenzpunkt, doch erst nach Kalibrierung sowie durch aktuelle Richtlinien und kontinuierliches Tracking von Übereinstimmungen sind sie ausreichend zuverlässig, um alles dagegen messen zu können.

Überlappungsmetriken wie ROUGE und BLEU stehen in keinem guten Zusammenhang mit der Präferenz von Menschen für offene Ausgaben; betrachten Sie sie als einfache Grundsicherungen, nicht als Qualitätsmaßstäbe.

Eigene Bewertungskräfte, die angeleitet werden, sind leicht einzusetzen, bergen aber Risiken hinsichtlich Versionierung, Kosten, vorsichtiger Meinungen sowie eine geringere Leistung bei spezifischen Kriterien.

Fine-tuned Bewertungskräfte wie PandaLM, JudgeLM, Auto-J und die Prometheus-Familie zeigen, dass offene Modelle im jeweiligen Anwendungsbereich GPT-4 erreichen oder sogar übertreffen können – größtenteils durch sorgfältiges Datendesign: Rubriken und Referenzantworten als Eingabe, Feedback vor der Bewertung, ausgewogene Labels sowie Positionstausch.

Das Zusammenführen von Modellen bietet eine einfache Möglichkeit, punktweise und paarweise Fähigkeiten in einem einzigen Bewertungskräfte zu kombinieren, wobei eine einfache Gewichtsvereinigung in den meisten Fällen gut funktioniert.

Feinabgestimmte Bewertungsmodelle sind task-spezifisch. Halten Sie sie in der Nähe ihrer Trainingsverteilung und überprüfen Sie sie erneut anhand von menschlichen Labels, sobald sich etwas Wichtiges ändert.