Schulung von Unternehmens-KI-Agenten: Auswahl zwischen SFT, DPO, GRPO und RAG

Stellen Sie sich vor, ein Analyst hat vor zehn Tagen einen Enterprise-Agenten gefragt: Warum sind die Verkäufe in Nordamerika im letzten Quartal zurückgegangen? Das System fragte nach der Bedeutung von „letztem Quartal“ und wählte Q2 FY2026 aus. Es ordnete Nordamerika der genehmigten regionalen Hierarchie zu, erstellte SQL-Abfragen, die an den jeweiligen Nutzer gebunden waren, prüfte mehrere Hypothesen und lieferte einen zitierten Bericht.

Heute stellt der Analyst eine ähnliche Frage. Der Agent erinnert sich zwar noch an den richtigen Umfang, generiert jedoch fehlerhaftes JSON für das Tool, erklärt mehrere Absätze lang eine bereits gescheiterte Hypothese und zitiert mit voller Überzeugung einen Entwurf einer Finanznotiz.

Zu diesem Zeitpunkt entscheiden viele Teams, dass das Modell feinjustiert werden muss. Manchmal ist das richtig. Oft jedoch versuchen sie, etwas Falsches zu trainieren.

Erklären Sie, was schiefgelaufen ist. Eine Regionenkarte ist eine Tatsache, eine Finanznotiz wird durch geltendes Wissen gesteuert, und ein SQL-Schema ist eine ständig sich verändernde Schnittstelle – daher befinden sich alle drei im Speicher sowie in den Mechanismen zur Abrufung und in den Tools. Stattdessen sollten die Gewichte die stabileren Gewohnheiten widerspiegeln: gültige Toolaufrufe durchführen, das Beweisprotokoll befolgen, nach einem leeren Ergebnis wieder zu Kräften kommen, Schlussfolgerungen bevorzugen, die mit Quellen versehen sind, und sich weigern zu antworten, wenn die vom Agenten verfügbaren Beweise unzureichend sind.

Diese Aufteilung bildet die Grundlage für alle Anpassungen in Unternehmen:

Verändernde Fakten gehen in den Abrufmechanismus, dauerhafter Kontext in den Speicher, Aktionen in die Tools und wiederholbares Verhalten in das Training.

Ein Modellupdate ist kein Ergebnis aus einem Notizbuch. Es handelt sich um eine kontrollierte Veröffentlichung, und seine Beweisspur beginnt bereits vor dem ersten Optimierungsschritt und muss auch bei einem Rollback in der Produktion erhalten bleiben.

Im Folgenden wird das übliche Werkzeugset nach dem Training aus der Sicht eines Unternehmens-Agenten betrachtet – ein völlig anderes Ziel im Vergleich zu einem Benchmark-Modell. Behandelte Themen:

• Die Entscheidung, ob ein Defekt in Anfragen, der Informationsabruf, das Gedächtnis, Tools oder Gewichte fällt;
• Der Aufbau eines datenbasierten Systems, das rechtkonform ist und gegen Kontamination widerstandsfähig ist;
• Die Auswahl zwischen fortgesetztem Vortraining, überwachtem Feintuning, LoRA, QLoRA, DoRA und vollständigem Feintuning;
• Die Abstimmung von DPO, IPO, KTO, ORPO und SimPO auf die Struktur der Präferenzdaten;
• Die Unterscheidung der Probleme, die jeweils von PPO, GRPO, DAPO, GSPO, RLOO sowie trainingsbasierten Verifizierungsverfahren gelöst werden;
• Die Verwendung der Lehrer-Schüler-Destillation, um Grenzkapazitäten in ein einsetzbares Produkt umzuwandeln;
• Die Registrierung, Bewertung, Überwachung sowie Rücksetzung von Adaptern als Produktkomponenten.

Ein einziger laufender Fall durchzieht alles darunter: INV-22041, eine Mehr-Agenten-Verkaufsermittlung für den Mieter acme-eu. Er setzt sich aus vier logischen Phasen zusammen (Erweiterung, Datenausreichendkeit, Hypothesentest und Berichterstattung). Jede Phase verfügt über eigene Tools und Unterarbeitsabläufe, doch der Schulungsvertrag bleibt an jeder Phasengrenze sichtbar.

Wann Schulung die richtige Lösung ist

Schalten Sie auf Schulung um, wenn die gewünschte Änderung wiederkehrt, gemessen werden kann und stabil genug ist, um in den Gewichten gespeichert zu werden, und wenn ihre Durchsetzung an anderer Stelle teurer wäre. Es ist in der Regel der falsche erste Schritt, wenn sich etwas wie eine Richtlinie, ein Katalog, der Name eines Kunden, der heutige Preis, eine Berechtigung oder ein Tool-Schema ändern lässt, was durch eine Beschränkung geregelt werden könnte.

Wählen Sie die am wenigsten rückgängig zu machende Ebene, die den Defekt behebt:

1. Ein Prompt oder Systempaket kümmert sich um explizites Verhalten, dem das Basismodell bereits zuverlässig folgt.
2. RAG handhabt aktuelles Unternehmenswissen, das nachvollziehbar sein muss.
3. Memory speichert vom Benutzer angegebene Präferenzen, dauerhafte Zuordnungen sowie zuvor genehmigte Ergebnisse.
4. Tool- und Schema-Steuerungen sorgen für Determinismus, Autorisierung sowie Kontrolle über Nebeneffekte.
5. SFT oder PEFT zielt auf wiederkehrende Antwortstrukturen, Tool-Grammatiken, Wiederherstellungsmuster sowie Domain-Stile ab.
6. Präferenzoptimierung wird angewandt, wenn mehrere Ausgaben gültig sind, aber eine konsequent besser ist.
7. Reinforcement Learning wird eingesetzt, wenn der Erfolg erst nach einer Abfolge von Entscheidungen bewertet werden kann.

Führen Sie INV-22041 auf derselben Grundlage durch. Dass „North America“ auf den genehmigten Regionenode NA_01 verweist, ist eine Aufgabe für gemanagtes Speicher- oder Metadatenmanagement. Das Binden von tenant_id, die Verwendung der nur-Lese-semantischen Schicht sowie die Rückgabe von typisiertem JSON in jeder SQL-Anfrage gehören sowohl zum Laufzeitvertrag als auch zum Verhalten trainierbarer Tools. Der Vorzug einer kurz gefassten, zitierten Erklärung vor einer überzeugenden, unzitierten Geschichte ist ein hervorragendes Ziel für Präferenztraining.

Eine häufige Fehlernquelle: Feinabstimmung an den neuesten Unternehmensdokumenten. Das Modell kann veraltete oder eingeschränkte Aussagen memorisieren, während es die Herkunft, Löschrechte sowie Autorisierungssemantik verliert.

Wählen Sie die Methode entsprechend der zur Verfügung stehenden Überwachungsdaten aus

Teams beginnen oft mit dem Namen eines Algorithmus. Beginnen Sie stattdessen mit den tatsächlich vorhandenen Beweismitteln.

• Wenn Anfragen mit goldenen Antworten oder goldenen Tool-Spuren verknüpft sind, verwenden Sie SFT.
• Bei ausgewählten und abgelehnten Antworten wenden Sie Methoden der DPO-Klasse an.
• Wenn unabhängige Labels die Ausgaben als wünschenswert oder unerwünscht kennzeichnen und es keine Verknüpfung gibt, eignet sich KTO hervorragend.
• Falls ein deterministischer Bewertungsalgorithmus jede Ausführung bewerten kann (SQL-Gültigkeit, exakte Antwort, Unit-Tests, Richtlinienprüfungen), ist eine verifizierbare Belohnungsoptimierung wie GRPO oder RLVR geeignet.
• Wenn die Qualität subjektiv ist und nicht auf eine von allen getraute Regel reduziert werden kann, bleibt das klassische Belohnungsmodell in Kombination mit einer PPO-Einrichtung relevant.

Das ist keine Ideologie. Jede Wahl zeigt an, was Ihre Daten beweisen können.

Eine Release-Invarianz, die beibehalten werden sollte

Für jedes Schulungsbeispiel soll ein Tupel aufgezeichnet werden, das die ID des Beispiels sowie die Quellen angibt, aus denen es stammt, warum die Zustimmung erteilt wurde und zu welchem Zweck, zu welchem Tenant es gehört, welche Policy-Version verwendet wurde, den Hash der angewandten Transformation, in welche Gruppe es eingeteilt wurde und welche Version des Labelers oder Graders es erzeugt hat. Nach der Implementierung beantwortet dieses Tupel die schwierigen Fragen: Woher stammt ein bestimmtes Verhalten? War das Beispiel autorisiert? Kann es zwischen Tenants durchsickern? Welche Transformation hat es erzeugt? Ist es auch in der Bewertung aufgetaucht?

Das Unternehmensdatenmodell

Die meisten Fehler nach der Schulung entstehen bereits vor dem Training. Ein gut formuliertes Ziel kann Beispiele, die kontaminiert, nicht autorisiert oder ungenau definiert sind, nicht retten.

Die Herkunft geht der Vorkonvertierung voraus

Jeder rohe Datensatz benötigt einen Eigentümer, eine Sammelmethode, eine Lizenz oder eine Grundlage für die Einwilligung, einen zulässigen Zweck, eine Aufbewahrungsregel, eine geografische Zuordnung, eine Sensitivitätsklasse sowie einen Abstammungsidentifikator. Werfen Sie diese Metadaten nicht weg, wenn Dokumente oder Spuren zu Trainingsbeispielen werden. Das fertige Beispiel muss weiterhin auf die ursprünglichen Quellen sowie auf alle angewandten Transformationen zurückverfolgbar sein.

Privatsphäre, Geheimnisse und Datenminimierung

Redaktion ist notwendig – reicht aber dennoch nicht aus. Ein Datensatz kann keine offensichtlichen Namen haben und dennoch vertrauliche Geschäftslogiken, seltene Identifikatoren, kundenbezogene Werte oder wiederherstellbare Geheimnisse enthalten. Berücksichtigen Sie folgende Punkte:

• Scannen Sie vor und nach der Transformation nach PII und Geheimnissen;
• Halten Sie Nutzer durch Stichprobenziehung, Speicherung und Bewertung voneinander getrennt;
• Filtern Sie nach Zweck und nicht nur nach Zugriffsrechten;
• Prüfung auf nahezu identische Elemente in Testmengen und geschützten Korpora;
• Erfassung der Löschkette, damit eine Rechteinhaberanfrage die Rohdaten, abgeleiteten Beispiele, Kontrollpunkte, Adapter, Caches sowie Bewertungsartefakte erreicht.

Die Kontamination kann gemessen werden

Ein einfacher operativer Metrik funktioniert: Die Kontaminationsrate ist die Anzahl der kontaminierten Bewertungselemente geteilt durch die Gesamtzahl der Bewertungselemente. Unter „kontaminiert“ fallen exakte Duplikate, nahezu identische Elemente, Paraphrasen, die die Antwort enthalten, sowie synthetische Beispiele, die aus Bewertungselementen abgeleitet wurden. Für eine Bewertung, die eine Veröffentlichung definiert, soll der Wert null sein.

Menschliche Beschriftungen benötigen einen Vertrag

Ein Präferenzdatensatz ohne Bewertungskriterien verwandelt sich in einen Datensatz, der den persönlichen Vorlieben der Annotatoren entspricht. Für die Berichterstattungsphase dient ein nützliches Bewertungskriterium dazu, diese zu ordnen:

1. Befolgung von Genehmigungs- und Datenschutzvorschriften;
2. faktische Unterstützung und korrekte Zitierungen;
3. statistische Gültigkeit;
4. kalibrierte Unsicherheit;
5. Vollständigkeit;
6. Konkretheit und Stil.

Die Übereinstimmung sollte gemessen werden. Für zwei Beurteiler ist Cohens Kappa die beobachtete Übereinstimmung minus die durch Zufall erwartete Übereinstimmung, geteilt durch eins minus die durch Zufall erwartete Übereinstimmung. Der beobachtete Anteil entspricht dem Prozentsatz der Bewertungen, bei denen sich die Beurteiler einig sind, während der zufällige Anteil aus den Häufigkeiten der Bewertungen jedes einzelnen Beurteilers stammt. Ein niedriger Kappa-Wert bedeutet, dass die Bewertungskriterien, Beispiele oder die Schulung der Beurteiler überarbeitet werden müssen, und zusätzliche Durchläufe werden ein schwaches Signal nicht verbessern.

Wie ein Produktions-Trainingsprotokoll aussieht

Das nützliche Ergebnis ist nicht einfach nur ein Paar aus Prompt und Antwort. Es handelt sich um ein Protokoll, das die Durchführung von Verwaltungs- und Bewertungsverknüpfungen ermöglicht:

{
  "example_id": "inv22041-sft-01842",
  "tenant_scope": "synthetic-enterprise",
  "purpose": "tool_format_and_recovery",
  "messages": [
    {"role": "user", "content": "Why are sales down in the last quarter?"},
    {"role": "assistant", "content": "I will use the previously approved Q2 FY2026 scope and test the cited hypotheses."}
  ],
  "tool_trace": {
    "name": "query_semantic_layer",
    "arguments": {"tenant_id": "acme-eu", "region_id": "NA_01", "period": "FY2026-Q2"}
  },
  "source_ids": ["memory:m-492", "schema:v17", "policy:p-31"],
  "transform_hash": "sha256:…",
  "split": "train"
}

Die Werte sind absichtlich erfunden. Die Struktur hingegen nicht: Ein Objekt enthält den Inhalt zusammen mit Angaben dazu, wer ihn autorisiert hat, woher er stammt und wie er bei der Bewertung identifiziert wird.

SFT, fortgesetztes Vortrainieren und Mitteltrainieren

Menschen fassen diese Techniken unter „Feintuning“ zusammen, obwohl jede von ihnen eine andere Datenverteilung optimiert.

Überwachtes Feintuning

SFT lässt das Modell eine Zielantwort oder -entwicklung nachahmen. Der Verlustwert ist eine negative Summe über die Positionen: eine Maske multipliziert mit der logischen Wahrscheinlichkeit, die das Modell dem Zieltoken unter Berücksichtigung der Eingabe sowie der früheren Zieltokens zuweist. In dieser Formel steht x für den Eingabekontext, yₜ für das Ziel an Position t, die Maske mₜ ist auf 1 gesetzt für überwachte Token und auf 0 für den Prompt, das Padding sowie alles andere, was ausgeschlossen wird, und θ bezeichnet die lernbaren Parameter.

System-, Benutzer-, Tool-Ergebnis- und Padding-Tokens liefern Kontext, ohne Gradienten zu erzeugen. Nur die ausgewählten Assistentenziele tragen zum überwachten Verlust bei.

Die Maske ist wichtig. Wenn Benutzer- und System-Token versehentlich hineinkommen, lernt das Modell, das Gespräch nachzustellen, anstatt darauf zu antworten.

Was das Ziel der Kreuzentropie tatsächlich bewirkt

In jeder überwachten Position erzeugt das Modell einen Logit-Wert pro Wortschatztoken, und eine Softmax-Funktion wandelt diese Logit-Werte in Wahrscheinlichkeiten um. Bei der Softmax ist die Wahrscheinlichkeit eines Tokens sein exponentiierter Logit-Wert geteilt durch die Summe der exponentierten Logit-Werte aller Tokens im gesamten Wortschatz; dadurch sind die Ergebnisse positiv und addieren sich auf eins.

Die Kreuzentropie berechnet anschließend eine Strafe für das Modell als negatives Logarithmus der von ihm für das korrekte Token angegebenen Wahrscheinlichkeit. Ein korrektes Token mit einer Wahrscheinlichkeit von 0,8 kostet etwa 0,223, während ein solches mit einer Wahrscheinlichkeit von 0,01 etwa 4,605 kostet. Zuversichtliche Fehler erzeugen daher viel größere Gradienten als bereits richtige Vorhersagen.

Eine Folge ist in Unternehmen von großer Bedeutung. Eine bescheidene Anzahl hochwertiger Tool-Beispiele kann einen systematischen Formatierungsfehler effektiv beheben, sofern das Ziel eindeutig ist. Wenn zwei Beispiele semantisch identische Anfragen mit widersprüchlichen Tool-Schemata zeigen, erfordert der Verlust unvereinbare Vorhersagen.

Sequenzverlust, Tokenverlust und geschäftliche Relevanz unterscheiden sich

Der Sequenzverlust wird in der Regel über die überwachten Tokens durchschnittlich berechnet, d.h. die maskierte Summe der Tokenverluste geteilt durch die Anzahl der überwachten Tokens. Da ein 500-Token-Bericht etwa fünfzigmal so viele Tokenverluste verursacht wie eine 10-Token-Ablehnung, kann ein Datensatz mit gleicher Anzahl beider Arten bei der Optimierung dennoch von Berichten dominiert werden.

Wenn die Richtigkeit der Ablehnung, die Bindung an Mieter oder die Auswahl von Werkzeugen geschäftliche Relevanz haben, drücken Beispiellisten diese Bedeutung allein nicht aus. Die Möglichkeiten sind:

• Gruppen nach Verhaltensklasse ausbalancieren;
• Beispiele oder ausgewählte Token gewichten;
• ausführliche Ziele verkürzen;
• seltene Grenzfälle überproportional abbilden;
• bei der Bewertung die Generierungsqualität von Vertragsprüfungen trennen.

Jede Gewichtung muss explizit sein. Ein niemals aufgezeichneter Sampler ist trotz fehlender Erwähnung in der Verlustfunktion Teil des Ziels.

Teacher forcing und Exposure Bias

Beim SFT wird jedes Token nach den korrekten vorherigen Zieltokenn vorhergesagt. Im Laufzeitbetrieb liest das Modell jedoch stattdessen das, was es selbst erzeugt hat, wodurch ein kleiner Fehler dazu führen kann, dass es in einen Zustand gerät, der während des Trainings nie gezeigt wurde.

Bei einem Agenten zeigt sich diese Lücke als aufeinanderfolgende Fehlfunktionen der Werkzeuge:

1. Das Modell gibt einen Entity-Identifikator aus, der leicht falsch ist.
2. Das Tool liefert ein leeres Ergebnis.
3. Das Modell hat diesen Zustand noch nie gesehen.
4. Es erfindet ein Ergebnis und korrigiert die Abfrage nicht.

Enthalten Sie zusammen mit den perfekten Demonstrationen auch Wiederherstellungsverläufe. On-Policy-Distillation und Reinforcement Learning adressieren später den gleichen Verteilungssprung direkter.

Correctes Maskieren von Tool-Dialogen

Ein realistischer Transkript enthält die Systemrichtlinie, die Sprache des Benutzers, die Schlussfolgerungen des Assistenten, die Argumente des Tools, die Ergebnisse des Tools sowie eine endgültige Antwort. Entscheiden Sie, welche Tokens das Verhalten vermitteln sollen:

• System- und Benutzer-Token erhalten in der Regel ein Maskenwert von 0;
• Aufrufe des Assistenten an Tools erhalten in der Regel einen Maskenwert von 1;
• Die rohe Ausgabe des Tools erhält in der Regel einen Maskenwert von 0, da es sich um eine Beobachtung aus der Umgebung handelt und nicht um Sprache, die der Assistent nachahmen sollte;

Die Analyse durch den Assistenten oder die verborgene Logik folgen den Regeln des Modellanbieters sowie der Bereitstellungsrichtlinie;

Die endgültige Antwort erhält die Maske 1.

Wenn der Ausgabe des Überwachungstools versehentlich zugestimmt wird, kann das Modell lernen, Datenbankergebnisse zu fälschen. Wenn Tool-Argumente versehentlich ausgeschlossen werden, kann sich der Berichtsstil verbessern, während die Zuverlässigkeit des Tools unverändert bleibt.

Packen ohne Leckagen zwischen Beispielen

Nehmen wir an, die Beispiele A, B und C benötigen 700, 900 bzw. 1.100 Token. Jedes wird in eine eigene Sequenz mit 4.096 Token gelegt, wobei im Durchschnitt nur etwa 22 % der zugewiesenen Positionen genutzt werden. Das Packen erhöht die Auslastung, doch eine kombinierte Sequenz erfordert Schutzmaßnahmen:

• Es muss die eigene Positionsbearbeitung des Modells respektiert werden;
• Alles, was nicht gelernt werden sollte (Puffer, ausgeschlossene Elemente), erhält die Ignorier-Markierung des Frameworks, in der Regel −100;
• Die Aufmerksamkeit sollte nicht von einem Beispiel auf ein anderes übergehen, wenn die Methode sie als unabhängig behandelt;
• Für Debugging-Aufgaben und Löschanfragen müssen weiterhin die Metadaten jedes Einzelsbeispiels auffindbar sein.

Eine häufige Fehlerquelle: Man aktiviert packing=True und geht davon aus, dass die Standardeinstellung der Bibliothek zum Chat-Template, zur Implementierung der Aufmerksamkeit sowie zur Verlustfunktion passt. Überprüfen Sie einen Datensatz manuell: decodierte Eingaben, Labels, Masken, Grenzen der Beispiele sowie die Anzahl der überwachten Token.

Bei einem Unternehmensagenten sind die wertvollsten SFT-Beispiele jene mit gültigen Tool-Argumenten, Klärungsverhalten, strukturierten Ablehnungen, Wiederherstellung aus leeren Ergebnissen, korrekter Zitiergrammatik sowie Übergängen zwischen Agenten. Fügen Sie auch negative Grenzfälle zur Bewertung hinzu, selbst wenn die Trainingsdaten nur gewünschte Antworten enthalten.

Weiteres Vortrainieren

Das fortgesetzte Vortrainieren wendet das einfache Next-Token-Ziel auf Texte aus dem jeweiligen Bereich an. Verwenden Sie es, wenn das Basismodell noch nie mit dem Wortschatz, der Notation oder dem allgemeinen Textumfang eines bestimmten Bereichs in Berührung gekommen ist. Eine genaue Anleitung zur Ausführung von Aufgaben ist etwas, was das Modell besonders schlecht macht.

Das katastrophale Vergessen ist hier das Risiko: Die Verwirrung beim Umgang mit Texten aus dem jeweiligen Bereich nimmt ab, während das Modell bei der Befolgung allgemeiner Anweisungen, beim Umgang mit anderen Sprachen, bei der Sicherheit oder bei der Verwendung von Tools versagt. Bewahren Sie Replay-Daten auf und legen Sie allgemeine Mindestanforderungen an die Fähigkeiten des Modells fest.

Mischen von Bereichsdaten mit Replay-Daten

Nennen wir die Verteilung des neuen Domänenformats D_domain und ein Beispiel für die Fähigkeiten, die erhalten bleiben müssen, D_replay. Ein einfaches Mischungsziel fügt einen gewichteten erwarteten Verlust an den Domänendaten zu einem gewichteten erwarteten Verlust an den Replay-Daten hinzu. Keines dieser Gewichte ist eine universelle Konstante. Ein stark spezialisiertes lokales Modell kann ein höheres Gewicht für die Domäne zulassen, während ein gemeinsames Unternehmens-Grundmodell in der Regel einen stärkeren Erhaltungsterm benötigt.

Beobachten Sie mindestens drei Kurven getrennt voneinander: den Verlust bei der Domänenvalidierung, den Verlust bei der Replay-Validierung sowie die nachgelagerten Verhaltensbewertungen. Ein niedrigerer Gesamterverlust kann einen sich verschlechternden Replay-Verlauf verdecken, weshalb die Stoppsbedingungen sowohl Konvergenzkriterien für die Domäne als auch Mindestwerte für die Erhaltung beinhalten sollten.

Die Lernrate bestimmt den Einflussbereich

Das fortgesetzte Vortrainieren ändert weitaus mehr Parameter als ein kleiner Adapter, und eine Lernrate, die für einen Adapter geeignet ist, kann ein dichtes Basismodell schädigen. Verwenden Sie konservative Zeitpläne, erstellen Sie häufig Checkpoints und bewerten Sie die Zwischencheckpoints, denn der letzte Optimierer-Schritt ist nicht automatisch der beste Enterprise-Checkpoint.

Auch die Anzahl der Tokens prägt die tatsächlichen Veränderungen. Eine sehr niedrige Lernrate bei Milliarden von Tokens kann ein Modell stärker verändern als eine höhere Lernrate bei einer kleineren, sorgfältig ausgewählten Datensammlung – daher sollten Sie die Gesamtanzahl der Tokens sowie die Optimierer-Schritte protokollieren und nicht nur die Anzahl der Epochen.

Mittleres Training

Die Zwischenausbildung liegt zwischen der umfassenden Vorausbildung und der endgültigen Nachausbildung. Sorgfältig ausgewählte Spuren mit langen Kontexten, Schlussfolgerungsvermögen, multimodalen Informationen oder Agentenaktivitäten verändern die Fähigkeiten des Systems, bevor eine Abstimmung stattfindet. Für INV-22041 könnte das lange Untersuchungsspuren bedeuten, bei denen der Agent ein leeres SQL-Ergebnis sieht, darüber nachdenkt, ob das Zeitintervall oder die semantische Karte der Grund dafür ist, die Abfrage korrigiert, seinen Hypothesensatz aktualisiert und ein kompaktes Beweisprotokoll erstellt.

Durch Zusammenfassen mehrerer kurzer Sequenzen in einem Kontextfenster wird die Auslastung verbessert, doch die Beispiele benötigen dann korrekte Aufmerksamkeits- und Verlustgrenzen. Ein schlechter Zusammenfasser lässt das Beispiel eines Kunden ohne Warnung auf das eines anderen Kunden einwirken.

SFT oder Zwischenausbildung: eine Diagnose

Fragen Sie sich, ob sich das gewünschte Verhalten in einem recht kurzen Eingabe-Ausgabe-Paar zeigen lässt.

• Falls ja, beginnen Sie mit SFT.
• Die Mittelstufe des Trainings ist sinnvoll, wenn die Aufgabe davon abhängt, wie lange die Dokumente organisiert sind, wie das Modell durch mehrstufige Zustände gelangt oder wie es mit einem Kontextmix umgeht, der sich von dem unterscheidet, was es zuvor gesehen hat.
• Falls die fehlenden Informationen sich regelmäßig ändern, passt weder die eine noch die andere Methode, und dann sind Abrufverfahren oder Tools die Lösung.

Für INV-22041 ist gültiger SQL-JSON ein Ziel für SFT. Sorgfältig ausgewählte lange Abläufe können dem Agenten helfen, sich über eine 30-stufige Untersuchung mit mehreren fehlgeschlagenen Hypothesen zu erholen. Die heutigen Verkaufszahlen bleiben Laufzeitdaten.

parametereffizientes Tuning: LoRA, QLoRA, DoRA und Präfix-Tuning

Parametereffizientes Feintuning sollte die Standardmethode in Unternehmen sein, da es ein gemeinsames Basismodell von kleinen, versionierten Verhaltensänderungen trennt.

LoRA

LoRA friert eine Gewichtsmatrix W ein und lernt eine Update-Methode niedrigen Rangs. Die angepasste Matrix entspricht W plus dem Produkt zweier kleiner Matrizen B und A, multipliziert mit alpha geteilt durch den Rang r.

Nehmen wir an, W wandelt 4096 Eingaben in 4096 Ausgaben um und der Rang beträgt 16. Die dichte Matrix enthält dann etwa 16,8 Millionen Parameter, während die beiden LoRA-Matrizen für diese Projektion lediglich 131.072 lernbare Parameter haben (16 × 4096 plus 4096 × 16). Das sind etwa 0,78 % der Parameter der dichten Matrix.

Drei Einstellungen bestimmen, was der Adapter leisten kann: Der Rang legt seine Kapazität fest, alpha geteilt durch den Rang skaliert die Update-Werte, und die Zielmodule entscheiden, wo sich das Modell anpassen darf. Alle drei gehören zur Identität des Modells und müssen registriert werden.

Warum ein niedriger Rang ausreichen kann

Eine dichte Aktualisierung ermöglicht es, dass jede Eingangs-Ausgangs-Richtung unabhängig voneinander geändert werden kann. LoRA setzt darauf, dass die für die Aufgabe spezifische Aktualisierung in einem weitaus kleineren intrinsischen Unterraum stattfindet. Anstelle von d_out × d_in-Werten lernt es nur r(dᵢ + dₒ) – wobei dᵢ die Eingangsbreite und dₒ die Ausgangsbreite darstellt.

Bei einer quadratischen Projektion mit den Abmessungen 4096 mal 4096 bei Rang 16 sind die Zahlen wie folgt:

• Eine dichte Aktualisierung würde 16.777.216 Parameter erfordern;
• die LoRA-Aktualisierung benötigt 131.072 Parameter;
• der trainierbare Anteil beträgt 0,0078125, also 0,78125 %.

Diese Werte beschreiben eine einzelne Projektion. Ein echter Adapter zielt auf viele Projektionen in verschiedenen Schichten ab, daher sollten die trainierbaren Parameter aus dem instanziierten Modell gezählt werden und nicht aus einer einzigen Matrix abgeleitet werden.

Der Skalierungsfaktor ist nicht nur kosmetisch

Bei einem Alpha-Wert von 32 und einer Rangstufe von 16 beträgt der LoRA-Multiplikator 2. Wenn der Rang auf 64 erhöht wird, während Alpha weiterhin bei 32 bleibt, sinkt der Multiplikator auf 0,5. Die gelernten Matrizen sowie die Optimierungsmechanismen ändern sich, obwohl sich das Datensatz und das Basismodell nicht ändern.

Einige Implementierungen verwenden eine rank-stabilisierte Skalierung, die proportional zu Alpha geteilt durch die Quadratwurzel des Rangs ist, anstelle von Alpha geteilt durch den Rang. Dadurch ändern sich die Vergleiche zwischen den Rangstufen. Notieren Sie die Skalierungsregel, die Bibliotheksversion, die Initialisierung sowie die Dropout-Methode.

Wo Adapter angehängt werden

Jede der Attention-Projektionen übernimmt eine andere Funktion:

• q_proj formt die Frage, die der aktuelle Token an den Kontext richtet;
• k_proj bestimmt, wie frühere Tokens signalisieren, was sie enthalten;
• v_proj legt den tatsächlich aus ihnen extrahierten Inhalt fest;
• o_proj bestimmt, wie die Ausgabe der Aufmerksamkeit wieder in den Residualstrom geschrieben wird.

MLP-Projektionen prägen die Transformation der Merkmale und können für das Verhalten im jeweiligen Bereich von Bedeutung sein. Die Anpassung nur der Query- und Value-Projektionen ist ein gängiger Ausgangspunkt, keine Regel. Eine Ablationsmatrix sollte die Zielmodule sowie die Rangfolge variieren und die Anzahl der trainierbaren Komponenten, den Nutzen für die Aufgabe, das Vergessen, die Latenzzeit sowie die Größe der Artefakte erfassen.

Die Kombination von Adaptern ist nicht automatisch additiv

Zwei Adapter, die für sich genommen gut funktionieren, können trotzdem in Konflikt geraten, sobald beide aktiv sind. Ihre Delta-Werte können dieselben Schichten in widersprüchliche Richtungen drücken, die Aktivierungsstatistiken verändern oder auf unterschiedliche Systempakete angewiesen sein. Betrachten Sie eine Kombination als ein neues Rezept: Die resultierenden Gewichte bestehen aus dem Basiswert plus dem Delta jedes Adapters multipliziert mit seinem Skalierungsfaktor sᵢ. Diese Gleichung erscheint einfach, doch die aktualisierten Projektionen durchlaufen die Aufmerksamkeits-, Normalisierungs- und MLP-Schichten auf nichtlineare Weise, weshalb die Kombination genau so getestet werden muss, wie sie bereitgestellt wird.

QLoRA

QLoRA speichert den eingefrorenen Basiswert in 4-Bit-Form, während Gradienten nur in die LoRA-Adapter fließen. Dabei wird NF4 sowie eine doppelte Quantisierung der Quantisierungskonstanten genutzt, außerdem paged Optimizer, die Erinnerungsspitzen abfedern.

Zwei Unterschiede verhindern Produktionsfehler:

• QLoRA ist eine Technik zur Reduzierung des Trainingsmemorieverbrauchs. Sie definiert nicht selbst die Quantisierung bei der Bereitstellung.
• Ein Adapter allein zeigt nicht, dass die quantisierte Implementierung gleichwertig funktioniert. Wiederholen Sie die Bewertungen bezüglich Qualität, Latenz, Datenlecks und Tool-Nutzung an der Version, die tatsächlich bereitgestellt wird.

Warum NF4 und doppelte Quantisierung wichtig sind

Normale 4-Bit-Zahlen teilen einen Bereich in gleichmäßig verteilte Werte auf. Vorgefertigte Gewichte weisen oft eine nahezu normale Verteilung auf, wodurch eine gleichmäßige Aufteilung ihre repräsentativen Ebenen ineffizient nutzt. NF4 platziert die Werte so, dass sie besser zu dieser Verteilung passen.

Blockweise Quantisierung gibt jedem Block seine eigene Skala – eine Konstante, die gespeichert werden muss. Doppelte Quantisierung komprimiert auch diese Konstanten, wodurch der Metadaten-Overhead bei großen Modellen reduziert wird.

Als grobe Schätzung für die Größe der gefrorenen Gewichte multipliziert man die Anzahl der Parameter mit den Bits pro Gewicht, teilt durch 8 und fügt die Metadaten hinzu. Bei einer idealen Speicherung mit 4 Bits benötigt ein Modell mit 7 Milliarden Parametern etwa 3,5 GB für die Rohgewichte (7B × 4 / 8). Zusätzlich kommen Skalen, Puffer, vorübergehende Dequantisierung, Adapter, Gradienten, Optimiererzustände, Aktivierungen sowie Overhead des Frameworks hinzu, sodass die Behauptung, ein 7B-Modell passe in 3,5 GB, nichts über den Speicherbedarf beim Training aussagt.

QLoRA spart Speicher durch die gefrorenen Basisgewichte sowie durch die Optimierung der Adapter. Der Speicherbedarf für Aktivierungen hängt weiterhin vom Batch-Größe, der Sequenzlänge, der Schichtbreite sowie der Strategie zur Erstellung von Checkpoints ab, was bedeutet, dass das Training mit langen Kontexten auch bei 4-Bit-Gewichten durch den Aktivierungsbedarf begrenzt werden kann.

Paged Optimizer

Die Aktivierungs-Checkpointing-Technik sowie lange Sequenzen können vorübergehende Erhöhungen des Speicherverbrauchs verursachen. Paginierte Optimierer nutzen verwalteten Speicher, um die Optimiererseiten je nach Bedarf zwischen CPU und GPU zu verschieben. Dadurch kann ein Speicherüberlauf verhindert werden, doch die Paginierung kann die Leistung verringern. Messen Sie die Laufzeit sowie den Speicherdruck auf dem Host und betrachten Sie eine erfolgreiche Speicherzuweisung nicht als erfolgreiche Optimierung.

DoRA

DoRA teilt ein Gewicht in eine Größe und eine Richtung auf und wendet die Update-Operation hauptsächlich auf die Richtung an. Das angepasste Gewicht ist eine gelernte Größe m multipliziert mit der aktualisierten Matrix W + ΔW, wobei jede Spalte einzeln normalisiert wird. Hierbei ist ΔW die Update-Operation im LoRA-Stil. Die Intuition dahinter ist, dass Größe und Richtung unterschiedliche Rollen spielen, und dass ihre Trennung bei moderaten Rängen die Qualität wiederherstellen kann – mit etwas zusätzlicher Komplexität.

Der Normalisierungs-Nenner festlegt jede aktualisierte Richtung, und m steuert anschließend ihre Größe. Dadurch rückt DoRA den Freiheitsgraden näher, die bei einer vollständigen Feinabstimmung verfügbar sind – allerdings zum Preis zusätzlicher Parameter und Operationen. Die praktische Frage ist empirisch zu beantworten: Übersteht der Qualitätszuwachs die durch den zusätzlichen Training-, Bereitstellungs- und Registrierungsaufwand entstehenden Herausforderungen?

Präfix- und Prompt-Anpassung

Durch die Präfix-Anpassung werden kontinuierliche virtuelle Token erlernt, die die Aufmerksamkeit lenken, ohne die Basisgewichte zu verändern. Dadurch bleibt die Methode kompakt und eignet sich gut für präzise Steuerung, drückt sich jedoch weniger aus als LoRA, wenn das Ziel eine Tool-Grammatik oder mehrstufiges Verhalten ist.

Sidecar oder Zusammenführung?

Sidecar-Adapter eignen sich für die Isolation von Tenant oder Aufgaben, schnelles Rollback, A/B-Routing sowie Auditierbarkeit. Das Mischen ist nur dann geeignet, wenn eine Version unveränderlich bleiben soll, nachdem die genaue gemischte Checksumme bewertet und registriert wurde.

Sidecars ermöglichen außerdem das Routing nach deklariertem Zweck, sodass ein Reporting-Adapter während des Modus „Data Sufficiency“ nicht heimlich aktiviert werden kann. Die Entscheidung des Routers muss zusammen mit der Adapter-ID, der Skala, der Basis-Checksumme und dem Grund im Protokoll festgehalten werden.

Das Mischen verringert die Laufzeitbelastung der Adapter und kann die Bereitstellung vereinfachen, verschwimmt jedoch die klare Trennung zwischen Basis- und Verhaltensänderung. Bewahren Sie die ungemischte Abstammungslinie auf, checksummieren Sie das gemischte Modell und mischen Sie niemals in eine nicht festgelegte „neueste“ Basis ein. Eine kompakte Trainingskonfiguration sieht wie folgt aus:

from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
lora = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM",
)
trainer = SFTTrainer(
    model=base_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=lora,
    args=SFTConfig(
        output_dir="runs/inv22041-sft-v3",
        assistant_only_loss=True,
        packing=True,
        max_length=4096,
    ),
)
trainer.train()

Zu den wichtigen Einstellungen gehören unter anderem r=16 und lora_alpha=32. assistant_only_loss=True schützt die Verlustgrenze, die festgelegten Zielmodule bestimmen den Umfang des Adapters, und das Komprimieren muss mit den Masken des Chat-Vorlagenformats kompatibel sein.

Optimierung der Offline-Präferenzen

SFT weist das Modell an, nachzuahmen. Die Optimierung der Präferenzen weist es an, sich auf eine der plausiblen Alternativen zu konzentrieren. Nehmen wir zwei Berichte zur gleichen Untersuchung, beide grammatikalisch und statistisch korrekt. Der ausgewählte Bericht zitiert die zugrunde liegenden Belege, nennt seine Annahmen und hört dort auf. Der abgelehnte Bericht fügt eine nicht belegte kausale Erklärung hinzu. Dieses Paar sendet ein stärkeres Signal als eine weitere „goldene“ Antwort.

Die Bradley-Terry-Sichtweise

Paarweise Präferenzmodelle gehen oft von einer Aussage aus: Die Wahrscheinlichkeit, dass die Antwort yʷ gegenüber der Antwort yˡ bei Eingabe x vorzuziehen ist, entspricht der Sigmoid-Funktion des Belohnungssolls, σ[r(x, yʷ) − r(x, yˡ)]. Hierbei ist yʷ die gewählte Antwort, yˡ die abgelehnte Antwort und r eine implizite oder explizite Belohnung. Nur der Unterschied zwischen den beiden Belohnungen spielt eine Rolle.

DPO

DPO optimiert eine Strategie direkt anhand von Präferenzpaaren und verknüpft sie dabei mit einer Referenzstrategie. Der Verlustwert entspricht dem negativen Log-Sigmoid von Beta multipliziert mit einem Randwert; dieser Randwert gibt an, um wie viel die Log-Wahrscheinlichkeit der Strategie für die ausgewählte Antwort im Vergleich zur Referenzstrategie gestiegen ist, abzüglich derselben Größe für die abgelehnte Antwort. In der Notation ist πθ die trainierte Strategie, π₀ das eingefrorene Referenzmodell, und β bestimmt, wie stark der relativ zur Referenz definierte Präferenzrand ist.

Das Referenz-Checkpoint sowie beta gelten als Veröffentlichungsmetadaten. Jede Änderung davon beeinflusst das Optimierungsziel, selbst wenn das Datensatz identisch ist.

Eine konkrete DPO-Berechnung

Nehmen wir an, die aktuelle Strategie und die Referenzstrategie liefern folgende Sequenz-Log-Wahrscheinlichkeiten:

• aktuelle Strategie, ausgewählte Antwort: −8,0;
• Referenzstrategie, ausgewählte Antwort: −9,0;
• Derzeitige Strategie, abgelehnter Bericht: −7,5;
• Referenz, abgelehnter Bericht: −7,0.

Im Vergleich zur Referenz verbesserte sich die Strategie bei der gewählten Antwort um −8,0 − (−9,0) = 1,0. Bei der abgelehnten Antwort beträgt die Veränderung −7,5 − (−7,0) = −0,5. Der DPO-Abstand beträgt 1,0 − (−0,5) = 1,5. Bei beta = 0,2 ergibt sich beta mal der Abstand 0,3, und der Verlust ist −log σ(0,3), etwa 0,554.

Die Strategie erhält Punkte, weil sie die gewählte Antwort im Vergleich zur Referenz verbesserte und die abgelehnte verringerte. Ein negativer Abstand würde zu einem größeren Verlust führen, und die Gradienten würden diese Reihenfolge umkehren.

Die Berechnung zeigt außerdem, warum der Referenzwert wichtig ist. DPO fragt nicht einfach danach, welche Antwort eine höhere Rohwahrscheinlichkeit aufweist. In diesem Beispiel hat die abgelehnte Antwort zwar weiterhin eine höhere aktuelle Log-Wahrscheinlichkeit (−7,5 gegenüber −8,0), doch die Strategie bewegt sich im Verhältnis zum Referenzwert in die richtige Richtung.

Länge ist Teil des Signals

Die Log-Wahrscheinlichkeit einer Sequenz ist die Summe über alle Token, wodurch längere Sequenzen tendenziell mehr negative Log-Wahrscheinlichkeiten aufweisen. Die Erstellung der Datensätze sowie verschiedene Zielvarianten gehen mit diesem Problem auf unterschiedliche Weise um.

Falls die ausgewählten Berichte konsequent kürzer sind als die abgelehnten, könnte das Modell anstelle von Beweisdisziplin Kürze lernen. Wenn die ausgewählten Berichte länger sind, könnte es Ausführlichkeit lernen. Stratifizieren Sie die Präferenzpaare nach Längenunterschied und überprüfen Sie, ob die Gewinnraten auch bei längenkontrollierter Bewertung bestehen bleiben.

SimPO verwendet die durchschnittliche Log-Wahrscheinlichkeit, die nach der Sequenzlänge normalisiert wird, und fügt einen Zielbelohnungsbereich hinzu. Dadurch wird die Abhängigkeit von einem separaten Referenzmodell verringert, doch es entstehen eigene Anpassungen hinsichtlich des Bereichs und der Skalierung. Referenzlos bedeutet nicht hyperparameterlos.

Präferenzstärke und Meinungsverschiedenheiten

Ein binäres Paar gibt lediglich an, dass y_w gewonnen hat. Es sagt nicht, ob der Sieg eindeutig oder knapp war. Soweit möglich sollten die Stimmen der Beurteiler, ihr Vertrauen, die Kriteriendimensionen sowie die Meinungsverschiedenheiten beibehalten werden.

Ein 3-2-Verhältnis der Beurteiler muss nicht denselben Trainingsgewicht wie ein einstimmiges 5-0-Urteil haben. Die Herabstufung zweifelhafter Paare hat ebenfalls Nachteile, da gültige Minderheitspräferenzen verschwinden können. Überprüfen Sie vor der Auswahl einer Gewichtungskonvention die Nutzergruppe, die Sprache, die Geografie und die Aufgabenkategorie.

Referenzdrift

Es ist vorgesehen, dass das Preference-Training mit sft-v3 beginnt, doch der DPO-Runner lädt heimlich sft-latest herunter. Die mathematische Referenz hat sich geändert. Sowohl die Initialisierungsstrategie als auch die gefrorene Referenzstrategie, die bei der Berechnung des Verlusts verwendet wird, müssen gespeichert werden. In der Regel sind sie identisch, müssen es aber nicht sein; zur Reproduzierbarkeit sind sowohl die IDs als auch die Checksummen erforderlich.

Die verwandten Methoden

• IPO ersetzt den unbegrenzten Anstieg des logistischen Preference-Verlusts durch ein endliches, margin-basiertes Ziel, was hilft, wenn deterministische Labels sonst dazu führen würden, dass DPO überanpasst.
• KTO lernt unabhängig von Beispielen, die als wünschenswert oder unerwünscht gekennzeichnet sind, sodass gekoppelte Ausgaben nicht erforderlich sind.
• ORPO vereint das Anweisungslernen mit einer Strafe aufgrund des Odds-Ratio-Prinzips zu einem einzigen Ziel, ohne ein separates Referenzmodell.

SimPO ist referenzfrei und verwendet eine länge-normalisierte Sequenz-Log-Wahrscheinlichkeit zusammen mit einem Zielrahmen.

Keine Methode macht Leckagetests oder eine SFT-Baseline überflüssig. Präferenztraining kann die Gewinnrate erhöhen, während die Kalibrierung, die Antwortlänge, die Ablehnungsgrenzen oder die Minderheitenanteile beeinträchtigt werden.

Auswahl innerhalb der DPO-Familie

Treffen Sie die Entscheidung anhand eines Entscheidungsprotokolls und nicht aufgrund von Trends:

• wählen Sie DPO für gut strukturierte Paare sowie ein stabiles Referenzmodell, das sich kostengünstig ausführen lässt;
• versuchen Sie IPO, wenn deterministische oder geräuscharme Präferenzen dazu führen, dass DPO zu übermäßigen Margen neigt;
• wählen Sie KTO, wenn die Rückmeldungen als unabhängige gute oder schlechte Ergebnisse eintreffen und eine Paarung künstlich wäre;
• versuchen Sie ORPO, wenn eine einzige Phase, die SFT und Präferenzlernen kombiniert, die Abläufe vereinfacht;
• Probieren Sie SimPO aus, wenn der Speicher für ein Referenzmodell die engste Grenze darstellt und die durch die Sequenzlänge normalisierten Belohnungen zur Aufgabenerfüllung geeignet sind.

Starten Sie jeden Kandidaten von einer SFT-Baseline aus und geben Sie ihm dieselbe Datenteilung, denselben Evaluationsumfang sowie denselben Rechenbudget. Wenn die Einstellungen unterschiedlich sind, vergleichen Sie Pipelines und nicht Ziele. Eine minimale DPO-Einstellung sieht so aus:

from trl import DPOConfig, DPOTrainer
trainer = DPOTrainer(
    model=sft_model,
    ref_model=reference_sft_model,
    train_dataset=preference_dataset,
    args=DPOConfig(
        output_dir="runs/inv22041-dpo-v1",
        beta=0.2,
        max_length=4096,
        max_prompt_length=2048,
    ),
)
trainer.train()

Die Referenz muss der im Laufmanifest angegebene Checkpoint sein und niemals das sein, was das Modellregister derzeit als „latest“ bezeichnet.

Klassisches RLHF: Belohnungsmodell, PPO und RLAIF

Beim klassischen RLHF werden drei Modelle gemeinsam verwendet. Die Policy erstellt Kandidatenantworte, ein Belohnungsmodell bewertet sie, und PPO passt die Policy an, wobei Bewegungen, die zu stark sind und sie destabilisieren könnten, unterdrückt werden.

PPO stützt sich auf ein geklippstes Surrogatziel. Kurz gesagt wird das erwartete Minimum aus dem Wahrscheinlichkeitsverhältnis multipliziert mit dem Vorteil sowie dem geklippsten Verhältnis multipliziert mit dem Vorteil berechnet, wobei anschließend eine KL-Strafe abgezogen wird, die die Abweichung von einer Referenz misst. Die Symbole bedeuten Folgendes:

• ρₜ ist das Wahrscheinlichkeitsverhältnis zwischen der neuen und der alten Policy;
• Aₜ schätzt ab, ob die ausgewählte Aktion die Erwartungen übertroffen hat;

ε legt die maximale Größe eines Policy-Updates fest;

die KL-Bestrafung hält die Policy in der Nähe eines Referenzwerts.

Wählen Sie diesen Ansatz, wenn die Qualität wirklich subjektiv ist, es ausreichend Vergleiche gibt, um ein Belohnungsmodell zu erstellen, und die Online-Optimierung der Policy die zusätzliche Betriebskomplexität rechtfertigt.

Training des Belohnungsmodells

Ein Belohnungsmodell wendet in der Regel denselben paarweisen Bradley-Terry-Verlust an: den negativen Log-Sigmoid-Wert der erlernten Bewertung für die ausgewählte Antwort minus die Bewertung für die abgelehnte Antwort. Der Bewertungsfunktor rφ ist eine erlernte skalarische Funktion mit Parametern φ, die darauf trainiert ist, ausgewählte Antworten über abgelehnte zu rangieren.

Der absolute Wert einer Belohnung hat an sich keine Bedeutung. Eine Punktzahl von 7 bedeutet nicht „sieben Einheiten gut“, und nur Vergleiche innerhalb der kalibrierten Betriebsverteilung sind aussagekräftig. Die Skala der Belohnungen kann von einem Kontrollpunkt, Datensatz oder Prompt-Klasse zur nächsten variieren.

Betrachten Sie ein Belohnungsmodell als ein Ranking-System und messen Sie:

• die Genauigkeit bei ausgeschlossenen Paaren;
• die Kalibrierung anhand von Punktzahlunterschieden;
• die Übereinstimmung mit menschlichen Labels nach Segmenten;
• die Widerstandsfähigkeit gegenüber feindlichen Eingaben;
• die Empfindlichkeit gegenüber Länge, Formatierung, Zitatenanzahl und Identitätsbegriffen;
• das Verhalten außerhalb der Verteilung.

Reservieren Sie eine Gold-Gruppe, die das Belohnungsmodell niemals trainiert und die Optimierung der Strategie niemals beeinflusst. Andernfalls kann die Strategie ihren Evaluator überanpassen, während das Dashboard Fortschritte anzeigt.

PPO-Clipping mit reellen Zahlen

Nehmen wir an, die alte Strategie gibt eine Handlungsprobabilität von 0,20 an und die aktualisierte Strategie 0,25. Das Verhältnis beträgt 0,25 / 0,20 = 1,25. Bei ε = 0,2 begrenzt das Klippverfahren das Verhältnis auf 1,20. Bei einem positiven Vorteil von 2:

• der ungeklippte Wert ist 1,25 × 2 = 2,50;
• der geklippte Wert ist 1,20 × 2 = 2,40;
• PPO wählt den kleineren der beiden Werte, nämlich 2,40.

Die Aktualisierung stärkt die Handlung weiterhin, kann aber keinen vollen Zielerfolg durch einen großen Sprung in der Probabilität erzielen.

Wenn der Vorteil negativ ist, verhindert das Nehmen des Minimums, dass der Optimierer das Klippverfahren in die entgegengesetzte Richtung ausnutzt. Dieser vorsichtige Ansatz ist der Grund, warum die Snapshots der alten Strategie sowie die Rollout-Versionen für die gesamte Batch-Verarbeitung unverändert bleiben.

Der KL-Kontroller

Der KL-Begriff verhindert, dass die Strategie zu stark von einem Referenzwert abweicht. Die angepasste Belohnung ist die gelernte Belohnung minus ein Koeffizient βᴋʟ multipliziert mit der KL-Divergenz zwischen der Strategie und dem Referenzwert. Ist βᴋʟ zu klein, kann die Strategie das Belohnungsmodell ausnutzen, repetitiv werden oder die Sprachqualität einbüßen. Ist er zu groß, kommt das Lernen zum Stillstand. Einige Systeme passen den Beta-Wert an, um den KL-Wert in einem Zielbereich zu halten.

Verfolgen Sie den KL-Wert nach Tokenposition und Aufgabenteil und nicht nur als globale Durchschnittswert. Ein geringer Durchschnitt kann große Veränderungen bei Ablehnungen, Toolaufrufen oder Minderheitensprachen verbergen.

Der Actor-Critic-Ansatz

Klassischer PPO erfordert in der Regel sechs Komponenten. Dazu gehört der trainierte Akteur sowie ein eingefrorenes Abbild seiner vorherigen Version, eine Referenzpolitik, die den KL-Termin festlegt, und ein Wertmodell, das als Kritiker fungiert. Ein Belohnungsmodell und ein Rollout-Engine vervollständigen die Liste. Sie können Gewichte oder Infrastruktur teilen, behalten aber getrennte Identitäten bei. Offline-Präferenzmethoden sowie gruppenbasierte Methoden ohne Kritiker sind attraktiv, da sie Teile eines kostspieligen und fehleranfälligen verteilten Systems entfernen.

Wählen Sie PPO nicht einfach deshalb, weil es die kanonische RLHF-Methode ist. Es verdient seinen Platz, wenn die Optimierung unter Verwendung einer gelernten, subjektiven Belohnung die zusätzlichen Aufwände für Betrieb und Wartung rechtfertigt.

RLAIF ersetzt einige oder alle menschlichen Präferenzangaben durch KI-basierte Urteile, die von einer schriftlichen Verfassung geleitet werden. Was dadurch hinzukommt, ist Skalierbarkeit – niemals die wahre Grundlage. Der zu verwalternde Datenauftrag muss den Prompt des Urteilsgebers sowie die Verfassung, welche Urteilsversion verwendet wurde, die Bereiche, in denen sich die Urteile unterscheiden, sowie den Zeitpunkt einbeziehen, an dem ein Mensch eingreift.

Belohnungshacking ist der gefährlichste Fehler: Die Regelung erkennt eine oberflächliche Eigenschaft, die gute Bewertungen erzielt, ohne das eigentliche Ziel zu erreichen. Ein Unternehmensbelohnungsmodell könnte beispielsweise annehmen, dass längere Berichte, zusätzliche Zitate oder häufige Ausweichformulierungen „besser“ sind. Adversarische Tests sowie direkte Aufgabemetriken gehören nicht zur erlernten Belohnung.

RLAIF und verfassungsrechtliche Urteile

Eine Verfassung wandelt Prinzipien in ein Bewertungsprotokoll um. Für INV-22041 könnte sie dem Bewertungsmechanismus vorschreiben, zunächst die Autorisierung, anschließend die Zitatenunterstützung, die statistische Gültigkeit, die kalibrierte Unsicherheit sowie die Kürze zu berücksichtigen.

Die auf Bewertungsmechanismen basierenden Kennzeichnungen fügen drei weitere Aspekte hinzu, die verfolgt werden müssen:

• die Verfassung sowie die Anweisungen an den Bewertungsmechanismus;
• das Modell des Bewertungsmechanismus und seine Dekodierkonfiguration;
• die Entscheidungspolitik bei Meinungsverschiedenheiten oder Unsicherheiten.

Positionenbias tritt auf, wenn die Reihenfolge geändert wird. Man tauscht ausgewählte und abgelehnte Elemente aus, randomisiert neutrale Identifikatoren und fügt von Menschen überprüfte Referenzpaare hinzu. Ein Bewertungsmechanismus, der sein Urteil ändert, wenn sich die Reihenfolge ändert, kann nicht als Quelle für zuverlässige Präferenzinformationen angesehen werden.

Verstärkungslernen mit überprüfbaren Belohnungen

Falls der Erfolg mechanisch überprüft werden kann, ist möglicherweise überhaupt kein gelerntes Belohnungsmodell notwendig. SQL kann analysiert und in einer isolierten Umgebung ausgeführt werden. Der Code kann gegen Tests ausgeführt werden. Eine statistische Schlussfolgerung kann mit den erwarteten Ergebnissen und Annahmen verglichen werden.

GRPO

GRPO wählt eine Gruppe von möglichen Antworten auf eine Anfrage aus und normalisiert deren Belohnungen. Der Vorteil einer Antwort ergibt sich aus ihrer Belohnung minus dem Durchschnitt der Gruppe, geteilt durch die Standardabweichung der Gruppe plus einem kleinen Stabilisator ε.

Stellen Sie sich acht mögliche SQL-Pläne mit Belohnungen vor, die von schlechtesten bis besten als −0,3, −0,2, 0, 0, 0,5, 0,8 und 1,0 sortiert sind. Ihr Durchschnitt beträgt 0,325 und die Populationen-Standardabweichung liegt bei etwa 0,47. Jeder mögliche Plan wird im Verhältnis zu seinen ausgewählten Vergleichsplänen nach oben oder unten verschoben, was die Notwendigkeit eines separat trainierten Kritikers beseitigt – allerdings ist die Methode nur so zuverlässig wie ihre Belohnungskriterien.

Für die beste Bahn ist der normalisierte Vorteil ungefähr (1,0 − 0,325) / 0,47, also etwa 1,44. Im schlimmsten Fall beträgt er (−0,3 − 0,325) / 0,47, etwa −1,33.

Die genauen Zahlen hängen davon ab, ob eine Implementierung die Populationsvariante oder die Stichprobenvarianz verwendet sowie davon, wie die Belohnungen vorverarbeitet werden. Diese Details müssen festgelegt werden, da sie die Skala des Gradienten beeinflussen.

Falls jede Stichprobe eine Belohnung von 1 erhält, ist die Standardabweichung null und es existiert kein relativer Signalwert. Epsilon verhindert eine Division durch Null, kann aber keine Informationen schaffen, aus denen gelernt werden kann. Eine dynamische Stichprobenziehung oder ein anspruchsvolleres Lerncurriculum ist die Lösung.

Für INV-22041 könnte eine zusammengesetzte Belohnung Folgendes erfordern:

• das JSON ist gemäß dem Schema gültig;
• das Tenant-Predicate ist vorhanden;
• der SQL- Zugriff ist nur für Lesezwecke;
• die Abfrage läuft innerhalb eines Kostenlimits;
• Die zurückgegebenen Daten reichen für den deklarierten Test aus;
• Der Bericht führt nur Beweise an, die dem Agenten zur Verfügung gestellt wurden.

Eine naive gewichtete Summe lässt es zu, dass Exzellenz in einer Dimension eine kritische Verletzung ausgleichen kann. Nehmen wir eine Belohnung, die aus 0,3 Mal Korrektheit, 0,2 Mal Qualität der Beweise, 0,2 Mal SQL-Gültigkeit und 0,3 Mal Stil besteht. Eine Abfrage unter Berücksichtigung mehrerer Nutzer könnte dennoch eine positive Bewertung erhalten, sofern die Antwort und der Stil gut sind. Deshalb benötigen Sicherheit und Autorisierung strenge Kontrollmechanismen. In dieser kontrollierten Form beträgt die Belohnung null, sobald die Autorisierung fehlschlägt oder es zu einem Datenleak kommt. Andernfalls handelt es sich um eine gewichtete Summe der Belohnungen für Korrektheit, Werkzeuge und Beweise abzüglich eines gewichteten Kostenterms.

In riskanteren Umgebungen kann eine Verletzung anstelle von null eine negative Endbelohnung einbringen. Entscheidend ist dabei, dass keine Ausgleichszahlungen erfolgen, da Flüssigkeit im Umgang niemals unbefugten Zugriff kompensieren kann.

Halten Sie die Belohnungskomponenten getrennt voneinander sichtbar. Der Optimierer benötigt einen Skalar, doch ein Dashboard, das Korrektheit, Autorisierung, Gültigkeit der Tools, Qualität der Belege, Kosten und Länge separat darstellt, macht das Manipulieren der Belohnungen diagnostizierbar.

Die Normalisierung der Belohnungen kann die Geschäftsgrößenordnung verbergen

Die Gruppennormalisierung kümmert sich nur um die relative Reihenfolge innerhalb einer Anfrage. Wenn alle Kandidaten schlecht sind und einer nur etwas weniger schlecht, kann dieser eine positive Vorteil erhalten. Absolute Mindestwerte sind dennoch erforderlich.

Der gegenteilige Fall ist eine Gruppe, in der alle Kandidaten korrekt sind. Auch wenn dies ein gesundes Produktionsverhalten zeigt, lehrt es wenig. Behalten Sie solche Anfragen bei der Bewertung und entfernen oder gewichten Sie sie nur für die Optimierung der relativen Strategie herab, wenn die Stichprobenstrategie ausdrücklich festgelegt ist.

Strategieverhältnisse und Abschneiden

Ziele im GRPO-Stil beibehalten in der Regel die Gewichtungsfaktoren sowie das Klippverhalten von PPO. Pro Token teilt der Faktor die Wahrscheinlichkeit der neuen Strategie durch die der alten Strategie, wobei das Ziel der erwartete Minimalk Wert aus dem Faktor multipliziert mit dem Vorteil sowie dem geklippten Faktor multipliziert mit dem Vorteil minus einem KL-Term ist. Der Vorteil kann pro Sequenz definiert werden, während die Faktoren pro Token angewendet werden – eine Diskrepanz, die teilweise zu Nachfolgemodellen auf Sequenzebene wie GSPO führte.

DAPO: stabileres Training bei langfristigem Reasoning

DAPO setzt vier praktische Mechanismen ein. Die Klippgrenzen werden entkoppelt, Gruppen werden dynamisch ausgewählt, der Policy-Gradient wird pro Token verarbeitet, und Proben, die zu lange laufen, werden explizit behandelt. Die dynamische Auswahl entfernt Gruppen, deren Belohnungen alle identisch sind, da diese kein relatives Signal liefern.

Vanilla GRPO kann unter Entropiekollaps, Instabilität bei langen Ketten oder Chargen voller ausschließlich korrekter oder falscher Gruppen leiden – genau dann hilft DAPO. Sein Ansatz lässt sich am besten als vier ingenieurtechnische Lösungen für beobachtete Trainingsfehler beschreiben:

1. Clip-Higher. Die oberen und unteren Clipping-Grenzen werden voneinander getrennt, wodurch nützlichen, selten vorkommenden Token mehr Raum zum Wachstum gegeben wird, ohne überall symmetrische Instabilität hervorzurufen.
2. Dynamisches Sampling. Prompte, deren ausgewählte Gruppe vollständig korrekt oder vollständig falsch ist, werden ausgefiltert, da ihre normalisierten Vorteile kaum Kontrast bieten.
3. Token-basierte Policy-Gradient-Verlustfunktion. Lange Antworten werden in Token-Genauigkeit gezählt und durch Durchschnittsberechnungen auf Sample-Ebene nicht abgeschwächt.

Überlange Belohnungsformung. Längenstrafen treten schrittweise ein, wodurch eine harte Grenze vermieden wird, die in der Nähe der maximalen Länge instabile Gradienten erzeugen würde.

Jeder Mechanismus behebt ein anderes Problem. Übernehmen Sie das Akronym nicht als einheitliches Paket, ohne zu prüfen, welches Versagen Ihre Arbeitslast tatsächlich aufweist.

In einem Unternehmens-SQL-Agenten kann die dynamische Stichprobenziehung das Training auf Abfragen konzentrieren, bei denen nur einige Pläne den richtigen Benutzer binden. Die überlange Formung verhindert, dass das Modell vor einer einfachen Abfrage Tausende von Reasoning-Tokens verbraucht, und Clip-Higher hilft, wenn nützliche Wiederherstellungsmaßnahmen mit sehr geringer Wahrscheinlichkeit beginnen.

GSPO: Die Sequenz als Einheit

GSPO berechnet die Wichtigkeitsverhältnisse sowie das Clipping für die gesamte Sequenz und nicht unabhängig für jeden Token. Das passt besser zu Belohnungen auf Sequenzebene und trägt dazu bei, das Reinforcement Learning bei sehr großen Mixture-of-Experts-Modellen zu stabilisieren.

Die Botschaft ist nicht, dass GSPO GRPO ersetzt. Vielmehr sollte die Optimierungsgröße sowohl zur Belohnung als auch zur Architektur passen. Wenn das Geschäftsergebnis pro Sequenz bewertet wird und die Strategie ein Mixture-of-Experts-Modell ist, verdient GSPO einen Versuch.

Im Großen und Ganzen berechnet GSPO ein Sequenzwahrscheinlichkeitsverhältnis, indem es die Unterschiede der logarithmischen Wahrscheinlichkeiten pro Token über die Länge der Antwort durchschnittlich berechnet und das Ergebnis exponentiert, wodurch der Wert in den Verhältnisraum überführt wird. Anschließend begrenzt das Optimierungsziel dieses sequenzweisen Verhältnis und wendet auf derselben Ebene den aus der Gruppe abgeleiteten Vorteil an. Da die Belohnung die gesamte Trajektorie bewertet, stimmt die Optimierungsunit nun mit der Bewertungsunit überein.

Kleine Routing-Änderungen zwischen Tokens in einem MoE-Modell können dazu führen, dass die tokenweisen Verhältnisse unruhig werden; daher kann eine Aggregation über die gesamte Sequenz stabiler sein – auf Kosten einer weniger lokalen Bewertung. Beurteilen Sie Konvergenz, Entropie, Stabilität des Routers, Belohnung sowie die Qualität der Ausgabe gemeinsam und verlassen Sie sich nicht allein auf die Belohnung.

RLOO

REINFORCE Leave-One-Out verwendet die anderen Beispiele in einer Prompt-Gruppe als Baseline für jedes einzelne Beispiel. Es handelt sich um einen kritikfreien Policy-Gradient-Estimator, der als nützliches Maßstab dient, um gruppenbasierte Methoden miteinander zu vergleichen.

Bei G Beispielen erhält das i-te Beispiel eine Baseline, die dem Durchschnitt der Belohnungen der anderen G − 1 Beispiele entspricht, wobei sein Vorteil aus seiner Belohnung abzüglich dieser Baseline resultiert. Im Gegensatz zur z-Score-Normalisierung erfolgt keine Division durch die Standardabweichung der Gruppe. Der Estimator ist unter der REINFORCE-Konstruktion einfach und unverzerrt, wobei die Skala der Belohnungen direkt auf die Skala des Gradienten übertragen wird.

Nehmen wir Belohnungen von 1,0, 0,8 und 0,2. Für das erste Beispiel beträgt die Baseline nach Leave-One-Out (0,8 + 0,2) / 2 = 0,5, wodurch ein Vorteil von 0,5 entsteht. Die Baseline für das dritte Beispiel beträgt (1,0 + 0,8) / 2 = 0,9, was zu einem Wert von −0,7 führt.

RLVR und Feintuning durch Verstärkung

Das übergeordnete Muster ist das Verstärkungslernen mit überprüfbaren Belohnungen. Es werden Stichproben aus den Trajektorien genommen, deterministische oder streng definierte Bewertungsmethoden angewandt, und alles, was bestanden hat, wird verstärkt.

Ergebnisbelohnungen prüfen, ob die endgültige Antwort richtig ist, während Prozessbelohnungen die Zwischenschritte bewerten. Die Überwachung des Prozesses kann einen Fehler lokalisieren, doch Schritt-für-Schritt-Bewertungen sind aufwändig und können ein gültiges Denken übermäßig einschränken. Bei Unternehmensagenten sind Prozessbelohnungen an beobachtbaren Schnittstellen (Werkzeugauswahl, Autorisierung, Argumentaufbau, Freigabe von Beweisen und Übergabe) sinnvoll und niemals an versteckten Gedankengängen.

Ergebnisbelohnung gegen Prozessbelohnung

Eine rein auf das Ergebnis ausgerichtete SQL-Belohnung könnte ein einfacher Indikator sein, der 1 annimmt, wenn das Ergebnis mit dem Erwarteten übereinstimmt, und andernfalls 0. Das ist objektiv und kostengünstig zu berechnen, ermöglicht dem Modell jedoch, zur Antwort über eine unsichere oder teure Abfrage zu gelangen.

Ergebnisorientierte Belohnungen, die den Prozess berücksichtigen, fügen beobachtbare Invarianten hinzu, die insgesamt sechs Terme umfassen. Sie prüfen, ob das Schema gültig ist, ob der Nutzer gebunden ist, ob die Abfrage nur zum Lesen genutzt wird, wie viel sie kostet, ob das Ergebnis korrekt ist und ob die Beweise ordnungsgemäß freigegeben wurden. Jeder Term sollte eine getestete Funktion sichtbarer Artefakte sein. Die Bewertung sollte den SQL-Syntaxbaum, die Autorisierungsentscheidung, den Ausführungsplan, das zurückgegebene Datensatz, das statistische Testprotokoll sowie die Quellen berücksichtigen – niemals private Gedankengänge.

Grader-Tests sind Modelltests

Erstellen Sie vor jedem RL-Lauf eine Grader-Testmatrix:

• ein bekannter, funktionierender Pfad wird verwendet;
• der falsche Mieter versagt;
• ein in einer Unterabfrage versteckter Mieterprädikat wird korrekt gelesen;
• ein SQL-Kommentar kann kein erforderliches Prädikat vortäuschen;
• ein leeres Ergebnis wird von einem Ausführungsfehler unterschieden;
• ein kostspieliger kartesischer Join versagt;
• eine gefälschte Zitation versagt selbst dann, wenn die endgültige Zahl korrekt ist;
• ein Timeout des Bewertungstools führt zum Scheitern;
• fehlerhaftes Ausgabeformat des Bewertungstools kann keine positive Belohnung darstellen.

Nach jeder Änderung am Bewertungstool sollten historische Pfade erneut ausgeführt werden. Eine Änderung der Belohnungsversion startet eine neue Experimentierlinie, selbst wenn der Policy-Code unverändert bleibt.

Denken hat seinen Preis

Allein die Richtigkeit kann zu verschwenderischem Denken führen, daher sollte ein begrenzter Kostenfaktor hinzugefügt werden: Die Belohnung beträgt die Richtigkeit minus Lambda mal der Denkkostenwert Tₕ. Diese Kosten können aus Denktokens, Millisekunden oder normalisierten Rechenleistungen bestehen, wobei λ angibt, wie viel zusätzliche Überlegungskosten anfallen. Die Strafe sollte erst nach den Mindestanforderungen an Richtigkeit und Sicherheit angewendet werden, sonst lernt das Modell, schnell – aber falsch – zu antworten.

Nehmen wir an, zwei korrekte Lösungswege erhalten jeweils eine Grundbelohnung von 1,0, wobei einer 400 Denktokens und der andere 1.000 verwendet. Bei einer durch 1.000 normalisierten Tokenkosten und lambda = 0,1 erhält die kürzere Lösung 0,96 (eine Abzugsrate von 0,04) und die längere 0,90 (eine Abzugsrate von 0,10).

Daher hat der kürzere, korrekte Lösungsweg den Vorteil. Dennoch sollte eine falsche Antwort mit 100 Tokens die Richtigkeitsprüfung nicht bestehen und nicht −0.01 erhalten, um mit korrekten Antworten konkurrieren zu können.

Latenz und Anzahl der Tokens stehen in Zusammenhang, sind aber nicht identisch. Parallel ausgeführte Tool-Aufrufe, Cache-Erfolge, Batch-Planung sowie die Modellarchitektur können die tatsächliche Zeit beeinflussen, während die Anzahl der zur Entscheidungsfindung verwendeten Tokens unverändert bleibt. Wählen Sie die Kostenmaßzahl, die den Produktionsbeschränkungen entspricht.

Mehrfachschritt-RL-Agenten

Modellentscheidungen, Tool-Ergebnisse, Speicherzugriffe sowie die Übertragung von Aufgaben an den Agenten fallen alle in den Rahmen einer Unternehmensentwicklung. Speichern Sie die Zustandsübergänge und bewerten Sie außer den lokalen Invarianten auch den endgültigen Geschäftsvertrag.

Zum Beispiel erhält Enrichment möglicherweise keine direkte Belohnung für das Stellen einer klärenden Frage. Sein Wert zeigt sich, wenn Data Sufficiency die richtige Abfrage erstellt und Reporting falsche kausale Behauptungen vermeidet. Die Zuweisung von Crediten darf diese Abhängigkeit nicht auslöschen.

Die Entwicklung ist ein typisiertes Ereignisprotokoll

Darstellen Sie den Rollout als mehr als nur als Chat-Transkript. Jeder Zustandsübergang sollte Folgendes enthalten:

• Identifikatoren für Zustand und Beobachtung;
• der handelnde Agent und seine Policy-Version;
• die verfügbare Werkzeugmenge sowie der Berechtigungsumfang;
• die ausgewählte Aktion und ihre Rohargumente;
• die Policy-Entscheidung sowie das Ergebnis des Werkzeugs;
• Speicherläsungen und -schreibungen;
• der Übertragungspayload;
• Zeitstempel, Kosten und das endgültige Ergebnis.

Diese Form unterstützt das Wiederabspielen, die außerhalb der Policy durchgeführte Analyse sowie eine präzise Belohnungszuweisung. Zudem verhindert sie, dass der Trainingsprozess Werkzeugbeobachtungen so behandelt, als hätte der Assistent sie erzeugt.

Hierarchische Belohnungen

Für eine vierstufige Untersuchung sollten lokale Vertragsbelohnungen sowie eine endgültige Geschäftsbelohnung definiert werden. Die Gesamtbelohnung setzt sich aus der endgültigen Belohnung R★ sowie der gewichteten Summe der vier Stufenbelohnungen R₁ bis R₄ zusammen – jeweils eine für Bereicherung, Datenausreichendheit, Hypothesentestung und Berichterstattung – wobei die Gewichte γ₁ bis γ₄ gelten.

Locale Belohnungen beschleunigen das Lernen, können aber auch miteinander in Konflikt geraten. Die Bereicherung könnte die Klarheit durch das Stellen allzu vieler Fragen maximieren. Die Berichterstattung könnte die Kürze durch Auslassen einer Einschränkung optimieren. Die endgültige Belohnung sowie die festen Invarianten müssen den lokalen Bequemlichkeiten überwiegen.

Die Zuordnung der Anerkennung sollte der kausalen Verantwortung entsprechen. Wenn Enrichment eine falsche Entity-Mapping-Information übermittelt und Reporting den erhaltenen Ergebnis wahrheitsgetreu weitergibt, lehrt es etwas Falsches, nur Reporting zu bestrafen. Behalten Sie die Ausgaben jeder Stufe bei und beurteilen Sie die erste Vertragsverletzung.

Gute Praxis: Trainieren Sie im kleinstmöglichen Umfeld, das den echten Vertrag weiterhin beibehält – mit sandboxierten Tools, deterministischen Fixtures, versionierten Bewertungstools, strengen Zeitlimits und ohne Produkt-Zugangsdaten.

Distillation: Übertragung von Fähigkeiten statt Kopieren eines Modells

Durch Distillation wird das aufwändige Verhalten eines „Lehrers“ in ein kleineres oder leichter einsetzbares „Schülermodell“ umgewandelt.

Logit-Distillation

Der Schüler wird darauf trainiert, die abgemilderte Tokenverteilung des Lehrers nachzuahmen. Der Verlustwert ergibt sich aus dem Quadrat der Temperatur multipliziert mit der KL-Divergenz zwischen der softmax-Funktion des Lehrers und der des Schülers – beides wird anhand von Logits geteilt durch die Temperatur T berechnet. Der Quadratfaktor bewahrt die Skala des Gradienten. Eine höhere Temperatur macht die relativen Wahrscheinlichkeiten der Tokens außerhalb des am häufigsten vorkommenden Tokens sichtbar, also das „verborgene Wissen“, das durch starre Etikettierungen übersehen wird.

Welche Auswirkungen hat die Temperatur?

Stellen Sie sich einen Lehrer vor, der für drei mögliche Tokens Logits von 8, 4 und 2 hat. Bei T = 1 konzentriert sich die softmax-Funktion fast vollständig auf Token eins. Bei T = 2 sinken die effektiven Logits auf 4, 2 und 1, wodurch die Verteilung abgemildert wird – der Schüler lernt somit, dass Token eins am wahrscheinlichsten ist, aber auch, dass Token zwei wahrscheinlicher ist als Token drei.

Wenn die Temperatur ansteigt, werden die Gradienten der sekundären Alternativen informativer. Setzt man sie zu hoch, flacht die Verteilung hin zu einer gleichmäßigen aus, wodurch die nützliche Struktur verloren geht. Man muss sie anhand der beibehaltenen Übertragungsqualität einstellen.

Der quadrierte Faktor kompensiert dafür, dass die Gradienten schrumpfen, wenn die Logits durch die Temperatur geteilt werden. Entfernt man ihn, verschiebt sich das Gleichgewicht zwischen dem Destillationsverlust und dem Verlust durch harte Etiketten.

Kombination von harten und weichen Zielen

Ein gängiges Ziel kombiniert zwei Terme: ein Gewicht für den SFT-Verlust plus ein Gewicht für den Destillationsverlust. Harte Etiketten beibehalten die bekannte korrekte Ausgabe, während die weichen Lehrerwahrscheinlichkeiten relative Präferenzen übertragen. Die beiden Gewichte bestimmen das Gleichgewicht.

Bei Aufrufen von Tools könnte die strenge Schema-Korrektheit mehr Gewicht haben als die Unsicherheit des Lehrers. Bei Erklärungen in natürlicher Sprache kann die Verteilung des Lehrers ein vielfältigeres Verhalten aufweisen. Die Gewichte können je nach Tokenklasse unterschiedlich sein, doch diese zusätzliche Komplexität muss weiterhin überprüfbar und dokumentiert bleiben.

Sequenz- und On-Policy-Destillation

Die Sequenz-Destillation trainiert an von dem Lehrer erzeugten Ausgaben. Sie ist einfach, doch der Schüler sieht nur die Zustandsverteilung des Lehrers.

Bei der On-Policy-Destillation kann der Schüler erst selbst erzeugen, anschließend überwacht der Lehrer die tatsächlich erreichten Zustände. Dies ist insbesondere bei Agenten vorteilhaft, bei denen kleine frühe Abweichungen zu neuen nachgelagerten Tool-Zuständen führen.

Wenn das Ziel darin besteht, das Denkprozess zu verdichten, sollten nur die sichtbaren Aspekte übernommen werden: wie Probleme gelöst werden, die von den Tools hinterlegten Spuren sowie die überprüfbaren Ergebnisse. Versteckter Denktext sollte keine Abhängigkeit in der Produktion darstellen.

Filter für die Verdichtung von Sequenzen

Die vom Lehrer erzeugten Ausgaben sind synthetische Trainingsdaten und benötigen dieselben Kontrollmechanismen wie von Menschen verfasste Daten:

• Überprüfung hinsichtlich Genehmigungen und Lizenzen;
• Suche nach personenbezogenen Daten und Geheimnissen;
• Ausführung von Tools in einer Sandbox;
• Wo immer möglich, deterministische Überprüfung;
• Entdoppelung im Vergleich zu den Bewertungsergebnissen;
• Aufzeichnung der Herkunft bis zum Lehrer, der Anfrage, den Dekodierungs-Einstellungen und dem ursprünglichen Kontext.

Die Auswahl der besten Ergebnisse kann die Qualität der Synthesen erhöhen, verringert jedoch die Vielfalt und kann die Voreingenommenheiten des Selektors verstärken. Halten Sie Statistiken zur Generierung und Auswahl bei, damit die Datenverteilung des Lernenden rekonstruiert werden kann.

Der On-Policy-Distillation-Zyklus

Der On-Policy-Distillation-Zyklus umfasst fünf Schritte:

1. Der Lernende generiert mit seiner aktuellen Strategie.
2. Der Lehrer bewertet diese Zustände oder liefert für sie Tokenverteilungen.
3. Unsichere oder ungültige Trajektorien werden herausgefiltert.
4. Der Lernende aktualisiert sich anhand der verbleibenden Zustände.
5. Die Bewertung überprüft die Fähigkeiten sowie mögliche Abweichungen.

Der Zyklus zielt auf die tatsächlichen Fehler des Lernenden ab. Er ist aufwendiger als statische Lehrerdaten und kann Instabilitäten aus einer ständig sich verändernden Lernendenverteilung übernehmen. Fixieren Sie die Identität des Lehrers und erstellen Sie bei jeder Iteration einen Schnappschuss der Ausführungen des Lernenden.

Distillation ist keine spekulative Dekodierung

Distillation trainiert einen „Schülermodell“, um einen „Lehrermodell“ zu approximieren. Bei der spekulativen Dekodierung wird zum Zeitpunkt der Inferenz ein kleineres Entwurfsmodell verwendet, wobei das Zielmodell die vorgeschlagenen Token überprüft. Ein durch Distillation erzeugtes Schülermodell kann als Entwurfsmodell dienen, doch die beiden Verfahren verfolgen unterschiedliche Ziele.

Distillation macht es möglich, ein Modell kostengünstiger eigenständig zu betreiben. Spekulative Dekodierung beschleunigt ein Zielmodell nur dann, wenn viele Entwurfs-Token akzeptiert werden und die Überprüfung effizient abläuft. Beide Methoden sollten getrennt bewertet werden.

Der Unternehmensvertrag für Distillation

Klären Sie Folgendes genau:

• das Lehrermodell sowie die API-Version;
• die Generierungsparameter und die Tool-Umgebung;
• die Prompt- oder System-Paket-Version;
• die Filter- und Bewertungsregeln;
• die Abstammung des Schülermodells, des Tokenisierers und des Adapters;
• Sicherheitsbewertungen für Lehrer und Schüler;
• Datennutzungsrechte, die die Erzeugnisse der Lehrer umfassen.

Auch kleinere Modelle weisen Fehlermuster auf. Führen Sie die Tests zu Privatsphäre, Zitierweise, Autorisierung, Werkzeugnutzung sowie adversarialen Szenarien erneut am Schüler durch – gehen Sie nicht davon aus, dass die Einhaltung der Vorgaben durch den Lehrer auch auf den Schüler übertragen wird.

Welche Veränderungen gab es bei der Schulung und Feinabstimmung von Spitzendmodellen?

Nicht die Anzahl der Parameter erklärt die neuesten Spitzendmodelle. Ihre Verarbeitungspipelines umfassen mittlerweile mehr als nur eine Stufe der überwachten Feinabstimmung. Die stärksten Modelle kombinieren verschiedene Elemente: Daten, die in einer bestimmten Reihenfolge eingegeben werden, Verstärkungslernen, überprüfbare Belohnungen, synthetische Trajektorien sowie den Transfer von Wissen vom Lehrer auf den Schüler. Jedes dieser Elemente schließt eine andere Lücke, die allein durch Nachahmung offen bleibt.

Die Feinabstimmung ist nicht mehr nur eine einzige Operation. Es handelt sich dabei um einen Ablaufplan, der das Modell von der Nachahmung über die Erkundung, dann die Überprüfung, anschließend die Abstimmung bis hin zur Bereitstellung führt.

DeepSeek-R1

DeepSeek-R1 stellt das Verstärkungslernen in den Mittelpunkt der Anpassung des Denkens. R1-Zero startete mit einem vortrainierten Basismodell und wendete Verstärkungslernen an, ohne ihm zunächst irgendwelche von Menschen verfassten Denkketten beizubringen. Das Experiment prüfte, ob das Denken aus der Optimierung von Ergebnissen entstehen kann und nicht durch das Kopieren von sorgfältig ausgewählten Denkspuren.

Die zentrale Methode war die Group Relative Policy Optimization (GRPO). Eine Richtlinie erzeugt eine Gruppe von Kandidaten für eine Anfrage, und jeder erhält eine Belohnung. Der Vorteil ergibt sich aus dem Vergleich mit der Gruppe, d.h. Belohnung minus Gruppenmittel geteilt durch die Gruppenspanne plus ε, wobei kein separat trainiertes Wertemodell erforderlich ist. Antworten, die ihren Mitbewerbern überlegen sind, erhalten einen positiven Vorteil, während schwächere Antworten einen negativen Vorteil erhalten. Durch das Weglassen des Kritikers werden Speicher und Rechenleistung eingespart, während ein nützliches Lernsignal beibehalten wird.

GRPO funktionierte besonders gut dort, wo die Richtigkeit automatisch überprüft werden konnte: Antwortverifizierung bei Mathematikaufgaben, Kompilierung und Tests für Code sowie Formatvalidierung für strukturierte Antworten. Das Modell lernte anhand objektiver Ergebnisse, ohne dass für jeden Schlussfolgerungsschritt ein menschliches Präferenzlabel erforderlich war.

R1-Zero zeigte, dass Verhaltensweisen wie Überprüfung, Rückverfolgung sowie der Einsatz mehr Rechenleistung bei schwierigen Problemen durch RL entstehen können. Zudem wurden die Grenzen der reinen Ergebnistrennung aufgedeckt. Das Schlussfolgern kann schwer verständlich sein, sprachlich inkonsistent oder ausschließlich auf die Belohnung ausgerichtet sein, ohne eine ausgereifte Antwort zu liefern.

Der vollständige DeepSeek-R1-Prozess überwand diese Grenzen mithilfe eines schrittweisen Curriculums. Er beginnt mit lesbaren Beispielen für den „Cold Start“, wechselt dann zu Reasoning-RL, anschließend zu Rejection Sampling, danach zu gemischtem Reasoning und allgemeinem SFT und endet schließlich mit Alignment-RL. Die Daten für den „Cold Start“ sicherten einen verständlichen Stil beim Schlussfolgern, Reasoning-RL erweiterte die Fähigkeiten über die bloße Imitation hinaus, Rejection Sampling behielt die besseren selbstgenerierten Lösungswege bei, SFT anhand von Reasoning- und allgemeinen Daten konsolidierte das Verhalten bei gleichzeitiger Beibehaltung der Allgemeingültigkeit, und die abschließende RL-Phase verbesserte die Nützlichkeit und Sicherheit.

GRPO allein war nicht das Neue. Entscheidend war vielmehr, wie das überwachte Lernen, die überprüfbare RL-Methodik, die selbst generierten Daten sowie die endgültige Ausrichtung sequenziert wurden.

DeepSeek feinjustierte anschließend kleinere, dichte Modelle an erfolgreichen Schlussfolgerungsverläufen. Ein Teil der aufwändigen Schlussfolgerungsfähigkeit gelangte so in Modelle, die einfacher einzusetzen sind, und die Studierenden lernten an Demonstrationen mit einer reichhaltigeren Problemlösungsstruktur – und nicht nur an den endgültigen Antworten.

Qwen3 und Modusfusion

Qwen3 behandelte Schlussfolgern und direkte Antworten als Verhaltensweisen, die gemeinsam erlernt werden sollten. Nach dem Training begann man mit einem „long-chain-of-thought“-Cold-Start, wechselte anschließend zu einer auf Schlussfolgern ausgerichteten RL-Methodik, führte Schlussfolgerungs- und nicht-schlussfolgernde Verhaltensweisen zusammen und setzte schließlich eine umfassendere RL-Methodik ein, um eine allgemeine Ausrichtung zu erreichen.

Die Modelfusion ist die interessante Trainingsidee. Eine einzige Strategie lernt beide Verhaltensweisen, während die Alternative ein Checkpoint für ausführliches Denken sowie ein separater Checkpoint für kurze Antworten ist. Dadurch wird entschieden, wann ein umfangreiches Denkprozess notwendig ist und wann eine direkte Antwort ausreicht – so bleibt die Fähigkeit zum logischen Denken erhalten, ohne dass jede Aufgabe im gleichen ausführlichen Stil bearbeitet werden muss.

GSPO und die Granularität der Aktualisierung

GSPO (Group Sequence Policy Optimization) hat verändert, wie feingradig die Strategieaktualisierung erfolgt. Token-basierte Methoden berechnen in der Regel die Gewichtungsverhältnisse für jeden Token getrennt – selbst dann, wenn die Belohnung die gesamte Antwort abdeckt – was zu inkonsistenten Aktualisierungen innerhalb einer einzigen generierten Sequenz führen kann.

GSPO berechnet das Verhältnis der Wichtigkeit über die Sequenz und betrachtet die Sequenz als eine Optimierungsunit. Einfach ausgedrückt: Es berechnet das durchschnittliche Log-Wahrscheinlichkeitsverhältnis zwischen der aktualisierten Strategie und der Strategie, die die Bahn erzeugt hat, über die Länge der Reaktion und exponentiert dieses Ergebnis anschließend. Das Durchschnittnehmen über die Sequenz liefert ein Signal auf Reaktionsebene, das mit der Unit übereinstimmt, die die Belohnung erhalten hat.

Es ist besonders nützlich, wenn das Reinforcement Learning instabil wird, da die Wahrscheinlichkeitsverschiebungen auf Token-Ebene störanfällig sind. Die Neuheit besteht darin, drei Elemente zusammenzubringen, die oft nicht übereinstimmen: das erzeugte Objekt, die Belohnungsunit und die Optimierungsunit.

Kimi K2: Stabilität und agierende Bahnen

Kimi K2 führte Methoden zur Trainingsstabilität ein, die sehr große Optimierungsprozesse zuverlässiger machten. MuonClip kombiniert die matrixbasierte Optimierung im Muon-Stil mit Kontrollmechanismen, die verhindern, dass Gewichte unkontrolliert anwachsen. QK-Clip überwacht das Verhalten der Aufmerksamkeit und beschränkt gezielt problematische Abfragen sowie Schlüsselprojektionen, wenn deren Logits extrem werden.

Es handelt sich dabei um Innovationen im Vortrainieren und keine Techniken zur Nachjustierung, doch sie sind hier wichtig, denn die Qualität nach dem Training hängt vom übernommenen Checkpoint ab. Ein kleines Anpassungsdatensatz kann ein durch Instabilität des Optimizers oder eine Explosion der Aufmerksamkeits-Logits beschädigtes Basismodell nicht effektiv reparieren.

Kimi K2s Nachtraining stützte sich ebenfalls auf agierende Abläufe: Programmieren, Aufruf von Tools, Handhabung von Beobachtungen sowie Erledigung mehrstufiger Aufgaben. Beim Training werden Sequenzen von Aktionen mit Umgebungsfeedback statt nur Prompt-Antwort-Paaren verwendet. Ein typischer Ablauf führt von der Aufgabe über die Auswahl eines Tools, die Erstellung von Argumenten, Feedback zur Ausführung, Fehlerbehebung bis hin zu einem überprüften Ergebnis.

Teile solcher Abläufe können auf mechanische Weise überprüft werden, dank laufender Code-Teile, Tool-Antworten sowie Signalen, dass eine Aufgabe abgeschlossen ist. Der Kreislauf kann somit mehr als nur eine überzeugende Endantwort belohnen. Er kann prüfen, ob das Modell die richtige Fähigkeit gewählt hat, gültige Argumente erzeugt hat, angemessen auf Beobachtungen reagiert hat und die Aufgabe abgeschlossen hat.

Lehrer-Schüler-Pipelines bei Meta

Meta’s Muse Spark und Muse Glimmer veranschaulichen einen umfassenderen Prozess zwischen Lehrern und Schülern. Der Lehrer kann Endlösungen, Zwischenschritte der Argumentation, multimodale Interpretationen, Entscheidungen bezüglich Werkzeugen sowie Strategien zur Fehlerbehebung erstellen, doch nichts davon wird zu Schulungsmaterial, bevor es hinsichtlich Richtigkeit, Sicherheit, Herkunft, Vielfalt und Relevanz geprüft wurde.

Muse Glimmer umfasst sieben Anpassungsschritte. Zunächst erzeugt der Lehrer Spuren, die einer kontrollierten Filterung unterzogen werden. Anschließend durchläuft der Schüler Schritte wie Logit-Destillation, mittleres Training sowie überwachtes Feintuning, gefolgt von Wissensdestillation im Rahmen der Policy-Lernen-Methode, und abschließend wird Verstärkungslernen eingesetzt.

• Bei der Logit-Destillation wird die Wahrscheinlichkeitsverteilung des Lehrers übertragen – nicht nur der ausgewählte Token. Dadurch werden Informationen über plausible Alternativen sowie die relative Zuverlässigkeit übermittelt, die bei der Trainierung mit festen Etiketten weggelassen werden.
• Während des Trainings erhält der Schüler bereits vor der feinen Anpassung an die Anweisungen Daten mit langen Kontexten sowie agierenden Elementen, wodurch diese Fähigkeiten in seiner umfassenderen Repräsentation verankert werden und nicht als dünne Schicht am Ende hinzugefügt werden.
• Durch das On-Policy-Knowledge-Distillation-Verfahren wird eine zentrale Schwäche der herkömmlichen Distillation behoben. Wenn ein Schüler ausschließlich anhand der Trajektorien des Lehrers trainiert wird, lernt er zwar die Zustände des Lehrers, stößt bei der Inferenz jedoch auf Zustände, die durch seine eigenen fehlerhaften Entscheidungen entstanden sind. Wenn der Schüler die entsprechende Trajektorie erzeugt und der Lehrer zu diesen Zuständen Ratschläge gibt, verringert sich diese Diskrepanz.
• Anschließend stärkt das Verstärkungslernen jene Verhaltensweisen, die messbare Ergebnisse liefern.

Insgesamt machen diese Schritte aus der Distillation ein mehrstufiges Programm zur Fähigkeitsübertragung statt nur einen einzigen Kompressionsvorgang.

Das Grenzrezept ist nun sichtbar: überwachte Daten zur Festlegung des Verhaltens, überprüfbare Reinforcement-Learning-Methoden zur Überprüfung der Imitation, synthetische Trajektorien zur Abdeckung, eine Optimierungsunit, die der Granularität der Belohnung entspricht (die gesamte Sequenz), sowie eine Destillation der eigenen Zustände des Lernenden, um Fähigkeiten an Modelle zu übertragen, die eingesetzt werden können.

Kein einzelner Modellname ist die dauerhafte Innovation. Das Trainingsystem besteht aus der Reihenfolge der Daten, der Überprüfung der Ergebnisse, der Art und Weise, wie die Strategie nach Lösungen sucht, der Kontrolle instabiler Aktualisierungen sowie einer abschließenden Übertragung, die nicht voraussetzt, dass ein kleineres Lernmodell seinen Lehrer perfekt nachbilden kann.

Training bedeutet Freigabe

Ein erfolgreicher Lauf ist noch kein bereitstellbares Artefakt. Was bereitgestellt wird, ist ein vollständiges Rezept. Es umfasst das Basismodell und dessen Tokenisierer – sei es der Adapter oder die zusammengeführten Gewichte –, das Systempaket sowie die Toolschemata, den Speichervertrag und die Abrufrichtlinie und schließlich die Quantisierung sowie die Laufzeit- und Sicherheitsrichtlinien.

Registry-Identität

Mindestens müssen Sie folgendes registrieren:

• Checksums für das Basismodell und das Referenzmodell;
• Digests für das Datensatz und seine Transformationen;
• Das Split-Manifest sowie den Kontaminationsbericht;
• Das Ziel, den Optimierer, die Startwerte, die Hyperparameter und die Zielmodule;
• Die Digests des Codes und des Containers;
• Hardware und numerische Präzision;
• Versionen des Graders, des Belohnungsmodells, des Bewerters und der Richtlinien;
• Den Bewertungsbericht, die Genehmigungen, den Eigentümer, das Ablaufdatum und das Ziel für ein Rollback.

Bewertungen benötigen Mindestanforderungen und Vergleiche

Wenden Sie zwei Schwellenwerte an:

1. Absolute Schwellenwerte. Die Leckrate ist in den geschützten Suiten null, die Gültigkeit des Toolschemas überschreitet sein Schwellenwert, die Bindung an den Mieter beträgt 100 % und sowohl die Ablehnungsschwelle als auch die Sicherheitsschwelle werden erreicht.
2. Relativer Verbesserungsgrad. Ein Kandidat muss im Vergleich zum aktuellen Produktionsrezept bezüglich des Zielfehlers besser abschneiden, während alle Schwellenwerte weiterhin eingehalten werden.

Bewerten Sie die gesamte Laufzeit und nicht nur das reine Modell. Ein stärkerer Adapter kann bei Anwendung einer neuen Quantisierung, eines Chat-Vorlagen, einer Abrufrichtlinie oder eines Toolschemas zu Rückschritten führen.

Vermeiden Sie es, die Unternehmensqualität auf einen Durchschnitt zu reduzieren

Nehmen wir an, Mₖ ist die Metrik für die Bewertungsschicht k. Eine gewichtete Bewertung S addiert das Gewicht jeder Schicht multipliziert mit ihrer Metrik, wobei die Gewichte insgesamt 1 ergeben, was die Ergebnisse übersichtlich zusammenfasst. Eine gewichtete Durchschnittsberechnung ermöglicht jedoch Ausgleichsmöglichkeiten, sodass ein großer Vorteil bei gängigen englischsprachigen Bewertungskriterien einen ernsthaften Rückschritt in Bezug auf die Isolierung der Nutzer oder in Sprachen mit begrenzten Daten verbergen kann.

Die Prüfungen erfolgen in dieser lexikalischen Reihenfolge:

1. harte Mindestanforderungen in Bezug auf Sicherheit, Privatsphäre und Autorisierung;
2. Mindestanforderungen zur Erhaltung der Funktionalitäten;
3. Verbesserungen im Vergleich zur Zielaufgabe;
4. Kosten- und Latenzbeschränkungen;
5. ein Gesamtranking unter den Kandidaten, die alle früheren Prüfungen bestanden haben.

Dies spiegelt das Prinzip der Belohnungsplanung wider: Unverhandelbare Vereinbarungen können nicht durch Stil oder Durchsatz ersetzt werden.

Vertrauensintervalle und geringe Verbesserungen

Störsignale durch Stichprobenziehung können eine beobachtete Unterschiede in der Genauigkeit erklären. Für eine binäre Metrik mit dem Anteil p̂ an n unabhängigen Elementen beträgt die Standardfehlergröße ungefähr die Quadratwurzel aus p̂(1 − p̂) / n. Bei p̂ = 0,90 und n = 100 liegt sie bei etwa 0,03, was einen Gewinn um einen Punkt als wenig überzeugend erscheinen lässt.

Die Kandidaten beantworten dieselben Aufgaben, wodurch Paartests in der Regel stärkere Ergebnisse liefern als die Behandlung der Ergebnisse als unabhängig. Nutzen Sie Bootstrap für die Differenzen pro Element oder einen geeigneten Paartest und geben Sie Konfidenzintervalle zusammen mit Schätzwerten an.

Bei Bewertungen mit LLMs als Urteilsfindern sind zusätzliche Kontrollmaßnahmen erforderlich: zufällige Reihenfolge, feste Versionen der Urteilsfinder, menschliche Kalibrierung sowie Überwachung von Meinungsverschiedenheiten unter den Urteilsfindern. Ein geringer Vorsprung durch eine einzelne Aufgabenstellung rechtfertigt keine Freigabeantragung.

Das Vergessens-Testset

Der Zielgewinn darf die allgemeinen Fähigkeiten nicht auslöschen. Behalten Sie ein festes Set bei, das Folgendes umfasst:

• Instruction Following;
• Wo Sicherheit und Ablehnungen eine Grenze ziehen;
• Verhalten in verschiedenen Sprachen;
• Auswahl des richtigen Tools und Formatierung seiner Aufrufung;
• Auffinden von Fakten in langen Kontexten;
• Kalibrierte Zuversicht sowie Wissen darüber, wann man zurückhaltend sein muss;
• Nebenbereichsaufgaben, die nicht das Ziel waren;
• Adversarische und Datenschutz-Prüfungen.

Melden Sie Deltas im Vergleich zum genauen Basis- oder Produktionsrezept. Wenn eine Mindestfähigkeit nicht erreicht wird, prüfen Sie vor dem Hinzufügen weiterer Zielbeispiele die Trainingsdaten, die Rangfolge, die Lernrate, die Epochen, die Wiederholungsmischung sowie das Ziel.

Zwei Quantisierungstüren

Wenn QLoRA oder eine fortgeschrittene Bereitstellungsquantisierung zum Einsatz kommt, bewerten Sie zweimal:

1. Das Training-Artifact-Gate verwendet die Basisversion zusammen mit dem Adapter zur Bewertung der Präzision aus der Entwicklung.
2. Das Serving-Artifact-Gate nutzt das, was in der Produktion zum Einsatz kommt: die genaue zusammengeführte oder Sidecar-Build-Version, die Laufzeitkerne, die Quantisierung, den Tokenizer sowie das Chat-Template.

Das erste prüft, ob das Training das gewünschte Verhalten vermittelt hat. Das zweite zeigt an, ob die Bereitstellung dieses Verhaltens beibehalten hat.

Canary-Tests und Rollback

Canary-Tests können nach begrenztem Traffic, Tenant-Klasse, Anfragenart oder im Schattenmodus unterteilt werden. Beobachten Sie, wie oft die Aufgaben erfolgreich abgeschlossen werden und ob Menschen eingreifen müssen, um Korrekturen vorzunehmen, wie oft Richtlinien abgelehnt werden, es zu Tool-Fehlern kommt, wie viel an Tokens verbraucht wird und wie hoch die Latenz ist – sowie jegliche Abweichungen in den Belohnungen oder in der Eingabeverteilung.

Beim Rollback muss das vorherige Setup wiederhergestellt werden, was mehr bedeutet als nur den vorherigen Adapter. Wenn das neue Systempaket, der Tokenizer oder das Tool-Schema weiterhin aktiv sind, wurde das System noch nicht zurückgerollt.

Die Arithmetik der Canary-Tests

Nehmen wir an, ein kritischer Fehler tritt historisch gesehen mit einer Häufigkeit von p auf. Bei n unabhängigen Canary-Anfragen beträgt die Wahrscheinlichkeit, mindestens einen solchen Fehler zu beobachten, 1 − (1 − p)ⁿ. Bei einer Fehlerhäufigkeit von 1 % und 100 Anfragen ergibt sich das als 1 − 0,99¹⁰⁰, also fast 63,4 % – dadurch können kleine Canary-Tests seltene, aber ernsthafte Fehler leicht übersehen.

Basieren Sie das Canary-Design sowohl auf Prozentwerten als auch auf Risiken. Fügen Sie gezielt risikoreiche Tool-Pfade, ungewöhnliche Sprachen, sehr lange Kontexte, Anfragen an Grenzen von Berechtigungen, Abfragen, die nichts zurückgeben, sowie unterschiedliche Benutzergruppen hinzu. Die Schattenbewertung erhöht die Abdeckung ohne Nebeneffekte, kann aber nicht alle Interaktionseffekte echter Aktionen aufzeigen.

Triggere für Promotion und Rollback

Legen Sie die Triggere bereits vor dem Start des Canary-Tests fest:

• Ein absoluter Verstoß gegen die Richtlinien bedeutet einen sofortigen Stopp;
• Ein Datenleak bedeutet einen Stopp des Incident-Workflows sowie die Bewahrung von Beweismitteln;
• Ein Tool-Fehler oder eine Latenz über dem zulässigen Wert bedeutet eine Pause zur Diagnose;
• Eine statistisch glaubwürdige Regression am Ziel bedeutet einen Rollback;
• Unerklärliche Schwankungen bei Belohnungen oder Bewertungen bedeutet die Aussetzung der Beförderung;
• Fehlende Telemetriedaten bedeuten, dass der Test nicht als abgeschlossen gilt, da die Ergebnisse nicht bewertet werden können.

Niemand sollte Akzeptanzkriterien erstellen, während er nur auf das Dashboard schaut. Dadurch wird die Governance zur Verhandlung unter Druck während des Deployments.

Die abgelehnten Tests müssen dokumentiert werden

Auditoriebenen haben mehr Gewicht, wenn sie einen gescheiterten Kandidaten samt Grund angeben. Betrachten wir diesen Fall:

• Der qlora-v4-Test erhöhte die Gültigkeit des Tools um drei Punkte;
• Die auf Zitaten beruhenden Antworten waren bei Anwendung der Quantisierung der Ausgabe um fünf Punkte weniger zuverlässig;
• die Kontrollinstanz lehnte sie ab;
• bei genauerer Untersuchung führte das Team den Rückgang auf Ausgabeprojektionen zurück, die schlecht auf Quantisierung reagieren;
• die Produktion setzte weiterhin dpo-v1 ein.

Das beweist, dass die Kontrollinstanz ein Modell stoppen kann, das auf den ersten Blick attraktiv erscheint. Ein Register, das nur optimierte Ausführungen enthält, kann nicht zeigen, dass die Kontrollmechanismen funktionieren. Ein Release-Manifest für den Reporting-Adapter könnte wie folgt aussehen:

release_id: inv22041-reporting-dpo-v1
base_sha256: "…"
reference_release: inv22041-sft-v3
adapter:
  method: lora
  rank: 16
  alpha: 32
dataset_digest: "sha256:…"
grader_version: sql-cage-12
policy_version: p-31
gates:
  tenant_binding: 1.0
  protected_leak_rate: 0.0
  tool_json_validity_min: 0.98
canary:
  mode: shadow
  duration_hours: 72
rollback_to: inv22041-sft-v3

Die Manifest-Datei gibt die Release-ID, die festgelegte Basis-Checksum, die Referenzversion (die frühere SFT-Kompilierung) sowie die Details des Adapters an. Sie ist klein genug, um sie durchzusehen, und ausreichend detailliert, um die darin gemachten Angaben nachvollziehbar zu machen.

End-to-End-Anleitung: INV-22041

Der Defekterfassung ist präzise beschrieben: Der Basis-Agent kommt in der Regel zur richtigen Antwort, doch fehlerhafte Tool-Aufrufe, mangelhafte Bewältigung leerer SQL-Ergebnisse sowie unbelegte kausale Aussagen schwächen diese Ergebnisse. Acht Schritte beheben dieses Problem:

1. Der Defekt wird lokalisiert. Die Regionen werden im gesteuerten Speicher, die aktuellen Verkaufsdaten in der semantischen Schicht sowie die Berechtigungen in der Laufzeitrichtlinie gespeichert. Die Schulung konzentriert sich auf die Tool-Grammatik, die Fehlerbehebung, die Zitierweise sowie die kalibrierte Ablehnung von Anfragen.
2. Entwickeln Sie die Datenplattform. Kompilieren Sie 4.200 SFT-Beispiele sowie 1.100 mehrstufige Wiederherstellungsprotokolle, fügen Sie die Abstammungslinien hinzu, entfernen Sie Entwurfsfinanzdokumente und stellen Sie sicher, dass contamination_rate = 0 bei der Veröffentlichungssuite gilt.
3. Einführung von SFT. Trainieren Sie einen LoRA-Adapter mit Rang 16 und Alpha 32 anhand ausgewählter Aufmerksamkeitsprojektionen. Der Erfolg bei der Tool-Parsing-Verarbeitung steigt von 0,71 auf 0,94, während die allgemeinen Leistungswerte konstant bleiben.
4. Hinzufügen von Präferenzdaten. Die Bewertenden wählen kompakte, zitierte Berichte gegenüber flüssigen, aber nicht unterstützten Alternativen. Die DPO-Tests laufen mit beta = 0,2 anhand der festgelegten SFT-Referenz und erreichen eine Gewinnrate von 0,78, wobei die Leckrate weiterhin bei null bleibt.
5. Wenden nur dort überprüfbare RL-Methoden an, wo dies gerechtfertigt ist. In der Phase der Datenausreichendkeitsprüfung sollen pro Anfrage acht SQL- und Tool-Verläufe erstellt werden, die hinsichtlich ihrer Bindung an den Auftrag, Gültigkeit, Ausführbarkeit, Kosten sowie der Datenausreichendkeit bewertet werden. GRPO verbessert die Wiederherstellung, und DAPO wird eingesetzt, wenn identische Belohnungsgruppen sowie lange Ausgaben das Signal schwächen.
6. Überprüfen Sie die Architekturkonformität. Falls es sich um ein MoE-Modell handelt, dessen Token-Ebenen-Importanzverhältnisse die RL-Methoden destabilisieren, sollten GSPO sowie dieselbe Bewertungsmethode und denselben Budgetrahmen verglichen werden.
7. Destillieren Sie, wenn die wirtschaftlichen Aspekte es erfordern. Übertragen Sie das beobachtbare Toolverhalten auf ein kleineres lokales Modell unter Verwendung der Lehrerausgaben sowie der on-policy-Zustände und wiederholen Sie die Prüfung auf der exakt quantisierten Version.
8. Veröffentlichen Sie das Rezept. Markieren Sie jede Komponente, lassen Sie sie 72 Stunden lang im Schattenmodus, fördern Sie sie nur einmal, nachdem sowohl die absoluten Grenzwerte als auch die relativen Verbesserungen erfüllt sind, und lassen Sie eine absichtlich abgelehnte Ausführung im Prüfprotokoll zurück.

Zur Laufzeit liest das fertige System weiterhin das aktuelle Quartal, das Schema sowie die Berechtigungen. Die Schulung verbessert sein Verhalten anhand dieser Fakten, ohne deren Eigentümer zu werden.

Fehlerbaum: Wo gute Schulungsprojekte schiefgehen

Das wiederkehrende Muster ist, dass ein Proxy optimiert wird, während der Unternehmensvertrag fehlt:

• Hohe Schulungsgenauigkeit kann eine kontaminierte Bewertung verdecken.
• Überlegene Vergleiche können auf längeren Antworten oder durchgesickerten Zitaten beruhen.
• Eine ansteigende Belohnungskurve könnte auf ausgenutzte Bewertungssysteme hindeuten.
• Studenten übernehmen die unsicheren Gewohnheiten des Lehrers zusammen mit dessen Fähigkeiten.
• Ein Adapter, der perfekt erscheint, kann innerhalb des tatsächlich eingesetzten, quantisierten Laufzeitumfelds versagen.
• Ein Rollback kann fehlschlagen, wenn er die Gewichte wiederherstellt, den Rest der Konfiguration jedoch unverändert lässt.

Das Trainingsziel beweist lediglich, dass eine Optimierung stattgefunden hat. Nur Nachweise über die Freigabe können zeigen, dass sich das Unternehmenssystem verbessert hat.

Konzeptbeweis versus Unternehmensanpassung

Es ist angemessen, bei der Konzeptbeweis-Ebene zu prüfen, ob eine Idee einen bestimmten Metrikenwert verändert. Auf Unternehmensebene kommen zusätzliche Nachweispflichten hinzu: rechtmäßige Daten, ein unabhängiger Metrikenwert, eine nach der Integration bestehende Verbesserung, ein nachvollziehbarer Ergebnisartefakt sowie ein rückgängig machbarer Rollout.

Daher ist die wertvollste Arbeit nach dem Training oft nicht eine neuere Verlustfunktion, sondern die Ingenieursarbeit, die Datenverläufe, Belohnungsverträge, Reproduzierbarkeit, Bewertung, Registrierungsidentitäten, Bereitstellung, Telemetrie und Rollback miteinander verbindet.

Zwölf Arbeitsregeln

1. Halten Sie die sich ändernden Fakten in den Speichern bei und das stabile Verhalten in den Adaptern.
2. Wählen Sie den Algorithmus aus dem Überwachungs- und Belohnungsvertrag aus, den Sie tatsächlich besitzen.
3. Festlegen Sie die Version des Referenzmodells, des Bewertungstools, des Urteilsmechanismus und der Richtlinie.
4. Verwenden Sie für das Chat-SFT eine Verlustfunktion, die nur Assistenten verwendet, und überprüfen Sie die Packungsgrenzen.
5. Ziehen Sie PEFT vor und betrachten Sie das vollständige Feintuning als Ausnahme, die einen schriftlichen Grund erfordert.
6. Training mit QLoRA bedeutet nicht automatisch das Bereitstellen eines quantisierten Modells.
7. DPO benötigt einen festgelegten Referenzwert sowie einen beta-Wert, und auch referenzlose Methoden benötigen Baseline-Werte.
8. Testen Sie jeden überprüfbaren Belohnungswert anhand feindlicher Trajektorien.
9. Wählen Sie DAPO oder GSPO, weil ein nachgewiesener Fehler dies rechtfertigt – und nicht, weil sie neuer sind.
10. Die Destillation überträgt sowohl Verhaltensweisen als auch Fehlermuster, daher bewerten Sie den „Schüler“ unabhängig.
11. Halten Sie die Kontamination bei null für die zur Freigabe erforderlichen Testsets.
12. Registrieren Sie das vollständige Verfahren und üben Sie einen Rollback vor der Einführung durch.

Verträge – keine Leiter

Die Anpassung an Unternehmensbedingungen bedeutet keinen Aufstieg von SFT zu immer modischeren Akronymen. Es handelt sich dabei um eine Kette von Verträgen.

Der Datenauftrag legt fest, was die Beispiele lehren dürfen, der Zielwert gibt den optimierten Signalwert an, und die Umgebung listet die möglichen Aktionen auf. Die Bewertung definiert die Verbesserung, das Register dokumentiert genau, was erstellt wurde, die Einführung regelt, welches Risiko die Organisation eingeht, und die Rückschaltung zeigt an, ob die Änderung tatsächlich rückgängig gemacht werden kann.

Sobald diese Verträge richtig gestaltet sind, werden LoRA, DPO, GRPO, Destillation sowie alle zukünftigen Nachtrainingsmethoden zu nützlichen Ingenieurwerkzeugen. Ohne sie ist selbst eine schöne Belohnungskurve nur eine teurere Demonstration.