fine-tuning ai-agents continual-learning distillation self-improving-agent

Das Feintunen ist jetzt günstig geworden, doch die Agenten benötigen weiterhin eine Kontrolle für die Gewichte.

Wie man die gespeicherten Lektionen eines Agenten mithilfe von On-Policy-Selbstdestillation in Gewichte umwandelt, vier Förderkriterien sowie warum die Wiederholung des Zyklus dreimal zu seinem Scheitern führt.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 20269 Min. Lesezeit1967 Wörter

Quellen: Fine-Tuning Got Cheap. Your Agent Should Still Learn Almost Nothing.

Jede Nacht führt das Gehirn leise einen Batch-Prozess aus. Die im Laufe des Tages anfallenden Erlebnisse lagern sich im Hippocampus ab, und während des Schlafs werden sie abgespielt und selektiv im Kortex gespeichert. Forscher haben beobachtet, wie dieses Abspielen bereits Stunden nach Entfernung des Labyrinths bei Ratten stattfand. Am nächsten Morgen gibt es Fähigkeiten, die erst am Vortag erlernt wurden, während der eigentliche Trainingsprozess nie beobachtet werden kann.

Andrej Karpathy wies bereits vor längerer Zeit auf die fehlende Phase bei KI-Systemen hin: es gibt keinen Destillierungs-Schritt, keinen Schlaf. Etwa achtzehn Monate später arbeitet die Forschung daran, diese Phase einzuführen. Ein Paper aus dem Jahr 2026 trug sogar den Titel „Language Models Need Sleep“ und beschreibt, wie die im Kontext gespeicherten Erinnerungen eines Modells während einer expliziten Schlafphase in neu hinzugefügte Expertenwerte integriert werden.

Die Trennung zwischen Wach- und Schlafphase ist somit von einer Metapher zu einem Architekturdiagramm geworden, was sowohl gute als auch schlechte Nachrichten ist. Die Konsolidierung ist nun so kostengünstig geworden, dass sie in einen Zeitplan aufgenommen werden kann, und deshalb ist die anspruchsvolle Ingenieursarbeit an andere Stellen verlagert worden – nämlich zum Filter, der aus zehntausend Lektionen die wenigen auswählt, die es wert sind, in die Gewichte integriert zu werden.

Daraus ergeben sich vier Fähigkeiten. Erstens die Trennung des schnellen Loops (Kontext, pro Anfrage verarbeitet) vom langsamen Loop (Gewichte, bei jeder Veröffentlichung geändert), wobei jeweils Kosten anfallen. Zweitens die Umwandlung des bereits in Produktion befindlichen Agents in einen privilegierten Selbstlehrer, ohne dass ein größeres Modell erforderlich ist. Drittens die Bewertung jeder Lektion anhand von vier Förderkriterien, bevor irgendein Gradient darauf wirkt. Viertens die Erkennung von Fehlern, die einrundige Demos verbergen, indem der Loop dreimal ausgeführt wird. Die einzige Eingangsvoraussetzung ist, bereits etwas veröffentlicht zu haben, das eine LLM-API aufruft.

Zwei Loops mit unterschiedlichen Zeitmessern

Der erste Teil der Geschichte zeigt, wie der Agent eine Aufgabe abschließt und das Gelernte in einem Playbook – einer Textdatei mit Lektionen, die zu Beginn jeder Anfrage abgerufen werden – aufzeichnet, damit der nächste Ablauf von dem vorherigen fortgesetzt werden kann. Der zweite Teil befasst sich mit der Konsolidierung: Ein separater Offline-Prozess wiedergibt die gespeicherten Spuren ab, entscheidet, welche stabil und wertvoll genug sind, um darauf zu trainieren, und schreibt nur diese Informationen in die Parameter.

Eine im Jahr 2026 durchgeführte Untersuchung zu Erinnerungsfunktionen bezeichnet diesen Zyklus als Accumulate-Internalize. Zunächst werden die Informationen explizit in der Speicherung sowie in Playbooks akkumuliert, wo Lektionen kostengünstig überprüft und geändert werden können. Der stabile Rest wird anschließend in Parameter internalisiert, wodurch er zur Zeit der Inferenz schnell, allgemeingültig und kostenlos verfügbar ist. Einfach ausgedrückt: Der Agent arbeitet den ganzen Tag über mit einem Notizbuch, während etwas anderes später und getrennt entscheidet, welche Seiten es wert sind, im Gedächtnis behalten zu werden.

Der nächtliche Pipeline-Prozess umfasst drei Schritte: Wiedergabe, Auswahl und Verfeinerung. Nur der mittlere Schritt erfordert Urteilsvermögen und ist der wichtigste.

Die schnelle Uhr tickt zum Zeitpunkt der Anfrage. Kontext und Speicher passen sich mit jeder Konversation an, wobei die Änderungen rückgängig machbar und kostengünstig sind.
Die langsame Uhr tickt zum Zeitpunkt der Veröffentlichung. Die Konsolidierung aktualisiert die Gewichte alle paar Wochen, hinter einer Schutzmaßnahme und zu echten Kosten.

Gute Konfigurationen nutzen beide Uhren und halten fest, welche Lektion wo gespeichert ist. Schlechte Konfigurationen bringen die langsame Uhr entweder nie voran und zahlen immer höhere Kosten für den Kontext, oder sie schließen die schnelle Uhr direkt an die Gewichte an und führen so frühzeitig zu Fehlinformationen.

Der beste Lehrer ist das Agent selbst, das das Handbuch in Händen hält

Klassische Destillation bringt einen Lernenden dazu, die Ergebnisse eines Lehrers nachzuahmen. Das Problem liegt darin, woher die Daten stammen: Der Lernende lernt aus den fein abgestimmten Vorgehensweisen des Lehrers und sieht niemals die unordentlichen Zustände, die durch seine eigenen Fehler entstehen. Sein erster Fehler führt an einen Ort, den das Trainingsdatensatz niemals besucht hat.

On-Policy-Destillation korrigiert dieses Problem. Die Beispiele stammen vom eigenen Verhalten des Lernenden, und ein Lehrer bewertet oder leitet diese Beispiele, sodass das Korrektursignal auf die tatsächliche Fehlerverteilung des Lernenden abzielt. Es handelt sich dabei um dichte Rückmeldungen zu eigenen Fehlern – nicht um eine Präsentation der Erfolge anderer Personen.

Was das Praktische daran ausmacht, ist, dass der „Lehrer“ kein größeres Modell sein muss. Es kann dasselbe Modell mit einem unfairen Vorteil sein: das Handbuch im Kontext, die bereits abgerufenen Lektionen sowie Rückblicke auf bereits abgeschlossene Episoden. Ein Forschungssystem namens SEED arbeitet genau mit diesem Ansatz. Es wandelt fertige Agentenbahnen in in Alltagssprache verfasste Fähigkeiten um und integriert anschließend die darin enthaltenen Anleitungen direkt in die Policy, wodurch während der Inferenz weder Fähigkeitsanweisungen noch Speicherabfragen notwendig sind. Die Lektion wird somit zum Verhalten.

Betrachten Sie den „Lehrer“ als Schüler mit Rucksack – die Destillation ist der Prozess, bei dem der Rucksack entfernt wird, ohne dass das darin Enthaltene verloren geht.

Eine kleine Version lässt sich bereits an einem Nachmittag umsetzen. Wählen Sie fünfzig Aufgaben aus, die der Agent bereits bewältigt, frieren Sie das Handbuch ein, damit es sich nicht weiter ändert, und richten Sie beide Seiten ein:

# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()

tries = [bare.run(t) for t in tasks]

Dann soll die Beurteilung des Lehrers die eigenen Versuche des Schülers bewerten, und daraufhin soll trainiert werden. Das ist die gesamte on-policy-Distillation in wenigen Sätzen:

graded = [teach.grade(x) for x in tries]
finetune(bare, graded)   # one round only
# now serve it with NO playbook

Der Test liefert drei Zahlen, die es wert sind, aufgezeichnet zu werden. Bei einem Versuch mit einem Teil einer Unterstützungsqueue mit fünfzig Aufgaben im Juni wurden bei dem Schüler ohne Hilfsmittel 61 Prozent der Antworten akzeptiert, beim Schüler mit dem Handbuch im Kontext 79 Prozent, und beim internalisierten Modell, das ohne jegliches Handbuch lief, 77 Prozent.

Sechzehn der achtzehn durch das Handbuch erzielten Verbesserungen hielten an, und jede Anfrage sank von 4.270 Token auf 910. Der „Rucksack“ wird abgenommen, und ein Mietverhältnis verwandelt sich in Eigentum. Der erste Test lässt das Problem so aussehen, als wäre es gelöst.

Ein Gradient ist ein Engagement

Die Branche lehnte Gewichtsaktualisierungen etwa drei Jahre lang ab – und dieser Widerstand war berechtigt. Kontexte können innerhalb eines Nachmittags differenziert, überprüft und gelöscht werden. Eine Gewichtsaktualisierung hingegen ist undurchsichtig, komplex und kann nur durch Rücksetzen auf einen Checkpoint rückgängig gemacht werden, wodurch alles andere, was das Modell seit diesem Zeitpunkt gelernt hat, verloren geht.

Catastrophales Vergessen ist die klassische Form dieses Risikos: Rückfälle in Fähigkeiten, die niemand gemessen hat und die später von einem Kunden entdeckt werden. Auch die Sicherheitskonformität muss nach jedem Update erneut überprüft werden, da Eigenschaften, die am Basismodell bestätigt wurden, nicht automatisch auf eine Feinabstimmung übertragen werden.

Eine nützliche Vergleichsmöglichkeit ist ein Feature-Branch, der zum Main-Branch fusioniert – dort gelten Wiederholung, Überprüfung, Nachvollziehbarkeit sowie ein Rollback-Pfad. Der Vergleich bricht jedoch an einem kostspieligen Punkt zusammen: Das Zurücksetzen in Git erfolgt präzise und gezielt, während das Zurücksetzen der Gewichte entweder vollständig oder gar nicht möglich ist; somit führt bereits eine einzige fehlerhafte Fusion dazu, dass alles, was nach dem Checkpoint hinzugefügt wurde, verloren geht.

Vier Kriterien bestimmen, was als abgeschlossen gilt:

Die Lektion trat in ausreichend unterschiedlichen Fällen auf, um wie ein Muster und nicht wie ein Zufall zu erscheinen.
Sie blieb im Handbuch enthalten, ohne jemals widerlegt zu werden.
Es zeigt den gemessenen Wert zur Schließung der Lücke im Vergleich zu einer tatsächlich durchgeführten Basislinie.
Es verfügt über eine klare Herkunftsverfolgung, sodass die zur Erstellung verwendeten Spuren benannt werden können.

Alles, was diese Überprüfungen nicht besteht, bleibt im Kontext – dort kostet ein Fehler einen Token, nicht einen Kontrollpunkt. Im Allgemeinen enthalten die Gewichte den Restwert, während der Kontext die Abwanderung darstellt.

Die vier Kontrollpunkte werden nacheinander ausgeführt, und diese Reihenfolge ist Teil des Designs: Eine Lektion, die den ersten Kontrollpunkt nicht besteht, verbraucht niemals eine Überprüfung beim vierten. Ein Kontrollpunkt, der mehr als nur wenige Kandidaten weiterleitet, ist kein echter Kontrollpunkt.

Laut einer Umfrage von Juni 2026 zu selbstverbessernden Agenten liegt die Entscheidung beim Steuergerät und nicht beim Modell. Es ist das Steuergerät, das die Spuren auswählt, die in Trainingssignale umgewandelt werden sollen, die Überwachungsinformationen daraus extrahiert, die Bedingungen bewahrt, unter denen sie gültig waren, und beurteilt, ob eine bestimmte Erfahrung überhaupt für das lernende Verhalten der Parameter geeignet ist.

Sobald es zwei mögliche Verfahren gibt, muss etwas darüber entscheiden, welches Verbesserungsverfahren zu welchem Zeitpunkt und innerhalb welcher Grenzen – bezüglich des Beweisniveaus sowie der Rollback-Bedingungen – angewendet wird. Diese Steuerungsschicht ist das eigentliche Ergebnis. Bei der Auswahl sollte man zunächst die Rollback-Spalte prüfen, denn Verfahren, die durch eine einzeilige Löschung rückgängig gemacht werden können, verdienen etwa neun von zehn Entscheidungen.

Die erste Runde funktioniert; die dritte bricht zusammen

Ein neues Ergebnis sollte alle verlangsamen. Die Veröffentlichung „Rethinking Continual Experience Internalization“ berichtet, dass eine einzige Runde der Umwandlung von Erfahrungen in Gewichte gut funktioniert, während die Wiederholung des selbstentwickelnden Zyklus zu einem Leistungsabfall führt.

Die Autoren führen den Leistungsabfall auf drei Faktoren zurück: die Art und Weise, wie Erfahrungen dargestellt werden, die Weise, wie diese Darstellung bestimmt, was vom Lehrsystem überwacht wird, sowie die Verteilung der Trajektorien, die den Transfer bewirken. Der Erfolg in einer einzigen Runde war lediglich eine Demonstration. Stabilität über mehrere Runden hinweg ist die eigentliche Anforderung – und bisher hat niemand sie gelöst.

Der frühere Test der Support-Queue verlief genau so, wie die Studie vorhergesagt hatte. Runde zwei erzielte 74 %, etwas unter den 77 % von Runde eins, was leicht als Störung abgetan werden konnte. Runde drei lag bei 58 %, unter dem Wert der Schüler, mit denen das Experiment begonnen hatte, und das Modell hatte sich in zwei Ticketkategorien, die nicht im Bewertungssatz enthalten waren, leise verschlechtert. Die wichtige Erkenntnis ist der Unterschied zwischen Runde eins und Runde drei, da Runde eins die einzige ist, die in den meisten Berichten erwähnt wird.

Es gibt eine zweite Grenze. Aggressives Reinforcement Learning bedeutet, das Lernalgorithmus-Prinzip auf ganze, mehrschrittige Abläufe von Agenten anzuwenden, wobei Belohnungen aus Ergebnissen stammen, die eine Maschine überprüfen kann. Dies lohnt sich dort, wo die Überprüfung kostengünstig ist – beispielsweise bei Code, Mathematik oder strukturierten Aufgaben. Die wertvollsten Aufgaben in der realen Welt liefern hingegen unscharfe, späte oder ausnutzbare Signale. Der Artikel „Early Experience“ sagt das unverblümt: Viele reale Umgebungen weisen keine überprüfbaren Belohnungen auf, und bei denen, die solche haben, sind oft umfangreiche und kostspielige Tests erforderlich. Die Lösung besteht darin, aus den frühen Interaktionen des Agenten ohne externe Belohnung zu lernen und die Folgen der Handlungen als Überwachungsmechanismus zu nutzen.

Das Eigentum bringt außerdem zusätzliche Kosten mit sich. Jede konsolidierte Variante wird zu einem eigenen Produkt, das eine Regressionstest-Suite, eine erneute Sicherheitsbewertung sowie einen eigenen Bereitstellungsplatz benötigt. Zudem vervielfachen sich die Varianten pro Nutzer, wodurch die gesamte Liste um das Anzahl der Kunden erweitert wird.

Eine nüchterne Einschätzung für Mitte 2026: Das lernende Verfahren basierend auf Parametern ist bereits in der frühen Produktionsphase für Koding- und Werkzeugnutzungs-Agenten im Einsatz, deren Belohnungen überprüfbar sind, und bleibt weiterhin auf Forschungsebene, wo die Belohnungen unklar sind. Die Anhänger des Kontextansatzes haben eine überzeugende Gegenargumentation. Wenn eine Lektion in die Playbooks sowie die Abruffunktionen passt, führt ihre Einbettung in die Gewichte zu Geschwindigkeit und Qualität – auf Kosten der Überprüfbarkeit; für viele Produkte ist das ein schlechter Tausch.

Bauen Sie das notwendige Element bereits im Voraus

Ein gefrorenes Modell bleibt eine bewusste Designentscheidung – mit einem Nachteil. Aktuelle Spitzennachrichtenmodelle werden selbst als Agenten durch Verstärkungslernen im Umgang mit Werkzeugen in ausführbaren Umgebungen trainiert. Das über eine API geliehene gefrorene Modell ist zunehmend das Ergebnis genau dieser hier beschriebenen Prozesse; somit kommt die Ära der Erfahrung zunächst in Form einer Veränderung bei der Erstellung der zugrundeliegenden Modelle.

Ein praktischer erster Schritt ist es, den Akkumulationszyklus sorgfältig zu instrumentieren. Versuchen Sie anschließend eine kostengünstige Überprüfung: Öffnen Sie das Playbook vom letzten Monat und zählen Sie die Einträge, die in fünf oder mehr separaten Episoden aufgetaucht sind, ohne widersprochen zu werden. Eine solche Überprüfung führte dazu, dass aus vierundvierzig Einträgen sechs Kandidaten hervorgingen, von denen nur einer die Genehmigung erhielt.

Der einzige Eintrag ist der erste Gradient. Der Rest sind Unregelmäßigkeiten, die im Kontext bleiben sollten – dort kostet ein Fehler Tokens und nicht einen Checkpoint. Die Frage, die man sich stellen sollte: Welche Lektion im Playbook tritt häufig genug und ohne Widersprüche auf, um zur Veröffentlichung freigegeben zu werden?