Aggressives Feintuning: Training einer Wissens-Wiki anstelle von Modellgewichten
Führen Sie den ML-Trainingszyklus auf einer Wiki mit aus Unternehmensdokumenten gewonnenen Erkenntnissen durch: Benchmarks, die aus Rohdaten erstellt werden, geheime Fragen sowie ein Zertifikat mit ehrlichen Grenzen.
Quellen: Agentic Finetuning: Your Data Knows Things Nobody in Your Company Knows
Kenntnisse, die ein Unternehmen besitzt, aber nicht zugreifen kann
Stellen Sie sich einen Maschinenhersteller vor, der etwa 900 Wartungsberichte besitzt. In diesem Stapel verstecken sich Antworten auf Fragen, die echtes Geld wert sind: Welche Maschinenreihe versagt am häufigsten und aus welchem Grund, welche Reparaturen halten länger, und was versagt bei Winterinstallationen, aber nie bei Sommerinstallationen.
Das Problem ist folgendes: Niemand kann diese Antworten weitergeben. Einige erfahrene Mitarbeiter haben Teile davon im Gedächtnis, doch kein Dokument erklärt alles ausführlich. Alle 900 Berichte durchzulesen, ist für eine einzelne Person unmöglich. Daher bleiben die Kenntnisse im Unternehmen, ohne dass es darauf zugreifen kann. Fast jede Organisation ab einem bestimmten Alter lebt damit, und die meisten heutigen KI-Projekte ignorieren dieses Problem.
Was Unternehmen wirklich wollen
Unternehmen möchten ihre Daten nicht durchsuchen, da Ctrl+F die Suche bereits vor langer Zeit abgedeckt hat. Sie wollen vielmehr Erkenntnisse gewinnen. Vergleichen Sie die Suchversionen von Fragen mit den Lernversionen:
- Eine Suchanfrage fragt, was im Testprotokoll 214 steht. Eine Lernfrage fragt, wie sich eine bestimmte Mischung bei kalten Gussvorgängen anhand von fünfzehn Jahren Testberichten verhält.
- Eine Suchanfrage fordert das Patentdokument zu einem bestimmten Fall an. Eine Lernfrage fragt, wie der Anmeldeprozess tatsächlich abläuft, welche Einwände immer wieder auftauchen und was bereits bei erster Anmeldung zur Ablehnung führt.
- Eine Suchanfrage fragt nach Ticket 8812. Eine Lernfrage fragt, was das erfahrenste Support-Personal tut, wenn eine Maschine innerhalb eines Monats zweimal ausfällt, und was es dem Kunden verspricht.
Die Erkenntnisse haben Wert, verhalten sich aber grausam: Sie existieren nur als Fragmente und bleiben niemals an einem Ort. Nichts auf Papier kann sie festhalten. Sie tauchen zwischen Dokumenten auf, als Muster, die Hunderte von Berichten umfassen, als Prozess, der sich aus dreihundert Fällen herausbildet, oder als Regel, die zwei erfahrene Mitarbeiter im Kopf behalten. Wenn diese beiden gehen, verlässt das Unternehmen seine Erinnerung – nicht nur zwei Mitarbeiter.
Warum „Chatten mit Ihren Dokumenten“ nicht ausreicht
Das übliche Vorgehen in der Branche besteht darin, alles einzubetten, die nächstgelegenen Abschnitte abzurufen und daraus Text zu generieren. Für Suchanfragen funktioniert das gut, und dies ist kein Angriff auf RAG. Dennoch liefert die Abruffunktion lediglich das zurück, was jemand notiert hat. Wenn man eine lernbezogene Frage stellt – beispielsweise welche Serie am häufigsten versagt und warum – zieht das System drei Abschnitte aus drei Berichten, improvisiert anschließend vor Ort eine überzeugend klingende Zusammenfassung und ein anderes Mal wieder eine andere. Niemand extrahiert das Gelernte, überprüft es oder gibt ihm eine stabile Form. Anstatt Wissen abzufragen, rekonstruiert das System es für jede Frage – und zwar schlecht.
Auch der Datensatz selbst ist ein Chaos: widersprüchliche Versionen von Richtlinien, veraltete Spezifikationen sowie Fehler, die weitergegeben werden. Jedes System, das den Rohdatensatz liest, erbt diese Mängel. Stellen Sie sich zwei PDFs vor – eines verspricht 12 Monate Garantie, das andere 24. Beide werden abgerufen, und die Antwort wird dann zu einem Zufallsentscheid.
Selbst eine einmalige menschliche Zusammenfassung – sei es ein Bericht eines Beraters oder eine Zusammenfassung auf einer Wiki-Seite durch einen Praktikanten – stößt auf zwei entscheidende Fragen. Wie kann man sicher sein, dass sie richtig ist, und wie kann man sicher sein, dass sie vollständig ist? Es gibt keine objektive Wahrheit, keinen Test und keine Definition dafür, was abgeschlossen ist; daher beginnt das Dokument bereits am Tag seiner Fertigstellung leise zu verfallen.
Das eigentliche Problem liegt also nicht bei der Extraktion. Es geht darum, enorme Datenmengen in Erkenntnisse umzuwandeln, auf die man sich verlassen kann, und diese Erkenntnisse im Laufe der Zeit korrekt zu halten. Zusammengefasst: Diamanten aus einem Kohlebergwerk gewinnen – sie sind dort, aber das manuelle Durchsieben der Kohle spricht niemanden an.
Warum das Feintunen des Modells versagt
Das Feintunen ist ein natürlicher Instinkt, und es fühlt sich aus gutem Grund richtig an. Es handelt sich dabei um klassisches maschinelles Lernen: Daten, Etiketten, ein Verlustfunktion, Gewichtsaktualisierungen sowie ein Testdatensatz, den das Modell noch nie gesehen hat. Genau diese Strenge fehlt der Welt der Dokument-Chat-Systeme.
Doch es ändert die falsche Schicht. Die Gewichte sind undurchsichtig. Wenn die automatisch generierte Antwort falsch ist, gibt es keinen passenden Neuronen zur Korrektur. Alles, was während des Trainings gelernt wurde, gefriert ein und veraltet mit jeder neuen Meldewelle – jedes Erneuern erfordert außerdem einen weiteren Trainingslauf, eine Bewertung und die Bereitstellung. Zudem hat das Feintunen den Ruf, Fähigkeiten und Stil zu vermitteln, während Fakten unzuverlässig gespeichert werden. Kurz gesagt: Der richtige Prozessschluss ist am falschen Objekt befestigt.
Den Prozessschluss eine Schicht höher ausführen
Der Vorschlag besteht darin, den gesamten herkömmlichen ML-Trainingszyklus beizubehalten und ihn auf einer höheren Ebene auszuführen – anhand des Wissens statt der Gewichte. Dies wird als agiles Feintunen bezeichnet.
Die Zuordnung ist strukturell und nicht poetisch: Jeder Bestandteil des Standard-Trainingszyklus hat einen direkten Gegenpart, und das, was trainiert wird, ist das Wissen.
Das zu trainierende Element ist eine Wiki-Seite, ein Satz lesbarer Seiten mit extrahierten Erkenntnissen, wobei jede Aussage auf ihre Quellen verweist. Eine Seite könnte sich mit dem Verhalten bei kalter Gussmethode beschäftigen, eine andere damit, wie die Bearbeitung tatsächlich abläuft. Ein Mensch kann solche Seiten öffnen und mit ihnen diskutieren. Der darüberliegende Agent bleibt absichtlich einfach gehalten und liest nur die Wiki-Seite, sodass das gesamte Wissen in dem Inhalt der Wiki-Seite enthalten ist. Eine falsche Antwort wird durch Korrektur des Wissens behoben, genauso wie Backpropagation die Gewichte korrigiert – niemals durch Anpassung eines Prompts in der Hoffnung.
Lesen Sie das Diagramm in einem Durchlauf durch die Schleife: Zuerst die tiefgehende Auswertung, anschließend ein Vergleichswert aus den Rohdaten, Anpassungen, bis sich die Werte stabilisieren, und schließlich die geheimen Fragen, die in keinem früheren Schritt berücksichtigt werden.
Schritt 1: Hochladen plus Zweck
Alles wird unsortiert hochgeladen, zusammen mit einer Antwort auf eine oft unterschätzte Frage: Was sollte daraus gelernt werden? Beispiele hierfür sind das Verhalten von Materialien oder der tatsächliche Ablauf von Prozessen. Der festgelegte Zweck lenkt die Auswertung in Richtung Erkenntnisse und weg von Zusammenfassungen.
Schritt 2: Tiefgehende Auswertung, Wiki v0
Danach wird der gesamte Datensatz sorgfältig abgearbeitet – Dokument für Dokument, Region für Region – bis zu der Tiefe, die das Ziel erfordert. Dies ist die kostspielige Phase und findet nur einmal statt. Es gibt einen Grund, warum die Tiefe von Anfang an berücksichtigt wird. Stellen Sie sich vor, sie würde nur dort auftauchen, wo später ein Vergleichskriterium Einwände hat. Dann würde die Wiki-Seite ihre Struktur vom Test ableiten, und das Wissen wäre auf den Test statt auf die Daten abgestimmt. Zuerst tief in die Daten einzudringen ermöglicht es dem Datensatz selbst, seine Vollständigkeit zu bestimmen; dadurch schrumpft die Rolle des Vergleichskriteriums auf Überprüfung und Korrektur.
Im Laufe des Prozesses gefundenen Widersprüche, wie zum Beispiel das Paar aus 12- und 24-Monats-Garantie, werden in eine Warteschlange für einen Menschen gelegt. Sie blockieren die weitere Verarbeitung nicht und werden am Ende geklärt, da kein Modell weiß, welches PDF veraltet ist.
Schritt 3: Ein Vergleichskriterium, das aus den Daten und niemals aus der Wiki erstellt wird
Menschen stolpern hier in der Regel zuerst. Wenn die Prüfungsfragen aus der Wiki stammen, gibt es für alles, was in der Wiki fehlt, keine Frage dazu, wodurch sich ein Blindpunkt bildet, der seine eigene Prüfung erstellt und diese meistert. Daher benötigen die Fragen drei weitere Quellen: die Rohdokumente (was sollte ein Leser aus diesem Bericht mitnehmen?), den deklarierten Zweck (Fragen zwischen Dokumenten zu Trends, Ursachen und Prozessen) sowie die beteiligten Personen (was ihnen tatsächlich gestellt wird). Anschließend wird die Sammlung aufgeteilt – 75 Prozent für das Training und 25 Prozent als geheime Fragen mit dem gleichen Themenverhältnis, ohne paraphrasierte Überschneidungen und ohne dass jemand sie einsehen darf. Unterrichten anhand der Prüfung würde ihr Sinn rauben.
Schritt 4: Beantworten, bewerten, diagnostizieren, umschreiben
Jeder Fehler erhält eine Ursache, und jede Ursache hat ihren eigenen Lösungsweg:
- Falls das Wissen in den Daten vorhanden ist und die Wiki-Seite es übersehen hat, sollte diese Region erneut und gründlicher untersucht werden.
- Falls es nirgends vorhanden ist, muss man einen Menschen um Rat fragen und auf keinen Fall eine eigene Antwort erfinden.
- Falls zwei Quellen unterschiedlicher Ansicht sind, muss dieser Konflikt offengelegt werden.
- Falls die Frage an sich fehlerhaft ist, muss sie korrigiert werden und der Agent unberührt bleiben.
Eine Regel gilt über alle anderen: Die Antwort auf eine Frage wird niemals in die Wiki-Seite kopiert. Die Referenzpunkte weisen darauf hin, wo weiter recherchiert werden muss; die Dokumente entscheiden, was aufgenommen wird – und das Aufgezeichnete müssen allgemeine Seiten sein, die für spätere Fragen verwendet werden können. Wenn diese Regel gebrochen wird, verwandelt sich die Wiki-Seite unbemerkt in ein Antwortheft.
Schritt 5: Die Ehrlichkeitprüfung
Sobald die Trainingswerte nicht mehr steigen, werden die geheimen Fragen nur einmal ausgeführt. Wenn die Ergebnisse beim Training und bei den geheimen Fragen nahe beieinander liegen, enthält die Wiki tatsächlich das Gelernte, und sie kann zertifiziert, versioniert werden sowie mit ihren Grenzen auf der Verpackung geliefert werden. Liegen die Ergebnisse hingegen weit auseinander, handelt es sich um eine sinnlose Konstruktion. In diesem Fall wird die Prüfung erneuert: Die bereits verwendeten Fragen werden zurückgezogen, neue Fragen werden aus dem Datensatz mit neu formulierten Texten und Beispielen erstellt, ein neuer versiegelter Satz wird aufbewahrt und die Anpassungen werden fortgesetzt. Da sich die Wiki zuvor bereits auf die alten Fragen ausgerichtet hatte, müssen in späteren Runden Ziele verwendet werden, die sie zuvor nicht gesehen hat. Ein Rückgang von 95 bei den Trainingsfragen auf 71 bei den geheimen Fragen ist zwar problematisch, doch derselbe Überanpassungsfall wäre in jedem Kaggle-Notebook im Jahr 2019 aufgetreten. Die alten Erkenntnisse bleiben weiterhin relevant – das ist schließlich der ganze Sinn dahinter.
Die Produktion stellt anschließend eine endlose Testmenge zur Verfügung. Eine Frage, die vom Agenten falsch behandelt wird, wird sowohl zu einer Korrektur im Wiki als auch zu einem neuen Benchmark-Eintrag, und neue Berichte starten den Kreislauf erneut. Am Ende besitzt das Unternehmen ein lebendiges, getestetes Wissen, das über Ausscheidungen hinausbesteht.
Die gesamte Methode lässt sich in einem Satz zusammenfassen:
Benchmarks zeigen an, wo man suchen muss, die Daten sagen, was man schreiben soll, und der geheime Testset gibt an, wann man aufhören muss.
Wo sie Anwendung findet
Diese Methode eignet sich für Organisationen, deren Wert in begrenzten, ihnen gehörenden Datensätzen liegt. Ingenieurdienstleister und Materialhersteller mit jahrzehntelangen Berichten und Testprotokollen kommen in Frage, genauso wie Rechts- und IP-Beratungsfirmen, bei denen der eigentliche Prozess sich über Hunderte von Fällen erstreckt. Auch Hersteller mit Handbüchern und Wartungshistorien sowie Support-Teams, die jahrelange Gespräche führen, passen dazu – deren Benchmark wartet praktisch bereits in der Exportdatei darauf, genutzt zu werden.
Käufer, die Nachweise verlangen, profitieren ebenfalls, denn ein Zertifikat mit Ergebnissen zu geheimen Fragen hat mehr Gewicht als die Behauptung, das Produkt basiere auf dem neuesten Modell.
Zwei Nebeneffekte werden zu eigenen Produkten. Eine sauber aufbereitete Wiki-Seite bietet hervorragendes Einarbeitungsmaterial, da Neulinge die darin enthaltenen Informationen direkt lesen können. Die Prüfungsergebnisse, wonach zwei Richtlinien miteinander im Widerspruch stehen, während das Personal improvisiert, sind genau das, wofür Berater Unternehmen hohe Gebühren berechnen – dieser Kreislauf liefert sie dabei von selbst.
Beschränkungen
Die Methode gewinnt Vertrauen, indem sie ihre Grenzen kennt; hier sind sie:
- Fähigkeiten, Stil und Sprachweise fallen außerhalb des Anwendungsbereichs. Wenn das Modell nicht in der Lage ist, auf die für eine Aufgabe erforderliche Weise zu argumentieren oder zu schreiben, handelt es sich dabei um ein echtes Problem des Modell-Feintunings. Beim agierten Feintuning wird angepasst, was das Modell weiß – nicht, was es tun kann.
Eintönige Teile, echter Vorteil
Keines davon ist eine bahnbrechende Forschungsergebnis. Die Testmengen sind alt, die Bewertungsmethoden für große Sprachmodelle sind Routineaufgaben und die Wissensextraktion ist ein etabliertes Feld. Der Vorteil liegt darin, dass kaum jemand sich um die langweiligen Teile kümmert. Teams vergleichen Modelle, während die wirklich wichtigen Erkenntnisse ungelesen in einer Datei mit dem Namen FINAL_v2_old_DO_NOT_DELETE liegen.
Modelle verbessern sich von selbst weiter, aber die Erkenntnisse aus den Unternehmensdaten werden nicht von allein extrahiert. Der Teil, der trainiert werden sollte, ist derjenige, der tatsächlich zum Unternehmen gehört.