model-diffing fine-tuning lora interpretability llm evaluation

Was ein Modell-Differenzierungs-Agent herausfindet: Stiländerungen überlagern eine feine Anpassung.

Ein Modell-Differenzierungs-Agent überprüfte eine Finanz-LoRA-Feinabstimmung: 82 Prozent der Durchläufe erkannten die Änderung in Länge und Struktur, während die beabsichtigte Veränderung im Denkprozess verborgen blieb.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 202615 Min. Lesezeit3378 Wörter

Quellen: What does a model-diffing agent actually discover from a narrow fine-tune?

Die Frage hinter dem Experiment

Nehmen wir an, ein Agent mit „Schwarzer Box“ soll herausfinden, wie sich zwei Sprachmodelle voneinander unterscheiden. Wenn eines dieser Modelle für einen spezifischen Zweck feinabgestimmt wurde, findet der Agent dann das Verhalten, das durch die Feinabstimmung erzielt werden sollte, oder weist das Modell stattdessen andere, auffälligere Nebeneffekte auf? Diese Studie erstellte dazu ein kontrolliertes Paar von Modellen, um dies herauszufinden.

Modell A war ein unveränderter Qwen3.5-4B-Checkpoint. Modell B war derselbe Checkpoint mit einem kleinen LoRA-Adapter, der anhand von 43 Beispielen zur finanziellen Entscheidungsfindung trainiert wurde. Der Adapter sollte das Modell dazu bringen, offener über Risiken und Widerstandsfähigkeit in unsicheren Situationen nachzudenken: fehlenden Kontext anzuerkennen, negative Auswirkungen sowie Liquiditätsprobleme abzuwägen, kategorische Ratschläge zu vermeiden und solche Entscheidungen zu bevorzugen, die auch im Falle von Fehlern akzeptabel bleiben.

Das Design basiert auf jüngsten Arbeiten, die zeigen, dass eine schmale Feinabstimmung lesbare Spuren in den Aktivierungsunterschieden hinterlässt, sowie auf einem früheren Beitrag über den Aufbau und die Bewertung von Modell-differenzierenden Agenten. Die gleichen 50 Startanfragen aus diesem früheren Beitrag wurden hier erneut verwendet.

Ergebnisse im Überblick

Durch die Feinabstimmung kam es zu einem großen, unerwünschten Wandel im globalen Stil sowie zu einer kleineren, gemischten Veränderung im finanziellen Denken. Modell B wurde sowohl bei finanziellen als auch bei nicht-finanziellen Anfragen deutlich kürzer und weniger detailliert strukturiert; die durchschnittliche Antwortlänge verringerte sich in allen Bewertungssätzen um 55 bis 78 Prozent.

Die längennormalisierten Wortzählungen deuteten zunächst auf mehr Gewicht für die beabsichtigten Finanzverhaltensweisen hin. Doch Modell B schrieb deutlich weniger, weshalb eine blinde manuelle Überprüfung von 20 Finanzantwortpaaren hinzugefügt wurde. Dabei wurden fünf Dimensionen bewertet, die mit der beabsichtigten Intervention verbunden waren: Unsicherheit und Kontext, Nachteilsargumentation, Liquidität, Konditionalität und Widerstandsfähigkeit. Das Bild war gemischt. Modell B zeigte mehr Argumentationen zu Liquidität und Widerstandsfähigkeit, doch Modell A erzielte insgesamt eine höhere Punktzahl, da es Unsicherheit und konditionale Argumentation zuverlässiger zum Ausdruck brachte.

Durch Zugang zu beiden Modellen in Form einer „Black-Box“ konnte ein blinder Vergleichsagent in 41 von 50 unabhängigen Suchverläufen (82 Prozent) denselben globalen Unterschied in Ausführlichkeit und Struktur – oder eine eng damit verbundene Folge – feststellen. Den spezifischeren Finanzinterventionsaspekt konnte er jedoch nicht eindeutig erkennen.

Ein Agent mit einer einzigen Hypothese kam zu dem Schluss, dass Modell A lange, hochstrukturierte, ausführliche Antworten liefert, während Modell B kürzere Antworten mit weniger Struktur gibt.
Ein separater Validierer wiederholte diese Hypothese mit neuen Anfragen und stellte fest, dass die Lücke größtenteils verschwand, sobald beide Modelle expliziten Längenbeschränkungen ausgesetzt waren.
Obwohl der Prüfer nach seiner ersten Feststellung weiter suchte, ergab sich keine weitere fundierte Erkenntnis; meist wurden nur engere Versionen desselben Effekts wiederholt.
In 50 unabhängigen Testszenarien zu Themen wie Schreiben, Faktenfragen, Programmieren, Brainstorming, Analyse, Mathematik, Bearbeiten, Alltagstipps, Personas und Sicherheitstasks zeigte sich weiterhin derselbe große Unterschied.

Weitere 25 domänenspezifische Ausführungen befassten sich mit Finanzen, Karriere, Reisen, technischen Entscheidungen und alltäglichen Entscheidungen. Auch als dem Prüfer gesagt wurde, die Finanzen zu überprüfen, konnte er den gewünschten Effekt der Empfindlichkeit gegenüber negativen Auswirkungen nicht eindeutig nachweisen.

In einem Kontrollfall, bei dem beide Seiten dasselbe Modell verwendeten, zeigte nur eine von 10 Verläufen einen Unterschied. Vier kamen zu dem Schluss, dass es keinen Unterschied gab, und fünf waren noch unentschlossen, als die 10-Schritte-Budgetierung abgeschlossen war.

Bei dem manuellen Vergleich von 20 Finanzfragenpaaren gewann das feinabgestimmte Modell 5 Mal, verlor 9 Mal und erreichte in 6 Fällen ein Unentschieden, sodass sich das gewünschte Verhalten nur teilweise zeigte.

Was die Ergebnisse bedeuten

Die wichtigste Erkenntnis ist teilweise negativ. Für den Agenten war es einfach, festzustellen, dass die Feinabstimmung das Modell verändert hatte, doch er berichtete fast immer über den auffälligsten Nebeneffekt: Modell B war kürzer geworden und weniger detailliert strukturiert. Die finanzspezifischen Auswirkungen waren schwächer und weniger kohärent. Die Fähigkeit zur Beurteilung von Liquidität und Widerstandsfähigkeit verbesserte sich, während andere gezielten Verhaltensweisen dies nicht taten.

Das wirft die Frage auf, welche Rolle bei der Untersuchung von Verhaltensmodellen jenseits der Frage spielt, ob tatsächlich Unterschiede festgestellt werden können: Welcher der mehreren tatsächlichen Unterschiede bestimmt die Suche des Prüfers? Ein fein abgestimmtes Modell kann mehrere echte Veränderungen aufweisen, und ein ungebundener Prüfer neigt dazu, sich auf jene Veränderungen zu konzentrieren, die am leichtesten zu beobachten, zu beschreiben und zu überprüfen sind. Frühere Untersuchungen ergaben ebenfalls, dass fein abgestimmte Modellorganismen neben dem ursprünglichen Ziel unerwünschte Verhaltensänderungen aufweisen können. Was bestimmt also, welche Effekte einer „Black-Box“-Prüfer erkennen kann? Hier überwogen die größten und systematischsten Veränderungen auf Ausgabeebene, während die kleineren, weniger konsistenten finanziellen Veränderungen schwer in eine einzige Hypothese zusammengefasst werden konnten.

Es gibt Grenzen dessen, was dies zeigen kann. Ein einzelnes kleines Modellorganismus mit einer ungewöhnlich großen zufälligen Stiländerung kann nicht beweisen, dass differenzierende Faktoren im Allgemeinen stilistische statt semantischer Veränderungen bevorzugen. Was folgt, ist enger gefasst: Hier fand der Prüfer eine große, kohärente Veränderung im globalen Reaktionsstil weitaus leichter als die kleineren, gemischten Finanzeffekte. Eine sinnvolle Weiterverfolgung besteht darin, eine Reihe von Feinabstimmungen mit zunehmend strengerem Stilkontrollmechanismus sowie einer festgelegten Zielintervention durchzuführen, um zu prüfen, ob sich das gewünschte Verhalten leichter erkennen lässt, je mehr das konkurrierende oberflächliche Artefakt abnimmt.

Trainingskonfiguration

Sowohl Modelle starteten vom selben Qwen3.5-4B-Checkpoint ab. Die 43 Trainingsbeispiele betrafen Themen wie Vermögensallokation, Tilgung einer Hypothek gegen Investitionen, konzentrierte Arbeitgeberaktien, Kreditaufnahme, Ruhestand, Liquidität, Immobilien und Schuldenrückzahlung. Ihre Zielantworten betonten Unsicherheit, Abwärtsrisiken, Liquidität, Konzentration, negative Szenarien sowie Widerstandsfähigkeit, ohne zu einer pauschalen Risikoaversion oder Ablehnung zu neigen.

Das Training erfolgte mit 4-Bit-Quantisierung sowie einem Rank-16 LoRA-Adapter (Alpha 16, ohne Dropout) in den Attention- und MLP-Projektionsschichten über zwei Epochen. Die Einstellungen umfassten eine effektive Batch-Größe von 8, eine Lernrate von 2e-4, den Optimierer adamw_8bit mit linearem Zeitplan, eine Sequenzlänge von 1024 Token sowie ein Seed-Wert von 3407. Nur Modell B erhielt den Adapter.

Sowohl Modelle teilten sich einen Tokenisierer, ein Chat-Muster sowie Einstellungen zur Dekodierung: Sampling aktiv, Temperatur 0,7, Top-P 0,9, bis zu 256 neue Token und bis zu fünf Ausgaben pro Anfrage, wobei der Denkmodus deaktiviert war.

Der Prüfer und der Validierer

Der Prüfer der Black-Box war gpt-5.6-sol, wie in der Beschreibung angegeben. Er konnte nur Anfragen an Modelle A und B senden und deren Ausgaben lesen. Er hatte keinen Zugriff darauf, welches Modell welches war, noch auf Gewichte, Trainingsdaten, Ziele, die LoRA-Konfiguration oder das verborgene Denkverfahren. Jede Abfolge umfasste höchstens 10 Schritte, wobei er über send_messages Anfragen senden, pro Modell bis zu fünf Beispiele anfordern oder mit einer Hypothese aufhören konnte. Seine Anweisungen forderten systematische, allgemeine, interessante, angemessen abstrakte und bedingte Unterschiede, davon auszugehen, dass die Modelle identisch seien, solange die Beweise etwas anderes nahelegten, sowie nach Gegenbeispielen zu suchen.

Ein separater Validierer prüfte anschließend die Kandidatenhypothesen. Er betrachtete nur die endgültige Hypothese, erstellte neue Anfragen, versuchte, die Behauptung zu widerlegen und ihre Grenzen zu untersuchen, und gab anschließend ANERKANNT, ABGELEHNT oder UNENTSCHEIDEND zurück. Dadurch wurden die Hypothesenerstellung von der Bestätigung getrennt.

Zur Überprüfung der Stabilität wurden 50 unabhängige Trajektorien mit Hilfe des festgelegten Sammlungssets aus früheren Untersuchungen erstellt, das Schreiben, Programmieren, faktische Fragen, Brainstorming, Analyse, Mathematik, Sicherheit sowie konstruktives Handeln umfasst. Für jeden Lauf wurden das Startwert-Set, der Abschlusszustand, die Anzahl der Schritte, die endgültige Hypothese, die Erklärung sowie die vollständige Transkription gespeichert. Weitere 25 domänenspezifische Laufe wurden durchgeführt, wobei jeweils fünf für Finanzen, Karriere, Reisen, technische Entscheidungen und alltägliche Entscheidungen durchgeführt wurden; dabei wurde nur die zu untersuchende Domäne benannt, es wurde jedoch weder erwähnt, dass Finanzen die Feinabstimmungsdomäne sei, noch etwas über das Zielverhalten gesagt. Ziel war es herauszufinden, ob eine Ausrichtung der Suche auf die richtige Domäne es erleichtert, den gewünschten Effekt zu erzielen.

Die Abbildung unten zeigt das vollständige experimentelle Design.

Überprüfung, ob die Feinabstimmung tatsächlich Wirkung zeigte

Bevor das Diffing-Tool beurteilt werden konnte, musste zunächst bestätigt werden, dass die Feinabstimmung das Modell in die gewünschte Richtung bewegt hatte. Sowohl das Basismodell als auch das feinabgestimmte Modell wurden anhand von drei Prompt-Setzen bewertet.

Finanzen ID: Prompts, die in Inhalt und Form den Trainingsbeispielen ähnelten.
Finanzen OOD: Fragen zu finanziellen Entscheidungen, die in den Trainingsbeispielen nicht behandelt wurden.
Nicht-finanziell: Unverwandte Fragen, um zu prüfen, ob sich die Veränderung außerhalb des vorgesehenen Bereichs ausbreitete.

Die Überprüfung umfasste oberflächliche Merkmale, hauptsächlich die Länge der Antworten, sowie semantische Marker, die mit dem Trainingsziel verbunden waren. Der auffälligste Effekt war eine erhebliche Verkürzung der Antwortlänge.

Das betraf nicht ausschließlich den Finanzbereich. Das Modell B wurde in allen drei Gruppen kleiner, einschließlich bei Anfragen, die nichts mit dem Trainingsbereich zu tun hatten. Das war nicht das Ziel der Maßnahme. Es spiegelt höchstwahrscheinlich wider, dass alle Trainingsantworten kurz und zurückhaltend formuliert waren, obwohl eigentlich die Prioritäten der Argumentation des Modells bei unsicheren finanziellen Entscheidungen geändert werden sollten – und nicht, dass es kürzer wird. Infolgedessen wurde die Längenänderung zu einem nützlichen, unbeabsichtigten Unterschied für die Prüfexperimente.

Kurzere Ausgaben beweisen nicht, dass der gewünschte Effekt fehlgeschlagen ist. Deshalb wurde im nächsten Schritt gemessen, wie dicht verschiedene gezielte Denkmuster vorkamen: Nachteils- und Risikobetrachtungen, Liquiditätsaspekte sowie bedingtes Denken. Da die Antworten von Modell B deutlich kürzer waren, wurden die Wortzahlen pro 100 Wörtern normalisiert. Nach dieser Messgröße war die auf das Ziel bezogene Sprache in den feinabgestimmten Finanzantworten dichter vertreten. Die Rohzahlen stiegen jedoch größtenteils nicht an. Das normalisierte Ergebnis deutete somit auf eine Veränderung der relativen Betonung hin und konnte nicht zeigen, dass Modell B im absoluten Sinne mehr des gewünschten Denkens zeigte.

Der Diagramm zeigt die durchschnittliche Häufigkeit ausgewählter Ziel-Reasoning-Begriffe pro 100 Antwortwörtern bei 10 Anfragen pro Gruppe. Die normalisierten Werte steigen bei Modell B, während die Rohzahlen im Allgemeinen nicht ansteigen – daher sollte dies als Verschiebung des Schwerpunkts und nicht als Beweis für einen einheitlichen Anstieg des Ziel-Reasonings interpretiert werden.

Um zu prüfen, ob der scheinbare semantische Wandel auch bei einer weniger längenabhängigen Bewertung bestand, wurden die 20 Finanzantwortpaare mit versteckten Modellidentitäten manuell bewertet. Jede Antwort erhielt ein „Ja“ oder „Nein“ zu fünf Dimensionen, die aus dem Ziel der Intervention abgeleitet wurden:

Unsicherheit und Kontext: Weist die Antwort auf fehlende Informationen, Unsicherheiten oder Unbekannte hin, die die Entscheidung erheblich beeinflussen?
Negatives Reasoning: Berücksichtigt die Antwort ein bedeutendes negatives Ergebnis, ein Verlustszenario oder einen Fehlschlag?

Flüssigkeit: Berücksichtigt es ausdrücklich den Zugang zu Bargeld, Bindungsfristen, Notfallreserven, gezwungene Verkäufe oder ähnliche Beschränkungen?

Konditionalität: Hängt die Empfehlung von den Umständen des Nutzers oder genannten Bedingungen ab anstatt kategorisch zu sein?

Widerstandsfähigkeit: Zieht es Entscheidungen vor, die auch bei schlechteren Bedingungen akzeptabel bleiben?

Die untenstehende Tabelle zeigt das Ergebnis des blinden Vergleichs.

Der strengere Test ergab ein gemischtes Urteil. Modell B stellte die Überlegungen zu Flüssigkeit und Widerstandsfähigkeit in den Vordergrund, doch Modell A erzielte insgesamt eine höhere Punktzahl, da es Unsicherheiten und konditionales Denken konsequenter zum Ausdruck brachte. Somit handelt es sich bei der beabsichtigten Intervention nicht um einen eindeutigen, objektiven Verhaltensunterschied. Die Feinabstimmung scheint einige Zieldimensionen erhöht und andere abgesenkt zu haben; bei der Paarvergleichsanalyse erzielte das feinabgestimmte Modell 5 Siege, 9 Niederlagen und 6 Unentschieden.

Was das Vergleichsprogramm feststellte

Nachdem der globale Stilwechsel sowie die gemischten finanziellen Änderungen festgelegt worden waren, erhielt ein „blinder“ Prüfer Zugang zu beiden Modellen und die Aufgabe, systematische Verhaltensunterschiede aufzudecken. Er startete mit der Grundfrage, ob man zuerst Python oder JavaScript lernen sollte, konnte im Laufe der Arbeit neue Anfragen erstellen, bis zu fünf Beispiele pro Modell anfordern und verfügte über 10 Anfragenzyklen.

Seine endgültige Hypothese besagte, dass Modell A zu offenen Fragen bezüglich Ratschlägen, Vergleichen und Erklärungen lange, hochstrukturierte und ausführliche Antworten gibt, während Modell B deutlich kürzere und weniger strukturierte Antworten liefert; zudem schrumpft der Unterschied bei strengen Längenbeschränkungen für die Ausgaben erheblich.

Der Prüfer testete die Behauptung an unverwandten Themen wie Programmierung, Autos, wissenschaftlichen Erklärungen, Fehlerbehebung und zwischenmenschlichen Ratschlägen – das Muster hielt an. Ein anderer Validierer, der die Hypothese sah, aber nicht den Transkript der Entdeckung, reproduzierte sie bei neuen Anfragen und gab „VALIDIERT“ zurück. Beiden Modellen mitzuteilen, sie sollten in zwei oder drei Sätzen antworten, verringerte den Unterschied erheblich. Die Feinabstimmung scheint die Standardausführung geändert zu haben, während die Fähigkeit, Längenanweisungen zu befolgen, unverändert blieb.

Ein Prüfer mit mehreren Hypothesen, dem es erlaubt war, eine Erkenntnis zu dokumentieren und dann weiterzumachen, fand erneut eine abgeschwächtere Form des Effekts von Ausführlichkeit und Struktur und entwickelte keine solide, unabhängige Hypothese, die mit der Finanzintervention übereinstimmte. Der verbleibende Zweifel betraf, ob das Ergebnis vom Ausgangsanliegen abhing.

Spielt das Ausgangsanliegen eine Rolle?

Das erste Ergebnis könnte ein Artefakt seiner Ausgangsdaten gewesen sein, weshalb 50 unabhängige Berechnungsschritte durchgeführt wurden, von denen jeder mit einem anderen festen Ausgangspunkt begann – unter Verwendung von Prompts zu Themen wie Schreiben, Faktenfragen, Programmieren, Brainstorming, Analyse, Mathematik, Bearbeitung, alltäglichen Ratschlägen, Personas sowie Sicherheitstauglichkeitsprüfungen – und zwar unter demselben Protokoll mit einziger Hypothese.

Wieder einmal dominierten die Unterschiede in der Ausführlichkeit und Struktur. Viele Berechnungsschritte kamen unabhängig voneinander auf ähnliche Varianten: Modell A war länger, strukturierter und ausführlicher, Modell B kürzer und direkter. Es traten auch weitere mögliche Unterschiede auf, darunter die Einhaltung von Einschränkungen, die Kalibrierung von Fakten, Wiederholungen sowie stilistische Vielfalt, doch diese traten seltener auf und waren oft plausible Folgen desselben Shifts in Länge und Struktur.

Die ursprüngliche, validierte Erkenntnis wird als H1 bezeichnet: Modell A liefert standardmäßig längere, strukturiertere und ausführlichere Antworten, während Modell B kürzere, direktere Antworten liefert; der Unterschied verschwindet größtenteils bei strengen Längenbeschränkungen. Jeder der 50 Durchläufe wurde in eine von vier Kategorien eingeteilt:

dieselbe wie H1
mit H1 verbunden, d.h. eine Folge wie Abbruch, übermäßige Strukturierung oder Probleme mit fester Anzahl von Antwortteilen
ein unabhängiger Kandidat, der tatsächlich unterschiedlich war
keine Erkenntnis, d.h. keine unterstützte Hypothese innerhalb des Antwortbudgets

Die manuelle Überprüfung der endgültigen Hypothesen ergab folgende Zahlen: 31 von 50 wiederholten die Beobachtungen bezüglich Ausführlichkeit und Struktur direkt, 10 identifizierten eng verwandte Folgen, 5 schlugen unabhängige Kandidaten vor und 4 endeten ohne bestätigtes Ergebnis. Wenn man die ersten beiden Kategorien zusammenfasst, gehören 41 von 50 Verläufen (82 Prozent) zur gleichen dominierenden Gruppe.

Daher hing die Erkenntnis nicht von der Wahl zwischen Python oder JavaScript ab. Obwohl die Überprüfung von vielen unabhängigen Bereichen des Prompt-Raums aus startete, neigte sie dennoch zu derselben globalen Stilunterschiedlichkeit – was darauf hindeutet, dass der Wandel in der Ausführlichkeit das am leichtesten erkennbare Ergebnis der Feinabstimmung ist. Dies wirft auch die nächste Frage auf: Würde eine Ausrichtung der Überprüfung auf das Finanzwesen dazu führen, dass stattdessen eine engere semantische Intervention entdeckt wird?

Ausrichtung der Suche auf ein bestimmtes Gebiet

Falls der Prüfer stets auf den globalen Stilwechsel stieß, könnte es hilfreich sein, diesen auf einen bestimmten Bereich zu beschränken, um den beabsichtigten semantischen Effekt leichter erkennen zu können. Daher wurden weitere 25 Szenarien in fünf Bereichen durchgeführt: Finanzen, Karriere, Reisen, technische Entscheidungsfindung und alltägliche Entscheidungen, jeweils mit fünf Ausgangsanfragen. Dem Prüfer wurde mitgeteilt, welchen Bereich er untersuchen sollte. Es wurde ihm jedoch nicht mitgeteilt, welches Modell feinabgestimmt wurde, welche Trainingsdaten verwendet wurden oder welches Verhalten beabsichtigt war.

Von den 25 auf Bereiche ausgerichteten Szenarien zeigten 17 wieder denselben globalen Effekt hinsichtlich Ausführlichkeit und Struktur, und nur 2 lieferten eine Hypothese, die als teilweise mit der Finanzintervention vereinbar bezeichnet werden konnte.

Der Balkendiagramm zeigt die Ergebnisse aufgeteilt nach den fünf Domäneinstellungen. Der globale Unterschied blieb am deutlichsten. Sowohl alle fünf alltäglichen Szenarien als auch alle fünf Reiseszenarien fielen in irgendeine Kategorie dieses Unterschieds, genauso wie die meisten technischen und beruflichen Szenarien. Im Bereich Finanzen zeigten sich größere Vielfalt sowie mehrere möglicherweise unabhängige Unterschiede: erhöhte Vorsicht bei nicht unterstützten Finanzregeln, weniger spekulative Heuristiken und ein möglicher Fehler in der Entscheidungsqualität. Dennoch gelangte der Prüfer nie zu einer allgemeinen Hypothese bezüglich eines auf Nachteile ausgerichteten Finanzdenkens.

Auch innerhalb der Feinabstimmungsdomäne war der geringere semantische Effekt neben der deutlich offensichtlicheren Stiländerung schwer zu erkennen. Es reicht möglicherweise nicht aus, den Prüfer auf die richtige Domäne zu lenken, wenn ein anderer Unterschied deutlich leichter zu beobachten und zu testen ist.

Ausschluss alternativer Erklärungen

Eine zentrale Gefahr besteht darin, dass der Prüfer einfach eine zufällige Differenz zwischen den Beispielen als systematische Hypothese darstellt. Mehrere Schutzmaßnahmen begegneten diesem Problem.

Entdeckung und Überprüfung wurden voneinander getrennt. Der Überprüfer sah nur die endgültige Hypothese und erstellte neue Anfragen, um sie zu bestätigen oder zu widerlegen.
Es wurde eine Randbedingung getestet. Der Unterschied in der Ausführlichkeit verschwand größtenteils, als beide Modelle strengen Einschränkungen bezüglich kurzer Antworten unterlagen; daher betrifft der Effekt die Standardausführlichkeit und nicht eine Unfähigkeit, Anweisungen zu befolgen.
Sekundäre Erkenntnisse wurden manuell überprüft, anstatt sie allein aufgrund ihrer Unterschiedlichkeit als unabhängig zu betrachten. Unterschiede in der faktischen Kalibrierung, Formatierung oder Einhaltung von Einschränkungen wurden konservativ eingestuft, sofern sie plausibel von den viel längeren, strukturierteren Antworten von Modell A stammen konnten.

Die normalisierten Finanzmetriken schienen einen klaren Trend in Richtung des gewünschten Verhaltens aufzuweisen, doch die deutlich kürzeren Antworten von Modell B führten zu Verzerrungen durch den Nenner. Deshalb wurden die Rohzahlen untersucht, anschließend erfolgte eine blinde manuelle Bewertung der 20 Finanzpaare. Das Ergebnis, bereits zuvor erwähnt, war gemischt; somit scheint die Feinabstimmung einige Zieldimensionen gestärkt zu haben, während andere beeinträchtigt wurden.

Der Kontrollversuch mit identischen Modellen

Dasselbe Protokoll wurde anschließend in einem Kontrollversuch angewandt, bei dem Modell A und Modell B separate Beispiele aus einem unveränderten Basismodell waren. Dem Prüfer wurde nicht mitgeteilt, dass die Modelle identisch waren, und er erhielt dieselben Anweisungen bezüglich der 10 Antwortschritte sowie der Hypothesen wie im Hauptversuch.

Von 10 Kontrollverläufen kamen 4 eindeutig zu dem Schluss, dass kein Unterschied festgestellt wurde, 5 verbrauchten das vorgegebene Budget für Wendungen, ohne sich für eine Hypothese zu entscheiden, und 1 berichtete über einen falschen Unterschied in der Qualität der japanischen Übersetzung, wobei zufällige Schwankungen zwischen den Proben als systematischer Unterschied zwischen A und B interpretiert wurden.

Also behaupteten 9 von 10 Durchläufen mit identischem Modell, es gebe keinen systematischen Unterschied, im Gegensatz zu 41 von 50 Durchläufen mit Basismodell gegenüber LoRA, bei denen das dominierende Ergebnis bezüglich der Ausführlichkeit oder ein ähnliches Phänomen festgestellt wurde. Die Kontrollprobe ist klein, wodurch keine gut kalibrierte Falschpositivrate ermittelt werden kann. Dies spricht jedoch gegen die einfachere Erklärung, dass ein Prüfer, dem eine adaptive Suche gestattet wird, stets einen Unterschied erfinden wird.

Diskussion

Das Modellvergleichen umfasst mehr als nur die Erkennung, dass zwei Modelle unterschiedlich sind – hier zeigt sich außerdem, dass es davon abhängt, welche Unterschiede der Prüfer verfolgen möchte. Die Feinabstimmung führte zu einem enormen globalen Wandel im Antwortstil sowie zu einer kleineren, gemischten Gruppe von Veränderungen im finanziellen Denken. Immer wieder stieß der Prüfer auf den ersten Typ von Veränderungen, unabhängig vom Ausgangsimpuls, selbst dann, wenn seine Suche auf das Finanzwesen beschränkt war.

Eine einfache Erklärung ist, dass der globale Stilwandel einfach leichter zu erkennen, in Worte zu fassen und zu testen war. Die Auswirkungen auf das Finanzwesen waren zudem geringer und weniger kohärent – einige spezifische Aspekte verbesserten sich, während andere zurückgingen. Nachdem der Prüfer die stark systematische Unterschiedlichkeit in der Ausführlichkeit festgestellt hatte, hatte er kaum noch Grund, nach subtileren, weniger konsistenten Alternativen zu suchen.

Das wirft eine wichtige Frage auf: Wenn ein verhaltensmäßiger Unterschied äußerst offensichtlich ist, wie beeinflusst das die Erkennbarkeit subtilerer Unterschiede? Die Belege zeigen weder, dass die unterscheidenden Faktoren im Allgemeinen stilistische Veränderungen bevorzugen, noch dass der Finanzeffekt von vornherein schwer zu erkennen war. Es zeigt vielmehr, dass bei diesem Modellorganismus ein großer und kohärenter Wandel im Gesamtstil einen kleineren, stärker verstreuten Satz an Finanzveränderungen übertraf. Der Prüfer musste nicht zwischen einem starken beabsichtigten Effekt und einem starken unbeabsichtigten Effekt wählen, da das Paar einen einzigen auffälligen Gesamtwandel sowie einige schwächere, verstreute Effekte bot.