Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: interpretability
Überlagerung in neuronalen Netzwerken: Spielmodelle, SAEs und Merkmalsfusion
Wie Netzwerke mehr Merkmale als Dimensionen speichern, welche Störungskosten entstehen und warum spärliche Autoencoder Merkmale verschmelzen können, die die Daten nicht trennen können.
19 Min. LesezeitWas ein Modell-Differenzierungs-Agent herausfindet: Stiländerungen überlagern eine feine Anpassung.
Ein Modell-Differenzierungs-Agent überprüfte eine Finanz-LoRA-Feinabstimmung: 82 Prozent der Durchläufe erkannten die Änderung in Länge und Struktur, während die beabsichtigte Veränderung im Denkprozess verborgen blieb.
15 Min. LesezeitAllein kopieren, im Kontext versagen: Kontextuelle Fragilität bei Token, die einen isolierten Kopiervortest bestehen.
Überprüfung von acht Modellen mit offener Gewichtung auf Token, die allein korrekt kopieren, aber im Kontext weggelassen oder verändert werden, wobei auf die Geometrie der Embeddings, die Aufgabenerhaltung und die Nutzung von Werkzeugen geprüft wird.
32 Min. LesezeitZerbrechliche Token und stille Substitution: Eine geometrische Erklärung einiger Halluzinationen
Einige Halluzinationen entstehen durch beschädigte oder zerbrechliche Token, die vor Beginn der Berechnung durch nahegelegene Token ersetzt werden. Beispiele, modellbezogene Raten sowie ein einfacher Test.
7 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.