Des articles pour ceux qui
livrent le stack
Textes originaux sur React, Node.js, TypeScript et AI — issus de la même pratique que notre logiciel opérateur. Corps des articles en anglais.
Tag : interpretability
Superposition dans les réseaux neuronaux : modèles simplifiés, SAE et fusion de caractéristiques
Comment les réseaux stockent plus de caractéristiques que de dimensions, quels sont les coûts d’interférence, et pourquoi les autoencodeurs sparses peuvent fusionner des caractéristiques que les données ne peuvent pas séparer.
19 min de lectureCe qu’un agent de différenciation de modèles découvre : les changements de style éclipsent un affinage restreint.
Un agent de différenciation de modèles a audité un affinage LoRA en finance : 82 % des exécutions ont détecté le changement de longueur et de structure, tandis que la modification de raisonnement prévue est restée cachée.
15 min de lectureCopie réussie en solitaire, échec en groupe : fragilité contextuelle chez les tokens qui passent un test de copie isolé.
Évaluation de huit modèles à poids ouvert afin d’identifier des tokens qui copient correctement seuls mais qui sont ignorés ou modifiés dans un contexte, avec des vérifications concernant la géométrie des embeddings, la préservation de la tâche et l’utilisation des outils.
32 min de lectureTokens fragiles et substitution silencieuse : une explication géométrique de certaines hallucinations
Certaines hallucinations proviennent de tokens endommagés ou fragiles qui sont remplacés par des éléments voisins avant le début du raisonnement. Exemples, taux par modèle et un test simple.
7 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.