Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : deep-learning
Superposition dans les réseaux neuronaux : modèles simplifiés, SAE et fusion de caractéristiques
Comment les réseaux stockent plus de caractéristiques que de dimensions, quels sont les coûts d’interférence, et pourquoi les autoencodeurs sparses peuvent fusionner des caractéristiques que les données ne peuvent pas séparer.
19 min de lectureComment fonctionnent les Transformers, des goulets d’étranglement des RNN à l’attention, aux agents et aux fenêtres de contexte
Une visite pas à pas du transformateur : pourquoi les RNN ont stagné, comment fonctionnent les tokens et les embeddings, l’attention, QKV, les têtes de sortie, les positions, la structure en blocs, l’échelle et les agents.
40 min de lectureComment l’IA lit et reconstruit une photo : la science derrière les portraits des années 1980
Comment les modèles de vision transforment les pixels en embeddings et comment l’IA générative les utilise pour redessiner une photo à la manière d’un film des années 1980, avec des limites en termes de précision, d’identité et de détection.
9 min de lectureComment un modèle Transformer lit « Le chat était assis sur le tapis », étape par étape
Suivre une phrase à travers une couche de transformateur : tokens, embeddings, positions, attention auto, connexions résiduelles, normalisation et le réseau feed-forward.
6 min de lecturePourquoi les Transformers utilisent le sinus et le cosinus pour l’encodage positionnel
Une explication pas à pas de l’encodage positionnel sinusoïdal, de la raison pour laquelle l’attention ignore l’ordre des mots aux horloges à différentes vitesses, un exemple concret en 12 dimensions ainsi que la rotation.
8 min de lectureExplication des connexions résiduelles : pourquoi les transformateurs profonds peuvent être entraînés
Pourquoi l’empilement de couches perturbe l’entraînement, comment les connexions sautées x + F(x) corrigent le flux des gradients, comment les blocs Pre-LayerNorm les utilisent, ainsi qu’une brève implémentation en PyTorch.
4 min de lectureConstruire un Transformer à partir de zéro en PyTorch : attention, encodeur et décodeur.
Code étape par étape en PyTorch pour les composants principaux du Transformer : encodage positionnel, attention à produit scalaire et attention multi-têtes, couches feed-forward, pile d’encodeurs et bases du décodeur.
8 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.