Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : PyTorch
Entraînement d’un petit GPT sur des contes populaires indiens : tokeniseur, masque et perte.
Un GPT à 9 millions de paramètres créé de zéro : pourquoi le tokeniseur de GPT-2 échoue avec les mots des contes populaires, comment fonctionnent le BPE et la masque causale, et comment un seul lot génère 4 096 pertes de token suivant.
16 min de lectureDe la prédiction du token suivant à l’exécution d’instructions : affinage d’un modèle GPT
Comment un GPT préentraîné apprend à suivre des instructions : le formatage des enregistrements, le décalage des étiquettes, les masques de remplissage, le cycle d’entraînement, les limites d’évaluation et l’avancée vers les préférences DPO.
9 min de lectureExplication des connexions résiduelles : pourquoi les transformateurs profonds peuvent être entraînés
Pourquoi l’empilement de couches perturbe l’entraînement, comment les connexions sautées x + F(x) corrigent le flux des gradients, comment les blocs Pre-LayerNorm les utilisent, ainsi qu’une brève implémentation en PyTorch.
4 min de lectureConstruire un Transformer à partir de zéro en PyTorch : attention, encodeur et décodeur.
Code étape par étape en PyTorch pour les composants principaux du Transformer : encodage positionnel, attention à produit scalaire et attention multi-têtes, couches feed-forward, pile d’encodeurs et bases du décodeur.
8 min de lectureComment fonctionnent les couches d’incorporation : du texte aux IDs de tokens puis aux vecteurs dans un LLM
Une introduction adaptée aux débutants sur les couches d’incorporation : tokenisation, tables de recherche, vecteurs appris, l’exemple des 205 millions de paramètres, ainsi qu’une courte démonstration avec PyTorch et nn.Embedding.
5 min de lectureTokeniseur BPE de zéro : séquences plus courtes pour une fenêtre de contexte GPT réduite
Écrivez un tokeniseur d’encodage par paires de bytes en Python, entraînez-le sur WikiText-2, enregistrez les résultats sous forme de JSON, et observez comment la tokenisation submots élargit la fenêtre de contexte d’un GPT.
26 min de lectureDébogage d’un petit GPT dans PyTorch : tests permettant d’isoler chaque défaillance.
Un flux de travail étape par étape pour déboguer un GPT au niveau des caractères dans PyTorch, allant des IDs de tokens et du décalage cible aux gradients, aux pertes NaN et aux points de contrôle.
30 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.