Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : transformers
Entraînement d’un petit GPT sur des contes populaires indiens : tokeniseur, masque et perte.
Un GPT à 9 millions de paramètres créé de zéro : pourquoi le tokeniseur de GPT-2 échoue avec les mots des contes populaires, comment fonctionnent le BPE et la masque causale, et comment un seul lot génère 4 096 pertes de token suivant.
16 min de lectureComment fonctionnent les Transformers, des goulets d’étranglement des RNN à l’attention, aux agents et aux fenêtres de contexte
Une visite pas à pas du transformateur : pourquoi les RNN ont stagné, comment fonctionnent les tokens et les embeddings, l’attention, QKV, les têtes de sortie, les positions, la structure en blocs, l’échelle et les agents.
40 min de lectureDe la prédiction du token suivant au code fonctionnel : comment les LLM génèrent du Python
Les tokens, le softmax, la température, les couches d’auto-attention et les couches feed-forward sont expliqués dans l’ordre, avec un exemple de tri étape par étape ainsi que les limites inhérentes aux prédictions.
9 min de lectureDe la prédiction du token suivant à l’exécution d’instructions : affinage d’un modèle GPT
Comment un GPT préentraîné apprend à suivre des instructions : le formatage des enregistrements, le décalage des étiquettes, les masques de remplissage, le cycle d’entraînement, les limites d’évaluation et l’avancée vers les préférences DPO.
9 min de lectureÀ l’intérieur d’un LLM : inférence en Python pur pour Qwen3-0.6B sur MLX
Construction étape par étape de l’inférence des LLM en environ 200 lignes de Python avec MLX : tokeniseur, RMSNorm, RoPE, attention aux requêtes groupées, SwiGLU, cache KV et échantillonnage.
13 min de lectureLoRA et QLoRA expliqués : affinement d’un modèle de 7 milliards de paramètres sans 100 Go de VRAM
Pourquoi un ajustement fin complet nécessite de 80 à 100 Go, comment les adaptateurs à rang faible réduisent les poids entraînables à 1,6 %, comment choisir le rang et les couches cibles, et qu’ajoute QLoRA.
5 min de lectureCe que signifie réellement GPT et pourquoi l’ingénierie de l’intelligence artificielle reste une ingénierie.
Découvrez le Generative Pre-trained Transformer, l’attention, l’ajustement et la prédiction, et comprenez pourquoi un bon travail en intelligence artificielle dépend encore du jugement d’ingénieur et de questions plus pertinentes.
4 min de lectureDes règles aux transformateurs : comment l’NLP a appris à gérer le contexte
Une brève histoire du traitement du langage naturel : systèmes basés sur des règles, N-grams, modèles de Markov, vecteurs de mots, RNN, mécanismes d’attention, Transformers et les grands modèles de langage qui en découlent.
7 min de lecturePourquoi les Transformers utilisent le sinus et le cosinus pour l’encodage positionnel
Une explication pas à pas de l’encodage positionnel sinusoïdal, de la raison pour laquelle l’attention ignore l’ordre des mots aux horloges à différentes vitesses, un exemple concret en 12 dimensions ainsi que la rotation.
8 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.