Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : Tokenization
Copie réussie en solitaire, échec en groupe : fragilité contextuelle chez les tokens qui passent un test de copie isolé.
Évaluation de huit modèles à poids ouvert afin d’identifier des tokens qui copient correctement seuls mais qui sont ignorés ou modifiés dans un contexte, avec des vérifications concernant la géométrie des embeddings, la préservation de la tâche et l’utilisation des outils.
32 min de lectureDe la prédiction du token suivant au code fonctionnel : comment les LLM génèrent du Python
Les tokens, le softmax, la température, les couches d’auto-attention et les couches feed-forward sont expliqués dans l’ordre, avec un exemple de tri étape par étape ainsi que les limites inhérentes aux prédictions.
9 min de lectureTokens fragiles et substitution silencieuse : une explication géométrique de certaines hallucinations
Certaines hallucinations proviennent de tokens endommagés ou fragiles qui sont remplacés par des éléments voisins avant le début du raisonnement. Exemples, taux par modèle et un test simple.
7 min de lectureDe l’instruction au token : comment un LLM transforme le texte en nombres et inversement
Suivez une courte instruction à travers la tokenisation, les embeddings, l’attention, les couches feed-forward, le softmax et l’échantillonnage pour voir comment un modèle choisit réellement chaque mot suivant.
7 min de lectureLa tokenisation est une décision de conception de système, et non une étape de prétraitement.
Comment le BPE au niveau des octets construit le vocabulaire que voit votre LLM, pourquoi les comptages de tokens diffèrent d’une langue à l’autre, quels problèmes cela provoque, et ce qu’il faut mesurer avant de blâmer le modèle.
9 min de lecturePourquoi les langues indiennes génèrent plus de tokens dans les LLM et comment les tokeniseurs sont corrigés.
La même phrase nécessite 5 tokens en anglais et 34 en tamoul. Voir comment les données d’entraînement BPE en sont la cause, quels ajustements de rééquilibrage et quelles modifications de taille du vocabulaire interviennent, ainsi que le fonctionnement de l’expansion du vocabulaire.
8 min de lectureComment fonctionnent les couches d’incorporation : du texte aux IDs de tokens puis aux vecteurs dans un LLM
Une introduction adaptée aux débutants sur les couches d’incorporation : tokenisation, tables de recherche, vecteurs appris, l’exemple des 205 millions de paramètres, ainsi qu’une courte démonstration avec PyTorch et nn.Embedding.
5 min de lectureEntraîner un petit LLM à partir de zéro sur un ordinateur portable avec 8 GB de RAM
Comment mettre en place un pipeline de données propre pour entraîner un modèle transformer sur du matériel modeste : tokeniseur BPE, TinyStories, tokens stockés sur disque et regroupement des tokens suivants.
5 min de lectureBudgets de tokens contre limites sémantiques : comment effectuer correctement la segmentation des chunks dans RAG
Apprenez en quoi la tokenisation et le chunking diffèrent, quelle est leur place dans un pipeline RAG, ainsi que comment diviser les documents selon leur sens tout en mesurant leur taille à l’aide du tokeniseur réel.
11 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.