Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : Machine Learning
Jev : Comment un modèle d’IA non générative transforme le texte en décisions
Découvrez comment fonctionne le modèle d’IA numérique « System One » de Jev, pourquoi il est plus rapide et moins cher que les LLM, ainsi que sa place parmi les technologies d’IA générative dans les systèmes de production.
7 min de lectureComment les modèles multimodaux relient texte, images et audio dans une seule demande
Comprendre ce qu’est une modalité, comment les modèles multimodaux transforment du texte, des images et de l’audio en une représentation commune, où cela est utile, et où les réponses visuelles continuent de se tromper.
5 min de lectureAmélioration récursive des agents d’IA : ce que montrent réellement les expériences
Un examen attentif des machines de Gödel, STOP, de l’agent de Gödel, de SICA, de la machine de Gödel darwinienne, de SEAL et des hyperagents, ainsi que des critères permettant de déterminer si un agent auto-modifiant améliore réellement les choses.
9 min de lectureFormer votre propre juge LLL : de PandaLM et JudgeLM à Prometheus
Comment sont construits les modèles d’évaluation finement ajustés, des données et des grilles d’évaluation au contrôle des biais et à la méta-évaluation, ainsi qu’une méthode pratique pour former un juge LLM spécialisé dans un domaine.
39 min de lectureLes lois de scalage des LLM, GPT-4o et l’apprentissage par renforcement : ce que prédisent les courbes.
Comment lire les lois de scalage des LLM, ce que Kaplan et Chinchilla ont découvert, comment les laboratoires les ont utilisées de GPT-3 à GPT-4o, et pourquoi l’apprentissage par renforcement ajoute une nouvelle dimension de calcul.
30 min de lectureDe GPT-1 aux modèles de raisonnement : ce que chaque génération a changé pour les développeurs
Suivez l’évolution de la famille GPT, du pré-entraînement de 2018 aux modèles de raisonnement, découvrez quelles idées chaque génération a apportées, et découvrez GPT-4o Vision ainsi que Structured Outputs from Python.
10 min de lectureTokeniseur BPE de zéro : séquences plus courtes pour une fenêtre de contexte GPT réduite
Écrivez un tokeniseur d’encodage par paires de bytes en Python, entraînez-le sur WikiText-2, enregistrez les résultats sous forme de JSON, et observez comment la tokenisation submots élargit la fenêtre de contexte d’un GPT.
26 min de lectureExplication de la profondeur récurrente : les transformateurs en boucle et le raisonnement caché
Comment les transformateurs à profondeur récurrente (en boucle) raisonnent à partir de l’état caché, pourquoi les laboratoires les souhaitent, ce que huit ans de publications montrent, et quelles en sont les implications pour l’IA locale et la supervision.
12 min de lectureDébogage d’un petit GPT dans PyTorch : tests permettant d’isoler chaque défaillance.
Un flux de travail étape par étape pour déboguer un GPT au niveau des caractères dans PyTorch, allant des IDs de tokens et du décalage cible aux gradients, aux pertes NaN et aux points de contrôle.
30 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.