Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : Inference
À l’intérieur d’un LLM : inférence en Python pur pour Qwen3-0.6B sur MLX
Construction étape par étape de l’inférence des LLM en environ 200 lignes de Python avec MLX : tokeniseur, RMSNorm, RoPE, attention aux requêtes groupées, SwiGLU, cache KV et échantillonnage.
13 min de lectureExécuter Kimi K3 et d’autres grands modèles localement à l’aide de cinq dépôts open source.
Cinq dépôts open source qui permettent d’exécuter des modèles de grande envergure sur un ordinateur portable ou une seule carte GPU, en utilisant le streaming disque, le cache avancé et le transfert hors processeur, avec leurs vraies valeurs de vitesse.
6 min de lectureExplication des paramètres de vLLM Serve, avec des valeurs de départ raisonnables.
Une présentation pratique des paramètres de vLLM Serve que vous pourrez réellement ajuster : dtype, utilisation mémoire, longueur du contexte, parallélisme, clés API et quantification, accompagnée de valeurs par défaut à essayer.
4 min de lectureInférence au-delà du texte : Ajustement des VLM, des embeddings, de la parole, de l’image et de la vidéo
Chaque modalité présente ses propres goulots d’étranglement. Découvrez comment ajuster les VLM, les embedders, l’ASR, le TTS, ainsi que les générateurs d’images et de vidéos en utilisant la bonne gestion par lots, des noyaux adaptés, du cache et de la quantification.
11 min de lectureLa mémoire KV est la base de données invisible qui consomme la mémoire GPU lors du décodage des LLM.
Le cache KV consomme discrètement la mémoire GPU pendant l’inférence des LLM : préremplissage contre décodage, calculs KV, GQA et MQA, PagedAttention, politiques de quantification et d’éviction.
9 min de lectureDéploiement pratique des LLM : Ollama, vLLM et TGI
La couche de déploiement qui transforme les fichiers de modèle en API LLM : Ollama pour un usage local, vLLM et Hugging Face TGI pour les GPU, ainsi que ce que les transformateurs classiques manquent.
5 min de lecturellama.cpp contre vLLM contre Ollama : Choisissez le moteur local en fonction du goulot d’étranglement
llama.cpp, Ollama ou vLLM pour un LLM local ? Associez le moteur au goulot d’étranglement : portabilité du ordinateur portable, compatibilité DX, ou performance GPU multi-utilisateurs sous charge.
5 min de lectureOllama sur IBM Z et LinuxONE : modèles de langage locaux à l’intérieur de la zone de confiance
Le portage d’Ollama sur IBM Z et LinuxONE reposait sur un chargement des poids en mode endian-safe, permettant ainsi à un LLM local de traiter des données réglementées sans qu’elles quittent la zone de confiance.
6 min de lectureInférence de LLM du début à la fin : préremplissage, décodification, cache KV et échantillonnage
Une présentation adaptée à un tableau blanc sur le tokeniseur dans le streaming : pourquoi le préremplissage est limité par les capacités de calcul, la décodification par la bande passante, et comment GQA, le pagination et la spéculation modifient les coûts.
40 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.