Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : GPU
Pourquoi deux cartes RTX 3090 atteignent-elles 55 tok/s au lieu de 220 avec SGLang et DFlash2 ?
Une présentation pratique de l’exécution de Qwen3.8-27B sur deux cartes 3090 à l’aide de SGLang, ainsi que de la manière dont les liaisons PCIe x4, l’absence de fonction P2P, un cache KV trop restreint et des pics d’énergie ont limité la vitesse annoncée.
7 min de lectureExplication des paramètres de vLLM Serve, avec des valeurs de départ raisonnables.
Une présentation pratique des paramètres de vLLM Serve que vous pourrez réellement ajuster : dtype, utilisation mémoire, longueur du contexte, parallélisme, clés API et quantification, accompagnée de valeurs par défaut à essayer.
4 min de lectureStation de travail locale pour LLM : de 20 à 60 tokens par seconde avec deux GPU
Une boîte Xeon d’occasion équipée de deux cartes RTX 5060 Ti, Qwen 27B, parallélisme tensoriel et NCCL : règles matérielles, gains réels de vitesse, ainsi qu’un calcul du point d’équilibre par rapport aux prix des API.
9 min de lectureFlashAttention et PagedAttention : deux solutions pour deux goulets d’étranglement différents
Découvrez comment FlashAttention accélère les calculs d’attention grâce au tiling et au softmax en ligne, comment PagedAttention gère la mémoire de cache KV, et pourquoi les architectures de type vLLM utilisent les deux.
7 min de lectureCerebras Wafer vs GPU pour l’inférence des LLM : une étude de cas GPT-OSS
Comparez le moteur à échelle de wafer de Cerebras avec l’inférence GPU utilisant GPT-OSS-120B sur cinq charges de travail, puis observez comment Ultrafast accélère GPT-5.6 Sol via l’API.
4 min de lectureExécuter des modèles de codage locaux sur une RTX 3060 de 12 GB avec un planificateur de modèles
Comment choisir des modèles compatibles avec une GPU de 12 GB et pourquoi passer d’un backend GGUF à un backend SafeTensors derrière une même interface compatible OpenAI se transforme en un problème de planification.
5 min de lectureQwen3.8-27B sur une RTX 3090 : 262 000 tokens de contexte à une vitesse de 65-80 tokens par seconde.
Une recette pour exécuter un modèle dense de 27 milliards de paramètres avec contexte complet sur une seule carte GPU de 24 Go : une version adaptée de llama.cpp, un quantifié de 14,5 Go, un cache Turbo3 et le mode de préparation MTP.
8 min de lectureQwen3.8-27B sur une RTX 5090 : benchmarks vLLM, contrôle des ventilateurs LACT et concurrence
Servir Qwen3.8-27B depuis une RTX 5090 sans interface avec vLLM : configuration GPU Docker, Prometheus et Grafana, correction des problèmes thermiques avec LACT, ainsi que détermination du point où le débit est saturé sous charge.
11 min de lectureLa mémoire KV est la base de données invisible qui consomme la mémoire GPU lors du décodage des LLM.
Le cache KV consomme discrètement la mémoire GPU pendant l’inférence des LLM : préremplissage contre décodage, calculs KV, GQA et MQA, PagedAttention, politiques de quantification et d’éviction.
9 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.