Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : sglang
Pourquoi deux cartes RTX 3090 atteignent-elles 55 tok/s au lieu de 220 avec SGLang et DFlash2 ?
Une présentation pratique de l’exécution de Qwen3.8-27B sur deux cartes 3090 à l’aide de SGLang, ainsi que de la manière dont les liaisons PCIe x4, l’absence de fonction P2P, un cache KV trop restreint et des pics d’énergie ont limité la vitesse annoncée.
7 min de lectureGrouper les données de manière continue et préremplir par blocs dans vLLM et SGLang
Les lots statiques de LLM gaspillent les GPU en raison du remplissage inutile. Un planification au niveau des itérations et un préremplissage par blocs permettent de maintenir des flux de décodage fluides tout en assurant que les nouveaux prompts progressent également.
5 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.