Notes d’ingénierie
Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : Mixture of Experts
Fonctionne avec Qwen3.8-Flash-Next sur des RTX 3090 grâce au chargement délégué des tenseurs de llama.cpp
Pourquoi un modèle de type « mixture of experts » de 88 Go avec 180 milliards de paramètres comme Qwen3.8-Flash-Next tient sur des cartes RTX 3090, et comment llama.cpp -ot, -ncmoe et mmap répartissent la VRAM, la RAM et NVMe.
12 min de lecturePourquoi un téléchargement du modèle de 17 Go ne signifie pas 17 Go de mémoire pour le faire fonctionner
Découvrez comment les paramètres actifs, le nombre total de paramètres, la croissance du cache KV et l’effort de raisonnement déterminent le coût réel en mémoire et en calcul pour exécuter un modèle de langage localement.
12 min de lecture
FAQ
À propos de ces articles
Oui. Chaque texte est un rewrite anglais original pour ce site. Structure et code suivent la source ; la prose est réécrite et contrôlée.
L’anglais est la source. Une autre langue n’apparaît que si ce corps traduit existe. Une traduction absente reste en anglais, y compris sur une adresse localisée.
Les brouillons entrent en file après relecture. L’import ne prend que les slugs nouveaux ou modifiés — sans doublons.
Exemples illustratifs. Validez stack et licences avant la prod. Pour une livraison, envoyez le brief.
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.