Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : Qwen
TensorFold contre llama.cpp sur un Mac Studio M5 Ultra : un débit 1,84 fois supérieur pour du travail JSON réel
J’ai comparé TensorFold 1.2.0 avec llama.cpp sur un Mac Studio M5 Ultra équipé de Qwen3.8-27B, en effectuant 80 requêtes JSON réelles : un débit 1,84 fois supérieur avec 8 tâches simultanées.
9 min de lecturePourquoi deux cartes RTX 3090 atteignent-elles 55 tok/s au lieu de 220 avec SGLang et DFlash2 ?
Une présentation pratique de l’exécution de Qwen3.8-27B sur deux cartes 3090 à l’aide de SGLang, ainsi que de la manière dont les liaisons PCIe x4, l’absence de fonction P2P, un cache KV trop restreint et des pics d’énergie ont limité la vitesse annoncée.
7 min de lectureToolCallingAgent contre CodeAgent sur les modèles locaux Qwen2.5 de 14 milliards de paramètres.
ToolCallingAgent contre CodeAgent dans smolagents sur un Mac M4 : vitesse et précision de routage avec les modèles locaux Qwen2.5 14B instruct et coder à plusieurs températures.
4 min de lectureComment l’ablation des LLM élimine les refus en modifiant les poids, et non en entraînant
Une explication technique de l’ablation : détermination de la direction du rejet à l’aide de la méthode des différences de moyennes, automatisation avec Heretic, exécution locale de Qwen3-4B, et impacts sur la sécurité.
8 min de lectureAgents-A1 : un modèle de 35B conçu pour des tâches d’agents à long horizon.
Agents-A1 est un fine-tuning de 35B qui ajuste l’horizon d’action des agents, et non leurs paramètres. Voir ses résultats sur SEAL-0, IFBench et BrowseComp, ainsi que où obtenir les versions GGUF.
5 min de lectureDoubler la vitesse de décodage de Qwen3.8-Flash-Next avec MTP sur les GPU RTX
Apprenez à créer une branche de llama.cpp avec le décodage spéculatif MTP et les bons paramètres pour doubler approximativement la vitesse de Qwen3.8-Flash-Next sur des systèmes RTX multi-GPU.
5 min de lectureDéplacer le cache KV entre les modèles Qwen3 au lieu de le recharger
La recherche de NVIDIA traduit l’état d’attention de Qwen3-14B en celui de Qwen3-32B à l’aide d’un pont de régression en crête. Découvrez ce que signifient les valeurs de latence, où cela échoue, et pourquoi les agents s’en soucient.
8 min de lectureQwen3.8-Flash-Next : un modèle de 177 milliards de paramètres qui fonctionne sur une seule carte graphique de 24 Go.
Comment Qwen3.8-Flash-Next permet d’adapter un modèle de type mixture-of-experts de 177 milliards de paramètres à du matériel modeste disposant de 6 milliards de paramètres actifs, d’une table d’n-grammes et d’une attention hybride, ainsi que des écarts observés dans ses tests de référence.
9 min de lectureOrnith-1.0-35B : Qualité MoE d’un modèle dense de 27 B sur un MacBook
Comment un modèle de type mixture-of-experts de 35 B avec 3 B de paramètres actifs se compare à Qwen3.6, ce dont il a besoin pour fonctionner sous llama.cpp, et où il excelle ou accuse un retard.
4 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.