Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : llama-cpp
TensorFold contre llama.cpp sur un Mac Studio M5 Ultra : un débit 1,84 fois supérieur pour du travail JSON réel
J’ai comparé TensorFold 1.2.0 avec llama.cpp sur un Mac Studio M5 Ultra équipé de Qwen3.8-27B, en effectuant 80 requêtes JSON réelles : un débit 1,84 fois supérieur avec 8 tâches simultanées.
9 min de lectureLe Hy-MT2-7B sur cinq environnements locaux : lequel convient pour la traduction sur un Mac ?
Le Hy-MT2-7B a été testé en charge sur llama.cpp, LM Studio, mlx-lm, Ollama et MLX-Serve sur deux ordinateurs Mac Studio M5 Ultra : débit, échelle, déterminisme, mémoire.
9 min de lectureDeepSeek Harness (dsh) : l’environnement d’exécution d’agents ouvert qui réécrit sa propre configuration.
Ce qu’est DeepSeek Harness, pourquoi son agent d’édition automatique se distingue, comment la communauté a réagi, et à quoi se préparer avant de l’utiliser avec des modèles locaux.
6 min de lectureExécuter Kimi K3 et d’autres grands modèles localement à l’aide de cinq dépôts open source.
Cinq dépôts open source qui permettent d’exécuter des modèles de grande envergure sur un ordinateur portable ou une seule carte GPU, en utilisant le streaming disque, le cache avancé et le transfert hors processeur, avec leurs vraies valeurs de vitesse.
6 min de lectureExécuter un modèle de codage local avec llama.cpp : quantification, fenêtre de contexte et VS Code
Remplacer les reçus de jetons mesurés par un modèle local du MoE : choisir une quantification, définir la taille de la fenêtre de contexte, ajuster llama-server pour des GPU CUDA de petite taille, puis connecter Cline.
8 min de lectureStation de travail locale pour LLM : de 20 à 60 tokens par seconde avec deux GPU
Une boîte Xeon d’occasion équipée de deux cartes RTX 5060 Ti, Qwen 27B, parallélisme tensoriel et NCCL : règles matérielles, gains réels de vitesse, ainsi qu’un calcul du point d’équilibre par rapport aux prix des API.
9 min de lecturePourquoi Ollama cesse d’être suffisant et quoi utiliser à la place
Ollama est un wrapper autour de llama.cpp. Découvrez où se situent ses limites en termes de charge, de formats de modèles et de GPU AMD, ainsi que les cas où llama.cpp, LM Studio ou vLLM conviennent mieux.
7 min de lectureDoubler la vitesse de décodage de Qwen3.8-Flash-Next avec MTP sur les GPU RTX
Apprenez à créer une branche de llama.cpp avec le décodage spéculatif MTP et les bons paramètres pour doubler approximativement la vitesse de Qwen3.8-Flash-Next sur des systèmes RTX multi-GPU.
5 min de lectureQwen3.8-Flash-Next : un modèle de 177 milliards de paramètres qui fonctionne sur une seule carte graphique de 24 Go.
Comment Qwen3.8-Flash-Next permet d’adapter un modèle de type mixture-of-experts de 177 milliards de paramètres à du matériel modeste disposant de 6 milliards de paramètres actifs, d’une table d’n-grammes et d’une attention hybride, ainsi que des écarts observés dans ses tests de référence.
9 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.