Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : vLLM
Explication des paramètres de vLLM Serve, avec des valeurs de départ raisonnables.
Une présentation pratique des paramètres de vLLM Serve que vous pourrez réellement ajuster : dtype, utilisation mémoire, longueur du contexte, parallélisme, clés API et quantification, accompagnée de valeurs par défaut à essayer.
4 min de lecturePourquoi Ollama cesse d’être suffisant et quoi utiliser à la place
Ollama est un wrapper autour de llama.cpp. Découvrez où se situent ses limites en termes de charge, de formats de modèles et de GPU AMD, ainsi que les cas où llama.cpp, LM Studio ou vLLM conviennent mieux.
7 min de lectureFlashAttention et PagedAttention : deux solutions pour deux goulets d’étranglement différents
Découvrez comment FlashAttention accélère les calculs d’attention grâce au tiling et au softmax en ligne, comment PagedAttention gère la mémoire de cache KV, et pourquoi les architectures de type vLLM utilisent les deux.
7 min de lectureLorsqu’un modèle ne termine jamais : des échecs silencieux cachés derrière les scores de hallucinations
Deux points de contrôle, deux quantifications et deux temps d’exécution ont été testés à l’aide de noms fictifs : un modèle reste silencieux pendant des minutes, et un correcteur minutieux révèle ce que les notes omettent.
11 min de lectureRésoudre le problème de connexion refusée à Ollama sous WSL2 ainsi que l’installation de Dify et vLLM
Ollama fonctionne sous WSL2, mais Dify renvoie une erreur de connexion refusée ? Suivez l’adresse de liaison, définissez OLLAMA_HOST, ajoutez un portproxy, et évitez le piège du localhost de Docker lors de la connexion à vLLM.
7 min de lectureExécuter des modèles de codage locaux sur une RTX 3060 de 12 GB avec un planificateur de modèles
Comment choisir des modèles compatibles avec une GPU de 12 GB et pourquoi passer d’un backend GGUF à un backend SafeTensors derrière une même interface compatible OpenAI se transforme en un problème de planification.
5 min de lectureUn routeur modèle sur GCP : une API gérée devant plusieurs LLM ouverts
Une conception permettant de séparer les applications d’entreprise des LLM individuels : tâches logiques, sélection de modèles basée sur des contraintes, chaînes de secours, vLLM ainsi qu’une API stable de style OpenAI sur GCP.
7 min de lecturePourquoi le mode round-robin échoue avec les flottes d’LLM : comment llm-d gère les routages via le cache KV et la profondeur de file d’attente.
L’équilibrage de charge en mode round-robin gaspille les accès au cache KV et ignore la taille de la requête. Comment llm-d évalue les répliques vLLM sur Kubernetes et sépare le préremplissage de la décodage.
10 min de lectureQwen3.8-27B sur une RTX 5090 : benchmarks vLLM, contrôle des ventilateurs LACT et concurrence
Servir Qwen3.8-27B depuis une RTX 5090 sans interface avec vLLM : configuration GPU Docker, Prometheus et Grafana, correction des problèmes thermiques avec LACT, ainsi que détermination du point où le débit est saturé sous charge.
11 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.