Notes d’ingénierie
Des articles pour ceux qui
livrent le stack
Textes originaux sur React, Node.js, TypeScript et AI — issus de la même pratique que notre logiciel opérateur. Corps des articles en anglais.
Tag : prometheus
Ce que LiteLLM ne peut pas voir : le suivi du traitement par GPU via le gateway
LiteLLM suit les demandes et les dépenses. Les temps d’attente dans la file, le remplissage préalable par rapport à la décodification, les redémarrages des conteneurs ainsi que la pression sur l’hôte nécessitent Prometheus, les métriques vLLM, cAdvisor et des traces.
975 motsLireIndicateurs d’inférence vLLM : de TTFT et TPOT au cache KV et Goodput
Un guide de production pour les métriques vLLM Prometheus : taux de réussite, percentiles de latence, rapport d’entrée/sortie des tokens, prélèvements forcés, préremplissage par blocs, DPD et acceptation de la décodage spéculatif.
2973 motsLire
FAQ
À propos de ces articles
Oui. Chaque texte est un rewrite anglais original pour ce site. Structure et code suivent la source ; la prose est réécrite et contrôlée.
Les posts techniques partent en anglais pour garder code et API exacts. L’habillage du site existe en neuf langues.
Les brouillons entrent en file après relecture. L’import ne prend que les slugs nouveaux ou modifiés — sans doublons.
Exemples illustratifs. Validez stack et licences avant la prod. Pour une livraison, envoyez le brief.
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.