Indicateurs d’inférence vLLM : de TTFT et TPOT au cache KV et Goodput

Fournir des grands modèles de langage ne pose pas le même problème d’observabilité que la fourniture de microservices sans état. Le pourcentage d’utilisation du CPU et le temps de latence moyen des requêtes sont de faibles indicateurs lorsque l’attention, le lotage continu et la capacité de la mémoire HBM dominent le comportement. L’attention portée en production est passée du débit brut de tokens à la goodput — c’est-à-dire des complétions réussies dans le respect de critères stricts d’exploitation.

Ce guide présente en détail les métriques essentielles de l’engine vLLM qui doivent figurer sur les tableaux de bord Grafana : compteurs de fiabilité, histogrammes de latence, aspects économiques liés aux tokens, dynamique du cache KV, pression exercée par le planificateur, ainsi que les choix de topologie qui ne deviennent visibles qu’en cas de lecture correcte des données de télémétrie.

Statistiques résumées et santé du système

Les moteurs LLM échouent souvent de manière discrète — avec des générations dégradées et des interruptions cachées — plutôt que par des erreurs HTTP explicites. Une bonne santé globale exige donc des raisons de finition sémantiques, et non seulement des codes d’état.

Taux de réussite et répartition des raisons de finition

Le taux de réussite correspond au nombre de demandes traitées avec succès sur l’ensemble des requêtes analysées pendant une période donnée. Dans vLLM, cela signifie examiner comment le cycle de génération s’est terminé, et non simplement compter les réponses 200 OK. Les systèmes en bon état atteignent généralement un taux de réussite d’environ 99,5 % ou plus ; des baisses continues en dessous de 98 % constituent une situation d’urgence.

Le compteur est vllm:request_success_total, étiqueté par finished_reason :

• Stop — fin naturelle ou chaîne de stop configurée. À considérer comme une véritable réussite.
• Length — troncature en raison de la limite de contexte ou du nombre maximal de générations.
• Abort — déconnexion du client ou interruption interne.

Les finitions chroniques avec une longueur élevée indiquent souvent que le modèle divague pour accomplir la tâche, ou que les limites max_model_len / de génération sont trop strictes pour le style du prompt. Une formulation typique en PromQL consiste à mesurer le taux de finitions par arrêt par rapport au taux total des finitions sur une fenêtre de cinq minutes.

Rendement par rapport à la convergence vers le succès

Tracerz le rendement total des requêtes à côté du nombre de terminations réussies. En conditions normales, les courbes devraient suivre une trajectoire similaire. Un écart croissant signifie que les GPU consomment des cycles inutilement pour des tâches qui ne aboutissent jamais au succès — en raison de délais d’expiration (abandons) ou de dépassements de longueur. Lors des tests de charge, de grands écarts indiquent une dégradation de l’attention ou des génération infinies qui atteignent rapidement leurs limites de longueur.

Collecte des déchets en Python et mémoire du processus

La majeure partie des opérations critiques se déroule en CUDA/C++, mais l’orchestration reste en Python. Suivez le nombre d’opérations de collecte des déchets avec la consommation mémoire RSS du processus.

Les collectes de déchets fréquentes introduisent des fluctuations dans le timing entre les tokens. Une valeur RSS en hausse constante indique des fuites dans les liens et finit par déclencher le tueur de mémoire insuffisante. Les pods peuvent sembler « en ordre » en termes de consommation CPU, qu’ils soient inactifs ou occupés ; ce sont les pools de mémoire non gérés où apparaît une mort silencieuse.

Quantification de la latence et de l’expérience utilisateur

La latence générative présente une distribution à queue longue. Les moyennes cachent les problèmes réels ; les valeurs P50/P90/P99 (et autres) sont indispensables.

Latence de la requête du début à la fin

La latence E2E couvre toute la période allant de l’arrivée de la requête au token final et à sa fermeture. vLLM expose vllm:e2e_request_latency_seconds sous forme d’histogramme. Les quantiles sont calculés à l’aide de histogram_quantile() avec interpolation linéaire au sein des buckets. Des pics irréguliers sur le P99 indiquent souvent que le batcheur continu ne parvient pas à intercaler correctement les arrivées — il est temps d’examiner le planificateur et la pression sur la mémoire cache.

P99 du temps jusqu’au premier token (TTFT)

TTFT est la métrique d’interactivité. Les directives en matière d’HCI visent à maintenir ce temps sous une seconde avant que la frustration ne monte.

TTFT dépend principalement du prefill : lecture de l’instruction, concentration de l’attention, création du cache KV initial. Le coût augmente approximativement en fonction du carré de la longueur de la séquence multiplié par la largeur — c’est un travail lié aux calculs en TFLOPS. Exemple de proportion : un préremplissage de 512 tokens sur un modèle d’environ 70 milliards de paramètres représente des dizaines de TFLOPs.

PromQL pour TTFT P99 :

histogram_quantile(0.99, sum(rate(vllm:time_to_first_token_seconds_bucket[5m])) by (le))

Dans les interfaces de chat, le TTFT P99 est souvent la contrainte déterminante. De très grandes capacités cachées sur les GPU de milieu de gamme (par exemple de la classe L40S) peuvent rendre le TTFT inacceptable, quel que soit le regroupement des opérations — ce qui pousse les équipes à utiliser des modèles plus petits ou des puces offrant davantage de TFLOPS (de la classe H100).

Délai par token de sortie (TPOT) et décomposition des étapes d’inférence

Après le premier token, c’est la phase de décodage qui prend le relais. Le TPOT (latence entre tokens) mesure le rythme de génération des tokens suivants.

La décodage est généralement limitée par la bande passante mémoire : à chaque étape, les poids et l’historique KV sont rechargés depuis la HBM vers le processeur, avec une faible intensité arithmétique (~1 FLOP/byte pour les chemins non-MoE denses).

Une décomposition utile :

E2E ≈ TTFT + (N_output − 1) × TPOT

Les graphiques de répartition par étape montrent la part consacrée au préremplissage par rapport à celle dédiée au décodage :

• Temps de préremplissage élevé → prompts longs ou puissance TFLOPS faible.
• Temps de décodage élevé → sorties longues ou bande passante HBM saturée.

Comparer TTFT à TPOT en fonction de la charge croissante est le moyen le plus rapide pour identifier le goulot d’étranglement.

Rendement par token et caractérisation de la charge de travail

La latence sans volume ne permet pas de tarifer le matériel.

Rendement par token et rapport E/S

Diviser le rendement en tokens de prompt par seconde et tokens de génération par seconde. Des valeurs totales plus élevées permettent d’amortir mieux le coût de l’GPU.

Le rapport tokens entrée/sortie (tokens d’invite par rapport aux tokens de génération) caractérise le travail à effectuer :

• Élevé (~20:1) — entrées longues, sorties courtes : RAG, résumé, classification. Forte utilisation du préremplissage.
• Faible — invites courtes, générations longues : chat ouvert, génération de code. Forte utilisation du décodage/HBM.

Une topologie inadaptée à ce rapport entraîne des gaspillages financiers : utilisation de RAG sur des pools optimisés pour le décodage, ou chat en format long sur des plateformes manquant de préremplissage.

Carte thermique de la longueur des requêtes (Invite)

Les cartes thermiques de la longueur des invites indiquent si le trafic présente une distribution unimodale et stable ou bien un mélange d’invites très courtes et très longues. Des queues lourdes en termes de longueur des invites expliquent les pics de TTFT même lorsque le QPS semble modeste.

Internes du moteur et dynamique de la mémoire cache

La latence externe dépend du cache KV et de l’état du planificateur.

Utilisation du cache KV GPU

Surveillez le degré d’occupation du pool KV. À mesure que l’occupation augmente, le lotage continu permet d’accepter moins de séquences ; une fois un seuil dépassé, le moteur intervient en priorité.

Taux de réussite du cache des préfixes et économies réalisées

Le stockage en cache des préfixes réutilise les éléments KV pour les préfixes de prompts partagés (prompts système, en-têtes RAG). Le taux de réussite et les économies obtenues permettent de déterminer si la conception des prompts et leur routage partagent réellement des préfixes — ou si chaque requête est accidentellement traitée de manière unique.

État du planificateur et efficacité du système

Suivez le nombre d’opérations en cours par rapport au nombre d’opérations en attente. Une augmentation des temps d’attente avec un nombre constant d’opérations en cours indique généralement des limites liées au pool KV ou à la valeur max_num_seqs, et non une utilisation intensive de la CPU.

État du planificateur et taux d’intervention préemptive

Lorsque KV ne peut pas stocker les vecteurs du token suivant, vLLM interrompt le traitement. La valeur de vllm:num_preemptions_total sert de compteur critique : une valeur non nulle indique que des interruptions fréquentes nécessitent plus de VRAM, davantage de répliques ou une limite max_num_seqs plus basse.

Efficacité du système et temps dans la file d’attente des requêtes

L’efficacité du système compare le rythme de traitement au rythme d’arrivée des requêtes. Une valeur proche de 1,0 signifie que les requêtes sont traitées rapidement ; des valeurs inférieures à environ 0,7 indiquent que la file d’attente s’allonge plus vite que les GPU ne parviennent à la vider.

Cette situation se traduit par la valeur vllm:request_queue_time_seconds — le temps passé à attendre avant que des calculs utiles ne soient effectués. Ce temps d’attente augmente le temps total de traitement sans qu’aucun token ne soit généré.

Les méthodes classiques d’ajustement dynamique basées sur le CPU échouent dans ce cas. Connectez les valeurs de vllm:num_requests_waiting ainsi que les métriques relatives au temps de file d’attente à un adaptateur Prometheus afin que l’ajustement dynamique s’effectue en fonction de la profondeur de la file (par exemple, lorsque plusieurs requêtes attendent) plutôt que en fonction d’indicateurs erronés liés au CPU.

Infrastructure, équilibrage de charge et topologies avancées

Les signaux logiciels doivent correspondre à la réalité matérielle.

Équilibrage de charge et utilisation du matériel

La durée des requêtes des LLM varie considérablement : des minutes pour des génération longues par rapport à des réponses instantanées et brèves. L’algorithme round-robin entraîne donc un déséquilibre dans les groupes de machines. Préférez des outils d’équilibrage conscients du niveau d’avancement des traitements en cours.

Vérifiez également avec DCGM :

• Utilisation des GPU — un taux d’utilisation élevé avec de courtes files d’attente indique un bon retour sur investissement ; un taux élevé avec des files longues signale une saturation.
• VRAM utilisée — confirme que vLLM a réservé la fraction prévue au début.

Résolution du conflit entre précharge et décodage

Une précharge volumineuse gourmande en calcul au sein d’un lot mixte peut monopoliser les cœurs tensoriels et bloquer tout décodage en cours, entraînant des pics de TPOT et des interruptions dans les flux de données.

Deux approches d’atténuation prédominent : le préremplissage en blocs et le préremplissage/décodage décentralisés.

Préremplissage en blocs

On divise les prompts très longs en blocs fixes (par exemple 512 tokens) et on mélange ces blocs avec les étapes de décodage des autres requêtes. Le TTFT pour les nouveaux utilisateurs augmente légèrement, tandis que le TPOT pour tous les autres reste stable. Signatures des métriques : histogrammes ITL plus lisses, coût TTFT P50 modéré, améliorations importantes de la stabilité du flux à P99.

Préremplissage et décodage décentralisés (DPD)

À plus grande échelle, on isole les différentes phases sur des groupes de GPU distincts : le préremplissage sur des GPU puissants en termes de TFLOPS, le décodage sur des GPU dotés de beaucoup de mémoire HBM, avec transfert des données KV via le réseau après le préremplissage. Il convient de surveiller les temps et les volumes de transfert indiqués par NIXL (ou un équivalent), comme vllm:nixl_xfer_time_seconds_sum et vllm:nixl_bytes_transferred_sum. La méthode DPD n’est avantageuse que lorsque le temps de transfert est inférieur à l’interférence qu’elle permet d’éliminer ; la qualité des protocoles RDMA/NCCL détermine ce critère mathématique.

Mathématiques de décodage spéculatif

Indicateur clé : taux d’acceptation des brouillons (vllm:spec_decode_draft_acceptance_rate). Le nombre de tokens acceptés par pas suit une série géométrique en fonction de la probabilité d’acceptation α. Si α est inférieur à ~0,5, les coûts liés aux brouillons peuvent dépasser les économies réalisées et ralentir le système.

Évaluez les brouillons à la température de production. Les tests avec une approche gourmande (T=0) peuvent montrer α≈0,8, tandis que le mode créatif avec T=1,0 fait chuter cette même valeur à α≈0,4 — transformant ainsi une optimisation en une dégradation.

Architecture de télémétrie multi-processus Prometheus

Le serveur compatible OpenAI de vLLM utilise le multiprocesseur. Les clients Prometheus naïfs ne fonctionnent pas correctement sur plusieurs travailleurs en raison du GIL et de la mémoire divisée.

La solution consiste à utiliser prometheus_client.multiprocess avec PROMETHEUS_MULTIPROC_DIR : chaque travailleur ajoute des mises à jour aux fichiers mappés en mémoire ; les outils de collecte interagissent avec un MultiProcessCollector qui fusionne les données OpenMetrics. Les requêtes PromQL complexes (histogram_quantile, rate) restent traitées par Prometheus, et non sur le chemin d’inference principal — ce qui évite que la mesure de la latence ne devienne elle-même une source de latence.

Collectivement, ces indicateurs — raisons de succès ou d’échec, quantiles TTFT/TPOT/E2E, forme des opérations d’entrée/sortie de tokens, occupation des tables KV, interruptions, temps d’attente dans la file, ainsi que statistiques de transfert spécifiques à la topologie et données spéculatives — forment un cycle fermé allant des objectifs SLO du utilisateur jusqu’aux aspects techniques liés aux GPU. C’est ce cycle qui transforme vLLM d’un serveur de démonstration en une plateforme d’inference opérationnelle.

Gardez un document écrit qui associe chaque métrique critique à une première action : augmentation des préemptions → réduire max_num_seqs ou ajouter de la VRAM ; uniquement TTFT P99 → raccourcir les prompts, augmenter les TFLOPS ou activer le cache de préfixes ; pics de TPOT avec un KV complet → gérer la pression de décodage ou les interférences de préremplissage ; effondrement spéculatif d’α → ajuster à nouveau les paramètres de draft et de température. Associez chaque modification des capacités à un graphique du goodput avant/après sur la même trace, afin que les dépenses en matériel soient liées aux améliorations des SLO plutôt qu’à des chiffres creux de tokens/seconde. Revoyez régulièrement les tableaux de bord d’IO-ratio lorsque le mix produit change — le lancement de fonctionnalités RAG et les contenus longs déplacent les goulets d’étranglement entre préremplissage et décodage du jour au lendemain, et les seuils d’auto-échelle d’hier deviennent les files d’attente silencieuses d’aujourd’hui. Enfin, considérez les répertoires de métriques multiprocesseur comme faisant partie du cycle de vie du pod : des chemins PROMETHEUS_MULTIPROC_DIR vides ou ayant des permissions incorrectes ressemblent à des extractions « saines » affichant zéro, alors que les utilisateurs le ressentent déjà.

la panne.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue en ce qui concerne le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue en ce qui concerne le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.

Lors de l’intégration d’un nouveau point de contrôle de modèle, figez un profil de charge (mélange de longueur des prompts, mélange de longueur des sorties, concurrence) et comparez les mêmes tableaux PromQL avant d’augmenter le trafic. Un point de contrôle qui excelle en termes de tokens/seconde mais échoue sur le TTFT P99 ou le taux de prédemption n’est pas un candidat à la promotion pour des API interactives.