Des articles pour ceux qui
livrent le stack
Textes sur React, Node.js, TypeScript et AI. Un corps traduit est affiché quand il existe. Sinon vous voyez le texte anglais et une note qui le dit.
Tag : kv-cache
Ingénierie du contexte pour les agents à exécution prolongée : bases de données vectorielles, cache KV, Claude Code
Ingénierie du contexte pour les agents qui exécutent 200 étapes : pourquoi les contextes longs se détériorent, l’économie du cache KV, la mémoire des bases de données vectorielles, et en quoi Claude Code et d’autres diffèrent.
13 min de lectureQUOKA expliqué : comment choisir l’attention historique KV à lire
Comment QUOKA accélère le préremplissage pour des prompts longs : bases du cache KV, préremplissage par blocs, sélection des requêtes atypiques, scoring maximal, et pré-agrégation économique pour l’attention sur les requêtes groupées.
9 min de lectureExplication du cache KV : pourquoi un contexte long représente une dépense en mémoire, et non une source d’intelligence.
Un guide en langage simple sur le cache KV : ce qu’il stocke, comment calculer sa taille, pourquoi un contexte long consomme de la mémoire, et quatre moyens d’abaisser les coûts pour les modèles locaux.
8 min de lectureDéplacer le cache KV entre les modèles Qwen3 au lieu de le recharger
La recherche de NVIDIA traduit l’état d’attention de Qwen3-14B en celui de Qwen3-32B à l’aide d’un pont de régression en crête. Découvrez ce que signifient les valeurs de latence, où cela échoue, et pourquoi les agents s’en soucient.
8 min de lecturePourquoi le mode round-robin échoue avec les flottes d’LLM : comment llm-d gère les routages via le cache KV et la profondeur de file d’attente.
L’équilibrage de charge en mode round-robin gaspille les accès au cache KV et ignore la taille de la requête. Comment llm-d évalue les répliques vLLM sur Kubernetes et sépare le préremplissage de la décodage.
10 min de lectureLa mémoire KV est la base de données invisible qui consomme la mémoire GPU lors du décodage des LLM.
Le cache KV consomme discrètement la mémoire GPU pendant l’inférence des LLM : préremplissage contre décodage, calculs KV, GQA et MQA, PagedAttention, politiques de quantification et d’éviction.
9 min de lectureInférence de LLM du début à la fin : préremplissage, décodification, cache KV et échantillonnage
Une présentation adaptée à un tableau blanc sur le tokeniseur dans le streaming : pourquoi le préremplissage est limité par les capacités de calcul, la décodification par la bande passante, et comment GQA, le pagination et la spéculation modifient les coûts.
40 min de lecture
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.