Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: kv-cache
Ingeniería de contexto para agentes de ejecución prolongada: base de datos vectorial, caché KV, Claude Code
Ingeniería de contexto para agentes que ejecutan 200 pasos: por qué los contextos largos se degradan, la economía del caché KV, la memoria de la base de datos vectorial y cómo Claude Code y otros difieren.
13 min de lecturaQUOKA explicado: cómo elegir qué historial KV debe leer la atención
Cómo acelera QUOKA el prefill de prompts largos: fundamentos de la caché KV, chunked prefill, selección de consultas atípicas, puntuación por máximo y preagregación barata para grouped-query attention.
9 min de lecturaLa caché KV explicada: por qué el contexto largo es una factura de memoria y no inteligencia
Una explicación clara de la caché KV: qué guarda, cómo calcular su tamaño, por qué el contexto largo se come la memoria y cuatro formas de reducir el gasto en modelos locales.
8 min de lecturaMover la caché KV entre modelos Qwen3 en lugar de repetir el prefill
Una investigación de NVIDIA traslada el estado de atención de Qwen3-14B a Qwen3-32B con un puente de regresión ridge. Qué significan las cifras de latencia, dónde falla y por qué importa a los agentes.
8 min de lecturaPor qué falla el método round-robin en flotas de LLM: Cómo llm-d enruta mediante el caché KV y la profundidad de la cola.
El equilibrio de carga tipo round-robin desperdicia las consultas al caché KV e ignora el tamaño de la solicitud. Cómo llm-d califica las réplicas vLLM en Kubernetes y separa el prellenado del decodificado.
10 min de lecturaLa caché KV es la base de datos invisible que consume memoria en la GPU durante la decodificación de LLM.
La caché KV consume silenciosamente la memoria de la GPU durante la inferencia de LLM: prefill vs decode, cálculos KV, GQA y MQA, PagedAttention, políticas de cuantización y expulsión.
9 min de lecturaInferencia de LLM de extremo a extremo: prefill, decode, caché KV y muestreo
Una explicación lista para una pizarra blanca sobre el tokenizador en tiempo real: por qué el prefill está limitado por los cálculos, el decode por el ancho de banda, y cómo GQA, la paginación y la especulación modifican los costos operativos.
40 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.