Artículos para quien
entrega el stack
Textos originales sobre React, Node.js, TypeScript y AI — de la misma práctica que nuestro software de operador. Cuerpo de los artículos en inglés.
Etiqueta: llm-inference
QUOKA explicado: cómo elegir qué historial KV debe leer la atención
Cómo acelera QUOKA el prefill de prompts largos: fundamentos de la caché KV, chunked prefill, selección de consultas atípicas, puntuación por máximo y preagregación barata para grouped-query attention.
2028 palabrasLeerFlashAttention y PagedAttention: dos soluciones para dos cuellos de botella distintos
Cómo FlashAttention acelera el cálculo de la atención con tiling y softmax online, cómo PagedAttention gestiona la memoria de la caché KV y por qué las pilas tipo vLLM usan las dos.
1662 palabrasLeerLa caché KV explicada: por qué el contexto largo es una factura de memoria y no inteligencia
Una explicación clara de la caché KV: qué guarda, cómo calcular su tamaño, por qué el contexto largo se come la memoria y cuatro formas de reducir el gasto en modelos locales.
1921 palabrasLeerLa oblea de Cerebras frente a la GPU para inferencia de LLM: un benchmark con GPT-OSS
Comparamos el motor a escala de oblea de Cerebras con la inferencia en GPU usando GPT-OSS-120B en cinco cargas de trabajo, y vemos cuánto acelera Ultrafast a GPT-5.6 Sol a través de la API.
861 palabrasLeerMover la caché KV entre modelos Qwen3 en lugar de repetir el prefill
Una investigación de NVIDIA traslada el estado de atención de Qwen3-14B a Qwen3-32B con un puente de regresión ridge. Qué significan las cifras de latencia, dónde falla y por qué importa a los agentes.
1817 palabrasLeer
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.