Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: GPU
Por qué dos tarjetas RTX 3090 alcanzan 55 tok/s en lugar de 220 con SGLang y DFlash2.
Una explicación práctica sobre cómo ejecutar Qwen3.8-27B en dos tarjetas 3090 con SGLang, y cómo los enlaces PCIe x4, la falta de P2P, una caché KV limitada y picos de energía redujeron la velocidad anunciada.
7 min de lecturaLos flags de vllm serve explicados, con valores iniciales sensatos
Un recorrido práctico por los flags de vllm serve que de verdad se ajustan: dtype, uso de memoria, longitud de contexto, paralelismo, claves de API y cuantización, con valores para empezar.
4 min de lecturaEstación de trabajo para LLM local: de 20 a 60 tokens por segundo con dos GPU
Una estación Xeon de segunda mano con dos RTX 5060 Ti, Qwen 27B, paralelismo de tensores y NCCL: reglas para elegir el hardware, ganancias reales de velocidad y el cálculo de amortización frente a los precios de las API.
9 min de lecturaFlashAttention y PagedAttention: dos soluciones para dos cuellos de botella distintos
Cómo FlashAttention acelera el cálculo de la atención con tiling y softmax online, cómo PagedAttention gestiona la memoria de la caché KV y por qué las pilas tipo vLLM usan las dos.
7 min de lecturaLa oblea de Cerebras frente a la GPU para inferencia de LLM: un benchmark con GPT-OSS
Comparamos el motor a escala de oblea de Cerebras con la inferencia en GPU usando GPT-OSS-120B en cinco cargas de trabajo, y vemos cuánto acelera Ultrafast a GPT-5.6 Sol a través de la API.
4 min de lecturaModelos locales para programar en una RTX 3060 de 12 GB con un planificador de modelos
Cómo elegir modelos que quepan en una GPU de 12 GB y por qué alternar entre backends GGUF y SafeTensors detrás de un único endpoint compatible con OpenAI se convierte en un problema de planificación.
5 min de lecturaQwen3.8-27B en una sola RTX 3090: 262K de contexto a 65-80 tokens por segundo
Una receta para ejecutar un modelo denso de 27B con el contexto completo en una sola GPU de 24 GB: un fork afinado de llama.cpp, un cuantizado de 14,5 GB, caché Turbo3 y borradores MTP.
8 min de lecturaQwen3.8-27B en una RTX 5090: pruebas de rendimiento de vLLM, control de ventiladores LACT y concurrencia
Servir Qwen3.8-27B desde una RTX 5090 sin cabeza con vLLM: configuración de GPU en Docker, Prometheus y Grafana, solución de problemas térmicos con LACT, y dónde se satura el rendimiento bajo carga.
11 min de lecturaLa caché KV es la base de datos invisible que consume memoria en la GPU durante la decodificación de LLM.
La caché KV consume silenciosamente la memoria de la GPU durante la inferencia de LLM: prefill vs decode, cálculos KV, GQA y MQA, PagedAttention, políticas de cuantización y expulsión.
9 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.