Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: gpu
RTX 5060 Ti 16 GB para IA local: velocidades medidas de LLM, imágenes y voz.
RTX 5060 Ti 16 GB probado para IA local: cinco LLM con velocidades de 42 a 116 tok/s, tiempos de primer token en 32K, velocidades en imágenes, video, 3D y voz, y qué se puede ejecutar con él.
6 min de lecturaPor qué dos tarjetas RTX 3090 alcanzan 55 tok/s en lugar de 220 con SGLang y DFlash2.
Una explicación práctica sobre cómo ejecutar Qwen3.8-27B en dos tarjetas 3090 con SGLang, y cómo los enlaces PCIe x4, la falta de P2P, una caché KV limitada y picos de energía redujeron la velocidad anunciada.
7 min de lecturaLos flags de vllm serve explicados, con valores iniciales sensatos
Un recorrido práctico por los flags de vllm serve que de verdad se ajustan: dtype, uso de memoria, longitud de contexto, paralelismo, claves de API y cuantización, con valores para empezar.
4 min de lecturaEstación de trabajo para LLM local: de 20 a 60 tokens por segundo con dos GPU
Una estación Xeon de segunda mano con dos RTX 5060 Ti, Qwen 27B, paralelismo de tensores y NCCL: reglas para elegir el hardware, ganancias reales de velocidad y el cálculo de amortización frente a los precios de las API.
9 min de lecturaFlashAttention y PagedAttention: dos soluciones para dos cuellos de botella distintos
Cómo FlashAttention acelera el cálculo de la atención con tiling y softmax online, cómo PagedAttention gestiona la memoria de la caché KV y por qué las pilas tipo vLLM usan las dos.
7 min de lecturaLa oblea de Cerebras frente a la GPU para inferencia de LLM: un benchmark con GPT-OSS
Comparamos el motor a escala de oblea de Cerebras con la inferencia en GPU usando GPT-OSS-120B en cinco cargas de trabajo, y vemos cuánto acelera Ultrafast a GPT-5.6 Sol a través de la API.
4 min de lecturaModelos locales para programar en una RTX 3060 de 12 GB con un planificador de modelos
Cómo elegir modelos que quepan en una GPU de 12 GB y por qué alternar entre backends GGUF y SafeTensors detrás de un único endpoint compatible con OpenAI se convierte en un problema de planificación.
5 min de lecturaQwen3.8-27B en una sola RTX 3090: 262K de contexto a 65-80 tokens por segundo
Una receta para ejecutar un modelo denso de 27B con el contexto completo en una sola GPU de 24 GB: un fork afinado de llama.cpp, un cuantizado de 14,5 GB, caché Turbo3 y borradores MTP.
8 min de lecturaQwen3.8-27B en una RTX 5090: pruebas de rendimiento de vLLM, control de ventiladores LACT y concurrencia
Servir Qwen3.8-27B desde una RTX 5090 sin cabeza con vLLM: configuración de GPU en Docker, Prometheus y Grafana, solución de problemas térmicos con LACT, y dónde se satura el rendimiento bajo carga.
11 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.