Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: vLLM
Los flags de vllm serve explicados, con valores iniciales sensatos
Un recorrido práctico por los flags de vllm serve que de verdad se ajustan: dtype, uso de memoria, longitud de contexto, paralelismo, claves de API y cuantización, con valores para empezar.
4 min de lecturaPor qué Ollama deja de ser suficiente y qué usar en su lugar
Ollama es un envoltorio de llama.cpp. Descubre dónde choca con sus límites en carga, formatos de modelo y GPUs de AMD, y cuándo encajan mejor llama.cpp, LM Studio o vLLM.
7 min de lecturaFlashAttention y PagedAttention: dos soluciones para dos cuellos de botella distintos
Cómo FlashAttention acelera el cálculo de la atención con tiling y softmax online, cómo PagedAttention gestiona la memoria de la caché KV y por qué las pilas tipo vLLM usan las dos.
7 min de lecturaCuando un modelo nunca termina: fallos silenciosos que las métricas de alucinación no muestran
Dos checkpoints, dos cuantizaciones y dos runtimes probados con nombres inventados: un modelo se queda callado durante minutos y un evaluador cuidadoso revela lo que las puntuaciones pasan por alto.
11 min de lecturaOllama en WSL2 da «connection refused»: cómo arreglarlo y conectar Dify y vLLM
¿Ollama funciona en WSL2 pero Dify recibe connection refused? Revisa la dirección de enlace, define OLLAMA_HOST, añade un portproxy y evita la trampa de localhost en Docker al conectar vLLM.
7 min de lecturaModelos locales para programar en una RTX 3060 de 12 GB con un planificador de modelos
Cómo elegir modelos que quepan en una GPU de 12 GB y por qué alternar entre backends GGUF y SafeTensors detrás de un único endpoint compatible con OpenAI se convierte en un problema de planificación.
5 min de lecturaUn router de modelos en GCP: una API gobernada delante de varios LLM abiertos
Un diseño para desacoplar las aplicaciones empresariales de LLM concretos: tareas lógicas, selección de modelo por restricciones, cadenas de respaldo, vLLM y una API estable al estilo OpenAI en GCP.
7 min de lecturaPor qué falla el método round-robin en flotas de LLM: Cómo llm-d enruta mediante el caché KV y la profundidad de la cola.
El equilibrio de carga tipo round-robin desperdicia las consultas al caché KV e ignora el tamaño de la solicitud. Cómo llm-d califica las réplicas vLLM en Kubernetes y separa el prellenado del decodificado.
10 min de lecturaQwen3.8-27B en una RTX 5090: pruebas de rendimiento de vLLM, control de ventiladores LACT y concurrencia
Servir Qwen3.8-27B desde una RTX 5090 sin cabeza con vLLM: configuración de GPU en Docker, Prometheus y Grafana, solución de problemas térmicos con LACT, y dónde se satura el rendimiento bajo carga.
11 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.