Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: Inference
Dentro de un LLM: Inferencia en Python puro para Qwen3-0.6B en MLX
Construcción paso a paso de la inferencia de LLM en unas 200 líneas de Python con MLX: tokenizador, RMSNorm, RoPE, atención a consultas agrupadas, SwiGLU, caché KV y muestreo.
13 min de lecturaKimi K3 y otros modelos grandes en local con cinco repos abiertos
Cinco repos open source que meten modelos de escala frontera en un portátil o una sola GPU mediante streaming desde disco, caché de expertos y offloading, con sus cifras reales de velocidad.
6 min de lecturaLos flags de vllm serve explicados, con valores iniciales sensatos
Un recorrido práctico por los flags de vllm serve que de verdad se ajustan: dtype, uso de memoria, longitud de contexto, paralelismo, claves de API y cuantización, con valores para empezar.
4 min de lecturaInférencia más allá del texto: Ajuste de VLMs, embeddings, voz, imagen y video
Cada modalidad tiene su propio cuello de botella. Aprenda cómo ajustar los VLM, los embeddings, la ASR, la TTS y los generadores de imágenes y videos mediante el uso adecuado de agrupamiento, kernels, caché y cuantización.
11 min de lecturaLa caché KV es la base de datos invisible que consume memoria en la GPU durante la decodificación de LLM.
La caché KV consume silenciosamente la memoria de la GPU durante la inferencia de LLM: prefill vs decode, cálculos KV, GQA y MQA, PagedAttention, políticas de cuantización y expulsión.
9 min de lecturaServicio práctico de LLM: Ollama, vLLM y TGI
La capa de servicio que convierte los archivos del modelo en una API de LLM: Ollama para uso local, vLLM y Hugging Face TGI para GPUs, y lo que carecen los transformers tradicionales.
5 min de lecturallama.cpp vs vLLM vs Ollama: Elija el motor local según su cuello de botella
llama.cpp, Ollama o vLLM para un LLM local: elige el motor según el cuello de botella: portabilidad del portátil, compatibilidad con DirectX o rendimiento de la GPU para múltiples usuarios bajo carga.
5 min de lecturaOllama en IBM Z y LinuxONE: LLM locales dentro del límite de confianza
La portación de Ollama a IBM Z y LinuxONE se redujo a la carga de pesos segura desde el punto de vista del endián, de modo que un modelo LLM local puede procesar datos regulados sin que estos salgan del entorno confiable.
6 min de lecturaInferencia de LLM de extremo a extremo: prefill, decode, caché KV y muestreo
Una explicación lista para una pizarra blanca sobre el tokenizador en tiempo real: por qué el prefill está limitado por los cálculos, el decode por el ancho de banda, y cómo GQA, la paginación y la especulación modifican los costos operativos.
40 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.