Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: transformers
Entrenar un GPT pequeño con cuentos populares indios: tokenizador, máscara y pérdida.
Un GPT de 9M parámetros creado desde cero: por qué el tokenizador de GPT-2 falla con palabras de cuentos populares, cómo funcionan BPE y la máscara causal, y cómo un solo lote genera 4,096 pérdidas de token siguiente.
16 min de lecturaCómo funcionan los Transformers, desde los cuellos de botella de las RNN hasta la atención, los agentes y las ventanas de contexto
Un recorrido paso a paso por el transformador: por qué se estancaron las RNN, cómo funcionan los tokens y las embeddings, la atención, QKV, las cabezas, las posiciones, la estructura de bloques, la escala y los agentes.
40 min de lecturaDe la predicción de token siguiente al código funcional: cómo generan Python los LLMs
Explicación en orden de los tokens, softmax, temperatura, capas de autoatención y capas feed-forward, con un ejemplo paso a paso de clasificación y los límites estrictos que surgen de la predicción.
9 min de lecturaDe la predicción de token siguiente a la ejecución de instrucciones: ajuste fino de un modelo GPT
Cómo un GPT preentrenado aprende a seguir instrucciones: formato de los registros, cambio de etiquetas, máscaras de relleno, el bucle de entrenamiento, límites de evaluación y el avance hacia las preferencias de DPO.
9 min de lecturaDentro de un LLM: Inferencia en Python puro para Qwen3-0.6B en MLX
Construcción paso a paso de la inferencia de LLM en unas 200 líneas de Python con MLX: tokenizador, RMSNorm, RoPE, atención a consultas agrupadas, SwiGLU, caché KV y muestreo.
13 min de lecturaLoRA y QLoRA explicados: ajustar un modelo de 7B sin 100 GB de VRAM
Por qué el fine-tuning completo necesita de 80 a 100 GB, cómo los adaptadores de bajo rango reducen los pesos entrenables al 1,6 %, cómo elegir el rango y las capas objetivo y qué añade QLoRA.
5 min de lecturaQué significa realmente GPT y por qué la ingeniería de IA sigue siendo ingeniería
Desglosamos Generative Pre-trained Transformer, la atención, fit y predict, y vemos por qué el buen trabajo con IA sigue dependiendo del criterio de ingeniería de siempre y de mejores preguntas.
4 min de lecturaDe las reglas a los Transformers: cómo el NLP aprendió a manejar el contexto
Una breve historia del procesamiento del lenguaje natural: sistemas basados en reglas, N-gramas, modelos de Markov, vectores de palabras, RNN, atención, Transformers y los grandes modelos de lenguaje construidos sobre ellos.
7 min de lecturaPor qué los transformers usan seno y coseno para la codificación posicional
Una explicación paso a paso de la codificación posicional sinusoidal: por qué la atención ignora el orden de las palabras, relojes a distintas velocidades, un ejemplo resuelto en 12 dimensiones y la rotación.
8 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.