Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: PyTorch
Entrenar un GPT pequeño con cuentos populares indios: tokenizador, máscara y pérdida.
Un GPT de 9M parámetros creado desde cero: por qué el tokenizador de GPT-2 falla con palabras de cuentos populares, cómo funcionan BPE y la máscara causal, y cómo un solo lote genera 4,096 pérdidas de token siguiente.
16 min de lecturaDe la predicción de token siguiente a la ejecución de instrucciones: ajuste fino de un modelo GPT
Cómo un GPT preentrenado aprende a seguir instrucciones: formato de los registros, cambio de etiquetas, máscaras de relleno, el bucle de entrenamiento, límites de evaluación y el avance hacia las preferencias de DPO.
9 min de lecturaConexiones residuales explicadas: por qué los transformers profundos se pueden entrenar
Por qué apilar capas sin más rompe el entrenamiento, cómo las conexiones de salto x + F(x) arreglan el flujo de gradientes, cómo las usan los bloques Pre-LayerNorm y una implementación breve en PyTorch.
4 min de lecturaConstruye un Transformer desde cero en PyTorch: atención, codificador y decodificador
Código PyTorch paso a paso para las piezas centrales de un Transformer: codificación posicional, atención de producto escalar escalado y multi-head, capas feed-forward, pila del codificador y fundamentos del decodificador.
8 min de lecturaCómo funcionan las capas de embedding: del texto a los IDs de token y a los vectores en un LLM
Una explicación para principiantes de las capas de embedding: tokenización, tablas de búsqueda, vectores aprendidos, el ejemplo de 205 millones de parámetros y una breve demo en PyTorch con nn.Embedding.
5 min de lecturaTokenizador BPE desde cero: secuencias más cortas para una ventana de contexto pequeña en GPT
Escriba un tokenizador de codificación de pares de bytes en Python, entrénelo con WikiText-2, guarde las fusiones en formato JSON y observe cómo la tokenización subpalabra amplía la ventana de contexto de un GPT.
26 min de lecturaDepuración de un Small GPT en PyTorch: Pruebas que aíslan cada fallo.
Un flujo de trabajo paso a paso para depurar un GPT a nivel de carácter en PyTorch, desde los IDs de token y el desplazamiento de destino hasta las gradientes, las pérdidas NaN y los puntos de control.
30 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.