Artículos para quien
entrega el stack
Textos originales sobre React, Node.js, TypeScript y AI — de la misma práctica que nuestro software de operador. Cuerpo de los artículos en inglés.
Etiqueta: pytorch
Conexiones residuales explicadas: por qué los transformers profundos se pueden entrenar
Por qué apilar capas sin más rompe el entrenamiento, cómo las conexiones de salto x + F(x) arreglan el flujo de gradientes, cómo las usan los bloques Pre-LayerNorm y una implementación breve en PyTorch.
1031 palabrasLeerConstruye un Transformer desde cero en PyTorch: atención, codificador y decodificador
Código PyTorch paso a paso para las piezas centrales de un Transformer: codificación posicional, atención de producto escalar escalado y multi-head, capas feed-forward, pila del codificador y fundamentos del decodificador.
1819 palabrasLeerCómo funcionan las capas de embedding: del texto a los IDs de token y a los vectores en un LLM
Una explicación para principiantes de las capas de embedding: tokenización, tablas de búsqueda, vectores aprendidos, el ejemplo de 205 millones de parámetros y una breve demo en PyTorch con nn.Embedding.
1201 palabrasLeerConstruyendo un tokenizador de codificación de pares de bytes desde cero para un GPT pequeño
Implemente un tokenizador BPE a nivel de carácter en Python, entrénelo con WikiText-2, guárdelo y obtenga su huella digital, y vuelva a entrenar un pequeño GPT con secuencias de tokens más cortas y densas.
6273 palabrasLeerDepuración de un Small GPT en PyTorch: Pruebas que aíslan cada fallo.
Un flujo de trabajo paso a paso para depurar un GPT a nivel de carácter en PyTorch, desde los IDs de token y el desplazamiento de destino hasta las gradientes, las pérdidas NaN y los puntos de control.
6828 palabrasLeer
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.