Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: deep-learning
Superposición en redes neuronales: modelos simplificados, SAEs y fusión de características
Cómo las redes almacenan más características que dimensiones, cuáles son los costos de interferencia y por qué los autoencoders dispersos pueden fusionar características que los datos no pueden separar.
19 min de lecturaCómo funcionan los Transformers, desde los cuellos de botella de las RNN hasta la atención, los agentes y las ventanas de contexto
Un recorrido paso a paso por el transformador: por qué se estancaron las RNN, cómo funcionan los tokens y las embeddings, la atención, QKV, las cabezas, las posiciones, la estructura de bloques, la escala y los agentes.
40 min de lecturaCómo la IA lee y reconstruye una foto: la ciencia detrás de los retratos de los 80
Cómo los modelos de visión convierten píxeles en embeddings y cómo la IA generativa los usa para dar a una foto aspecto de película de los 80, con sus límites de precisión, identidad y detección.
9 min de lecturaCómo lee un transformer «The cat sat on the mat», paso a paso
Seguimos una frase a través de una capa de transformer: tokens, embeddings, posiciones, self-attention, conexiones residuales, normalización y red feed-forward.
6 min de lecturaPor qué los transformers usan seno y coseno para la codificación posicional
Una explicación paso a paso de la codificación posicional sinusoidal: por qué la atención ignora el orden de las palabras, relojes a distintas velocidades, un ejemplo resuelto en 12 dimensiones y la rotación.
8 min de lecturaConexiones residuales explicadas: por qué los transformers profundos se pueden entrenar
Por qué apilar capas sin más rompe el entrenamiento, cómo las conexiones de salto x + F(x) arreglan el flujo de gradientes, cómo las usan los bloques Pre-LayerNorm y una implementación breve en PyTorch.
4 min de lecturaConstruye un Transformer desde cero en PyTorch: atención, codificador y decodificador
Código PyTorch paso a paso para las piezas centrales de un Transformer: codificación posicional, atención de producto escalar escalado y multi-head, capas feed-forward, pila del codificador y fundamentos del decodificador.
8 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.