Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: deep-learning
Überlagerung in neuronalen Netzwerken: Spielmodelle, SAEs und Merkmalsfusion
Wie Netzwerke mehr Merkmale als Dimensionen speichern, welche Störungskosten entstehen und warum spärliche Autoencoder Merkmale verschmelzen können, die die Daten nicht trennen können.
19 Min. LesezeitWie Transformer funktionieren – von RNN-Engpässen bis zu Attention, Agenten und Kontextfenstern
Ein schrittweiser Überblick über den Transformer: Warum RNNs ins Stocken gerieten, wie Tokens und Embeddings funktionieren, Attention, QKV, Heads, Positionen, Blockstruktur, Skalierung und Agenten.
40 Min. LesezeitWie KI ein Foto liest und neu aufbaut: Die Technik hinter den 80er-Jahre-Porträts
Wie Vision-Modelle Pixel in Embeddings verwandeln und generative KI damit ein Foto im Stil eines 80er-Jahre-Films umbaut – und wo Genauigkeit, Identität und Erkennung an Grenzen stoßen.
9 Min. LesezeitWie ein Transformer „The cat sat on the mat“ liest – Schritt für Schritt
Ein Satz auf dem Weg durch eine Transformer-Schicht: Tokens, Embeddings, Positionen, Self-Attention, Residual-Verbindungen, Normalisierung und Feed-Forward-Netz.
6 Min. LesezeitWarum Transformer Sinus und Kosinus für das Positional Encoding nutzen
Eine Schritt-für-Schritt-Erklärung des sinusförmigen Positional Encodings: warum Attention die Wortreihenfolge ignoriert, Uhren mit verschiedenem Tempo, ein Rechenbeispiel mit 12 Dimensionen und Rotation.
8 Min. LesezeitResidualverbindungen erklärt: Warum sich tiefe Transformer überhaupt trainieren lassen
Warum stumpfes Stapeln von Schichten das Training bricht, wie Skip-Verbindungen x + F(x) den Gradientenfluss retten, wie Pre-LayerNorm-Blöcke sie nutzen, und eine kurze PyTorch-Implementierung.
4 Min. LesezeitEinen Transformer von Grund auf in PyTorch bauen: Attention, Encoder und Decoder
Schritt-für-Schritt-Code in PyTorch für die Kernbausteine eines Transformers: Positional Encoding, Scaled Dot-Product und Multi-Head Attention, Feed-forward-Schichten, Encoder-Stack und Decoder-Grundlagen.
8 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.