Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: PyTorch
Training eines kleinen GPTs anhand indischer Volksmärchen: Tokenisierer, Maske und Verlustfunktion
Ein GPT mit 9M Parametern von Grund auf: Warum der Tokenisierer von GPT-2 bei Worten aus Volksmärchen versagt, wie BPE und die kausale Maske funktionieren sowie warum eine Batch-Verarbeitung zu 4.096 Verlusten pro nächsten Token führt.
16 Min. LesezeitVon der Vorhersage des nächsten Tokens zur Befolgung von Anweisungen: Feinabstimmung eines GPT-Modells
Wie ein vortrainiertes GPT lernt, Anweisungen zu befolgen: Formatierung von Datensätzen, Etikettverschiebung, Padding-Masken, der Trainingszyklus, Bewertungsgrenzen und der Schritt hin zu DPO-Präferenzen.
9 Min. LesezeitResidualverbindungen erklärt: Warum sich tiefe Transformer überhaupt trainieren lassen
Warum stumpfes Stapeln von Schichten das Training bricht, wie Skip-Verbindungen x + F(x) den Gradientenfluss retten, wie Pre-LayerNorm-Blöcke sie nutzen, und eine kurze PyTorch-Implementierung.
4 Min. LesezeitEinen Transformer von Grund auf in PyTorch bauen: Attention, Encoder und Decoder
Schritt-für-Schritt-Code in PyTorch für die Kernbausteine eines Transformers: Positional Encoding, Scaled Dot-Product und Multi-Head Attention, Feed-forward-Schichten, Encoder-Stack und Decoder-Grundlagen.
8 Min. LesezeitWie Embedding-Layer funktionieren: vom Text über Token-IDs zu Vektoren im LLM
Ein einsteigerfreundlicher Blick auf Embedding-Layer: Tokenisierung, Lookup-Tabellen, gelernte Vektoren, das Beispiel mit 205 Millionen Parametern und eine kurze PyTorch-Demo mit nn.Embedding.
5 Min. LesezeitBPE-Tokenisierer von Grund auf: Kürzere Sequenzen für ein kleines Kontextfenster von GPT
Schreiben Sie einen Byte-Pair-Encoding-Tokenizer in Python, trainieren Sie ihn mit WikiText-2, speichern Sie die Ergebnisse als JSON und beobachten Sie, wie die Subwort-Tokenisierung das Kontextfenster eines GPT erweitert.
26 Min. LesezeitFehlersuche bei einem kleinen GPT in PyTorch: Tests, die jeden Fehler isolieren.
Ein schrittweiser Arbeitsablauf zur Fehlersuche bei einem GPT auf Zeichenebene in PyTorch, von Token-IDs und Zielverschiebungen bis hin zu Gradienten, NaN-Verlusten und Checkpoints.
30 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.