Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: transformers
Training eines kleinen GPTs anhand indischer Volksmärchen: Tokenisierer, Maske und Verlustfunktion
Ein GPT mit 9M Parametern von Grund auf: Warum der Tokenisierer von GPT-2 bei Worten aus Volksmärchen versagt, wie BPE und die kausale Maske funktionieren sowie warum eine Batch-Verarbeitung zu 4.096 Verlusten pro nächsten Token führt.
16 Min. LesezeitWie Transformer funktionieren – von RNN-Engpässen bis zu Attention, Agenten und Kontextfenstern
Ein schrittweiser Überblick über den Transformer: Warum RNNs ins Stocken gerieten, wie Tokens und Embeddings funktionieren, Attention, QKV, Heads, Positionen, Blockstruktur, Skalierung und Agenten.
40 Min. LesezeitVon der Vorhersage des nächsten Tokens bis zum funktionsfähigen Code: Wie LLMs Python erzeugen
Tokens, Softmax, Temperatur, Selbstaufmerksamkeits- und Feed-Forward-Schichten werden nacheinander erläutert, zusammen mit einem schrittweisen Sortierbeispiel sowie den daraus resultierenden Grenzen bei der Vorhersage.
9 Min. LesezeitVon der Vorhersage des nächsten Tokens zur Befolgung von Anweisungen: Feinabstimmung eines GPT-Modells
Wie ein vortrainiertes GPT lernt, Anweisungen zu befolgen: Formatierung von Datensätzen, Etikettverschiebung, Padding-Masken, der Trainingszyklus, Bewertungsgrenzen und der Schritt hin zu DPO-Präferenzen.
9 Min. LesezeitIm Inneren eines LLM: Reine Python-Inferenz für Qwen3-0.6B auf MLX
Schrittweise Implementierung der LLM-Infersion in etwa 200 Python-Sätzen mit MLX: Tokenisierer, RMSNorm, RoPE, gruppierte Abfragedaten-Attention, SwiGLU, KV-Cache und Sampling.
13 Min. LesezeitLoRA und QLoRA erklärt: Ein 7B-Modell feintunen ohne 100 GB VRAM
Warum vollständiges Fine-Tuning 80 bis 100 GB braucht, wie Low-Rank-Adapter die trainierbaren Gewichte auf 1,6 % senken, wie man Rang und Ziel-Layer wählt und was QLoRA hinzufügt.
5 Min. LesezeitWofür GPT wirklich steht und warum KI-Engineering immer noch Engineering ist
Generative Pre-trained Transformer, Attention, fit und predict entschlüsselt, und warum gute KI-Arbeit weiterhin von solidem technischem Urteilsvermögen und besseren Fragen abhängt.
4 Min. LesezeitVon Regeln zu Transformern: Wie NLP lernte, mit Kontext umzugehen
Eine kurze Geschichte der Verarbeitung natürlicher Sprache: regelbasierte Systeme, N-Gramme, Markov-Modelle, Wortvektoren, RNNs, Attention, Transformer und die großen Sprachmodelle, die darauf aufbauen.
7 Min. LesezeitWarum Transformer Sinus und Kosinus für das Positional Encoding nutzen
Eine Schritt-für-Schritt-Erklärung des sinusförmigen Positional Encodings: warum Attention die Wortreihenfolge ignoriert, Uhren mit verschiedenem Tempo, ein Rechenbeispiel mit 12 Dimensionen und Rotation.
8 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.