Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: attention
QUOKA erklärt: Welche KV-Historie die Attention lesen sollte
Wie QUOKA das Prefill langer Prompts beschleunigt: Grundlagen des KV-Cache, Chunked Prefill, Auswahl abweichender Queries, Max-Scoring und günstige Voraggregation für Grouped-Query Attention.
2028 WörterArtikel lesenWofür GPT wirklich steht und warum KI-Engineering immer noch Engineering ist
Generative Pre-trained Transformer, Attention, fit und predict entschlüsselt, und warum gute KI-Arbeit weiterhin von solidem technischem Urteilsvermögen und besseren Fragen abhängt.
845 WörterArtikel lesenDer KV-Cache erklärt: Warum langer Kontext eine Speicherrechnung ist und keine Intelligenz
Eine verständliche Erklärung des KV-Caches: was er speichert, wie man seine Größe berechnet, warum langer Kontext Speicher frisst und vier Wege, die Kosten bei lokalen Modellen zu senken.
1921 WörterArtikel lesenVon Regeln zu Transformern: Wie NLP lernte, mit Kontext umzugehen
Eine kurze Geschichte der Verarbeitung natürlicher Sprache: regelbasierte Systeme, N-Gramme, Markov-Modelle, Wortvektoren, RNNs, Attention, Transformer und die großen Sprachmodelle, die darauf aufbauen.
1674 WörterArtikel lesenWarum Transformer Sinus und Kosinus für das Positional Encoding nutzen
Eine Schritt-für-Schritt-Erklärung des sinusförmigen Positional Encodings: warum Attention die Wortreihenfolge ignoriert, Uhren mit verschiedenem Tempo, ein Rechenbeispiel mit 12 Dimensionen und Rotation.
1919 WörterArtikel lesenAttention-Mathematik Schritt für Schritt: von der Eingabematrix X bis Softmax und V
Einen Attention-Head von Hand durchrechnen: woher Q, K und V kommen, warum Scores durch die Wurzel aus d_k geteilt werden, wie Softmax sie gewichtet, dazu ein NumPy-Beispiel und Hinweise zum KV-Cache.
1565 WörterArtikel lesenEinen Transformer von Grund auf in PyTorch bauen: Attention, Encoder und Decoder
Schritt-für-Schritt-Code in PyTorch für die Kernbausteine eines Transformers: Positional Encoding, Scaled Dot-Product und Multi-Head Attention, Feed-forward-Schichten, Encoder-Stack und Decoder-Grundlagen.
1819 WörterArtikel lesenWie ein LLM funktioniert: Tokens, Attention und Next-Token-Vorhersage
Ein verständlicher Rundgang durch die LLM-Architektur von Tokens und Embeddings über Attention, kausales Maskieren und Generierung bis hin zum Unterschied zwischen Training und Inferenz.
1801 WörterArtikel lesen
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.