Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: pytorch
Residual Connections Explained: Why Deep Transformers Can Train at All
Why stacking layers breaks training, how x + F(x) skip connections fix gradient flow, how Pre-LayerNorm blocks use them, and a short PyTorch implementation.
1031 слоўЧытацьBuild a Transformer From Scratch in PyTorch: Attention, Encoder and Decoder
Step-by-step PyTorch code for the core Transformer pieces: positional encoding, scaled dot-product and multi-head attention, feed-forward layers, encoder stack and decoder basics.
1819 слоўЧытацьHow Embedding Layers Work: From Text to Token IDs to Vectors in an LLM
A beginner-friendly look at embedding layers: tokenization, lookup tables, learned vectors, the 205 million parameter example, and a short PyTorch demo with nn.Embedding.
1201 слоўЧытацьСтварэнне токенізатора на адметку кодування пар байтов з нуля для невялікага GPT.
Адаптаваць токенізатор на рэвень симвалаў BPE на мове Python, натрэнаваць яго на дасветке WikiText-2, зберагчы і створыўшы його «фінгерпринт», а таксама перенатрэнаваць невялікі GPT на корачыя, болей ўжатыя последованасці токенаў.
6273 слоўЧытацьДэбаггінг малога GPT у PyTorch: тэсты, якія ізольуюць кожную прычыну аблучэння.
Этапна схема роботы для дэбаггінгу GPT на рывень симвалаў у PyTorch – ад ідэнтаў токенав і змены цялевых значэнняў да градыентаў, значэнняў NaN і пунктав перапачатку.
6828 слоўЧытаць
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.