Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: PyTorch
Навчанне маленькага GPT на індыйскіх народных казак: токенайзер, маска і втраты
Абсолютна версія GPT з 9 мільйонамі параметраў: чаму токенайзер GPT-2 не справляецца з словамі народных казак, як працюють BPE і каузальная маска, а таксама як адна партія дадае 4 096 втрат наступных токенав.
16 хв чытанняАдаптаванне модэлі GPT: ад прыгадвання наступнага токэна да выканання інструкцыйяў
Як заздалегідь навучаны GPT выучаецца выконваць інструкцыі: форматаванне записаў, змена атрыбутаў, маскі падпілу, цыкл трэнавання, ліміты ацэнкі і пераход да праганаў DPO.
9 хв чытанняПасляўсевыя з’ёднання: чаму глęбокі трансфармэры взагалі можаюць трэнавацца
Чаму складванне шароў спяшаць трэніраванне, як з’ёднання типу x + F(x) выправляюць прыток градіента, як блакі Pre-LayerNorm іх выкарыстоўваюць, і короткая реалізацыя ў PyTorch.
4 хв чытанняСтварэнне Transformer з нуля на PyTorch: увага, кодэр і адмовадзіцель.
Параграф за параграфам код на PyTorch для основных складовакоў Transformer: позыцыйнае кодаванне, масаваны дот-продукт і багатагалавая увага, шары падаючага сигналу, стакан кодэра і адмовадзіцеля.
8 хв чытанняЯк працююць шары умяшчэння: ад тексту да ID-аў токенаў і да вектараў у LLM
Просты ўражэння пра шары вбудоввання для пачатківаўцаў: токенізацыя, табелі пошуку, выучаныя вектары, прыклад з 205 мільйонамі параметраў, а таксама короткая дэманстрацыя на PyTorch з класам nn.Embedding.
5 хв чытанняBPE-токенізатор адаптаваны з нуля: корэйшыя последованцы для малага акна контэкста GPT
Напісайце токенайзер для кодування парагруп байт у Python, натрэнуйце яго на WikiText-2, зберажыце рэзультаты у формате JSON і паглядзіце, як токенізацыя падслова расширва вікна контэксту GPT.
26 хв чытанняДэбаггінг малога GPT у PyTorch: тэсты, якія ізольуюць кожную прычыну аблучэння.
Этапна схема роботы для дэбаггінгу GPT на рывень симвалаў у PyTorch – ад ідэнтаў токенав і змены цялевых значэнняў да градыентаў, значэнняў NaN і пунктав перапачатку.
30 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.