Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: deep-learning
Суперпазіцыя ў нейрасетках: цацачныя мадэлі, SAE і зліццё прыкмет
Як сеткі захоўваюць больш прыкмет, чым маюць вымярэнняў, чаго каштуе інтэрферэнцыя і чаму разрэджаныя аўтаэнкодэры могуць зліваць прыкметы, якія даныя не здольныя раздзяліць.
19 хв чытанняЯк працуюць трансформеры: ад вузкіх месцаў RNN да ўвагі, агентаў і акна кантэксту
Пакрокавы агляд трансформера: чаму RNN забуксавалі, як працуюць токены і эмбедынгі, увага, QKV, галовы, пазіцыі, структура блока, маштаб і агенты.
40 хв чытанняЯк штучныя інтэлекты чытаюць і перадаюць фота: наука, стоячая за портрэтамі 1980-х гадоў
Як мадэлі візуальнага розпазнавання ператвараюць пікселі на эмбеддынгі і як генератыўскія AI-сістэмы выкарыстоўваюць іх для перэзманктування фота ў стыле фільмаў 1980-х гадоў, з абмежэннямі па точнасці, ідэнтычнасці і можлівасці адгуквання.
9 хв чытанняЯк трансфармер чытае «Кацка сядзела на калошку», пасля пасля
Адаптаваець працуе з адной фразай праз шары: токены, эмбеджы, пазіцыі, самаатэнцыя, застатковыя з’ёднанні, нормалізацыя і сетка падачы-выходу.
6 хв чытанняЧаму трансфармэры выкарыстоўваюць сінус і косынус для кодавання пазіцыі
Паспрабовыя адказы пра сінусоўскую кодаванне пазіцыі: ад прычын, чаму механізм увагі ігнаруе парадак слоў, да гадзінаў разныя па швальбе; прыклад у 12 вымерах з практычным раслічэнням і працэс роцыявання.
8 хв чытанняПасляўсевыя з’ёднання: чаму глęбокі трансфармэры взагалі можаюць трэнавацца
Чаму складванне шароў спяшаць трэніраванне, як з’ёднання тыпу x + F(x) выправляюць прыток градыента, як блакі Pre-LayerNorm іх выкарыстоўваюць, і короткая рэалізацыя ў PyTorch.
4 хв чытанняСтварэнне Transformer з нуля на PyTorch: увага, кодэр і адмовадзіцель.
Параграф за параграфам код на PyTorch для основных складовакоў Transformer: позыцыйнае кодаванне, масаваны дот-продукт і багатагалавая увага, шары падаючага сігналу, стакан кодэра і адмовадзіцеля.
8 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.