Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: transformers
Навучанне маленькага GPT на індыйскіх народных казках: токенізатар, маска і страты
GPT на 9 млн параметраў з нуля: чаму токенізатар GPT-2 не спраўляецца са словамі казак, як працуюць BPE і каўзальная маска і як адзін батч дае 4096 страт на наступным токене.
16 хв чытанняЯк працуюць трансформеры: ад вузкіх месцаў RNN да ўвагі, агентаў і акна кантэксту
Пакрокавы агляд трансформера: чаму RNN забуксавалі, як працуюць токены і эмбедынгі, увага, QKV, галовы, пазіцыі, структура блока, маштаб і агенты.
40 хв чытанняАд прадказання наступнага токена да працоўнага кода: як LLM генеруюць Python
Токены, softmax, тэмпература, self-attention і feed-forward пласты па парадку, з пакрокавым прыкладам сартавання і жорсткімі межамі, якія вынікаюць з прадказання.
9 хв чытанняАд прадказання токена да выканання інструкцый: файнцюнінг GPT-мадэлі
Як папярэдне навучаная GPT вучыцца выконваць інструкцыі: фарматаванне запісаў, зрух метак, маскі запаўнення, цыкл навучання, межы ацэнкі і крок да пераваг DPO.
9 хв чытанняУнутры LLM: інферэнс Qwen3-0.6B на чыстым Python і MLX
Пакрокава будуем інферэнс LLM прыкладна ў 200 радках Python з MLX: токенізатар, RMSNorm, RoPE, grouped query attention, SwiGLU, KV-кэш і сэмплаванне.
13 хв чытанняШто такое LoRA і QLoRA: настройка 7B-мадэлі без 100 ГБ VRAM
Чаму для абсалютнага файн-цюнінгу патрэбны 80–100 ГБ, як адаптары з нізкім рангам скарочваюць вагі, якія можна трэнаваць, да 1,6%, як выбіраць ранг і цяльныя шары, і што дае QLoRA.
5 хв чытанняЧым на самай справе ёсць GPT і чаму інжынерыя штучнага інтэлекту яшчэ застаецца інжынерыяй.
Распакавайце Generative Pre-trained Transformer, attention, fit and predict, і пазірце, чаму хорашая праца штучнага інтэлекту яшчэ залежыць ад звычайнага інжынерскага суджэння і крашчых запітанняў.
4 хв чытанняЗ адміністрацыяў да трансфармацёраў: як NLP научылася працаваць з кантэкстам
Кароткая гісторыя апрацоўкі нейтранальных мов: сістэмы на адказе правілаў, N-грамы, модэлі Маркова, векторы слоў, RNN-ы, механізмы адзначэння значнасці, трансфармеры і большыя модэлі мовы, створаныя на ўсём гэтым.
7 хв чытанняЧаму трансфармэры выкарыстоўваюць сінус і косынус для кодавання пазіцыі
Паспрабовыя адказы пра сінусоўскую кодаванне пазіцыі: ад прычын, чаму механізм увагі ігнаруе парадак слоў, да гадзінаў разныя па швальбе; прыклад у 12 вымерах з практычным раслічэнням і працэс роцыявання.
8 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.