Інжынерныя нататкі
Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: sampling
From Prompt to Token: How an LLM Turns Text Into Numbers and Back
Follow a short prompt through tokenization, embeddings, attention, feed-forward layers, softmax and sampling to see how a model really picks each next word.
1615 слоўЧытацьПрацавае выкананне LLM ад початку да канца: прыпраўленне дадзенняяў, декодаванне, кэш KV та выбіранне прыкладоў.
Экскурсія па токенайзеры ў формате, прыдатным для белай дошкі, па процесу стрімінгу — чаму прыпраўленне дадзенняяў залежыць ад вычысленняў, декодаванне — ад пропускной здатнасі, і як GQA, пейджаванне та спекуляцыяі зменяюць эконаміку процесу.
9213 слоўЧытаць
FAQ
Пра гэтыя артыкулы
Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.
Тэхнічныя пасты спачатку па-англійску, каб код і API заставаліся дакладнымі. Абалонка сайта — на ўсіх дзевяці мовах.
Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.
Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.