Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: pytorch
Залишкові зв'язки: чому глибокі трансформери взагалі вдається навчити
Чому просте нарощування шарів ламає навчання, як skip-зв'язки x + F(x) лагодять потік градієнтів, як їх використовують блоки з Pre-LayerNorm, і коротка реалізація на PyTorch.
1031 слівЧитатиТрансформер з нуля на PyTorch: увага, енкодер і декодер
Покроковий код на PyTorch для ключових частин трансформера: позиційне кодування, scaled dot-product і multi-head attention, feed-forward шари, стек енкодера та основи декодера.
1819 слівЧитатиЯк працює шар ембедингів: від тексту до ID токенів і векторів у LLM
Зрозуміле для початківців пояснення шару ембедингів: токенізація, таблиці пошуку, навчувані вектори, приклад на 205 мільйонів параметрів і коротке демо на PyTorch з nn.Embedding.
1201 слівЧитатиСтворення токенайзера з кодуванням пар байтів з нуля для невеликого GPT
Реалізуйте токенайзер BPE на рівні символів у Python, навчіть його на WikiText-2, збережіть та створіть його «відбиток», а потім перенавчіть невеликий GPT на коротші, більш щільні послідовності токенів.
6273 слівЧитатиВідладка моделі Small GPT у PyTorch: тести, які ізолюють кожну причину збою.
Етапний алгоритм роботи для відладки моделі GPT на рівні символів у PyTorch, від ідентифікації токенів та зміни цілей до обчислення градієнтів, виявлення значень NaN та використання контрольних точок.
6828 слівЧитати
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.