Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: PyTorch
Навчання невеликого GPT на індійських народних казках: токенайзер, маска та втрати.
Генерація GPT з 9 мільйонами параметрів від початку: чому токенайзер GPT-2 не справляється зі словами народних казок, як працюють BPE та каузальна маска, і чому один пакет даних дає 4 096 значень втрат наступного токена.
16 хв читанняВід прогнозування наступного токену до виконання інструкцій: тонке налаштування моделі GPT
Як заздалегідь навчений GPT вчиться виконувати інструкції: форматування записів, зміна міток, маски заповнення, цикл навчання, обмеження оцінки та крок до уподобань DPO.
9 хв читанняЗалишкові зв'язки: чому глибокі трансформери взагалі вдається навчити
Чому просте нарощування шарів ламає навчання, як skip-зв'язки x + F(x) лагодять потік градієнтів, як їх використовують блоки з Pre-LayerNorm, і коротка реалізація на PyTorch.
4 хв читанняТрансформер з нуля на PyTorch: увага, енкодер і декодер
Покроковий код на PyTorch для ключових частин трансформера: позиційне кодування, scaled dot-product і multi-head attention, feed-forward шари, стек енкодера та основи декодера.
8 хв читанняЯк працює шар ембедингів: від тексту до ID токенів і векторів у LLM
Зрозуміле для початківців пояснення шару ембедингів: токенізація, таблиці пошуку, навчувані вектори, приклад на 205 мільйонів параметрів і коротке демо на PyTorch з nn.Embedding.
5 хв читанняТокенізатор BPE з нуля: коротші послідовності для малого вікна контексту GPT
Напишіть токенайзер для кодування пар байтів у Python, навчіть його на WikiText-2, збережіть результати об’єднання у форматі JSON та подивіться, як субсловесна токенізація розширює вікно контексту GPT.
26 хв читанняВідладка моделі Small GPT у PyTorch: тести, які ізолюють кожну причину збою.
Етапний алгоритм роботи для відладки моделі GPT на рівні символів у PyTorch, від ідентифікації токенів та зміни цілей до обчислення градієнтів, виявлення значень NaN та використання контрольних точок.
30 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.