Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: PyTorch
Обучение небольшого GPT на индийских народных сказках: токенизатор, маска и функция потерь
Генерация GPT с 9M параметрами с нуля: почему токенизатор GPT-2 не справляется с словами из народных сказок, как работают BPE и каузальная маска, и почему одна пачка данных дает 4,096 потерь для следующего токена.
16 мин чтенияОт прогнозирования следующего токена к выполнению инструкций: тонкая настройка модели GPT
Как заранее обученный GPT учится выполнять указания: форматирование записей, смещение меток, маски заполнения, цикл обучения, ограничения оценки и шаг к предпочтениям DPO.
9 мин чтенияОстаточные связи: почему глубокие трансформеры вообще удаётся обучить
Почему простое наращивание слоёв ломает обучение, как skip-связи x + F(x) чинят поток градиентов, как их используют блоки с Pre-LayerNorm, и короткая реализация на PyTorch.
4 мин чтенияТрансформер с нуля на PyTorch: внимание, энкодер и декодер
Пошаговый код на PyTorch для ключевых частей трансформера: позиционное кодирование, scaled dot-product и multi-head attention, feed-forward слои, стек энкодера и основы декодера.
8 мин чтенияКак работает слой эмбеддингов: от текста к ID токенов и векторам в LLM
Понятное для новичков объяснение слоя эмбеддингов: токенизация, таблицы поиска, обучаемые векторы, пример на 205 миллионов параметров и короткое демо на PyTorch с nn.Embedding.
5 мин чтенияТокенизатор BPE с нуля: более короткие последовательности для небольшого окна контекста GPT
Напишите токенизатор с кодированием пар байтов на Python, обучите его на WikiText-2, сохраните результаты токенизации в формате JSON и посмотрите, как субсловесная токенизация увеличивает окно контекста GPT.
26 мин чтенияОтладка небольшой версии GPT в PyTorch: тесты, позволяющие выявить каждую причину сбоя.
Пошаговый процесс работы для отладки GPT на уровне символов в PyTorch, начиная с идентификаторов токенов и смещения целей до градиентов, значений NaN в функциях потерь и точек контроля.
30 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.