Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: pytorch
Остаточные связи: почему глубокие трансформеры вообще удаётся обучить
Почему простое наращивание слоёв ломает обучение, как skip-связи x + F(x) чинят поток градиентов, как их используют блоки с Pre-LayerNorm, и короткая реализация на PyTorch.
1031 словЧитатьТрансформер с нуля на PyTorch: внимание, энкодер и декодер
Пошаговый код на PyTorch для ключевых частей трансформера: позиционное кодирование, scaled dot-product и multi-head attention, feed-forward слои, стек энкодера и основы декодера.
1819 словЧитатьКак работает слой эмбеддингов: от текста к ID токенов и векторам в LLM
Понятное для новичков объяснение слоя эмбеддингов: токенизация, таблицы поиска, обучаемые векторы, пример на 205 миллионов параметров и короткое демо на PyTorch с nn.Embedding.
1201 словЧитатьСоздание токенизатора с кодированием пар байт с нуля для небольшого GPT
Реализуйте токенизатор BPE на уровне символов на Python, обучите его на WikiText-2, сохраните и сгенерируйте его «отпечаток», а затем переобучите небольшую модель GPT на более коротких и плотных последовательностях токенов.
6273 словЧитатьОтладка небольшой версии GPT в PyTorch: тесты, позволяющие выявить каждую причину сбоя.
Пошаговый процесс работы для отладки GPT на уровне символов в PyTorch, начиная с идентификаторов токенов и смещения целей до градиентов, значений NaN в функциях потерь и точек контроля.
6828 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.