Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: deep-learning
Суперпозиция в нейронных сетях: упрощенные модели, SAE и слияние признаков
Как сети хранят больше признаков, чем имеется размерностей, какова стоимость взаимного влияния, и почему разреженные автоэнкодеры могут объединять признаки, которые данные не могут разделить.
19 мин чтенияКак работают трансформеры: от узких мест в RNN до механизмов внимания, агентов и окон контекста
Пошаговый обзор трансформера: почему RNN застряли, как работают токены и эмбеддинги, внимание, QKV, головы, позиции, структура блоков, масштабирование и агенты.
40 мин чтенияКак ИИ читает и пересобирает фотографию: что стоит за портретами «из 1980-х»
Как модели зрения превращают пиксели в эмбеддинги и как генеративный ИИ с их помощью стилизует снимок под плёнку 1980-х — и где у этого пределы точности, сходства и распознавания.
9 мин чтенияКак трансформер читает «The cat sat on the mat»: шаг за шагом
Проследим одно предложение через слой трансформера: токены, эмбеддинги, позиции, self-attention, residual-связи, нормализация и feed-forward сеть.
6 мин чтенияЗачем трансформерам синус и косинус для позиционного кодирования
Пошаговое объяснение синусоидального позиционного кодирования: почему внимание не видит порядок слов, часы с разной скоростью, разобранный пример на 12 измерениях и вращение.
8 мин чтенияОстаточные связи: почему глубокие трансформеры вообще удаётся обучить
Почему простое наращивание слоёв ломает обучение, как skip-связи x + F(x) чинят поток градиентов, как их используют блоки с Pre-LayerNorm, и короткая реализация на PyTorch.
4 мин чтенияТрансформер с нуля на PyTorch: внимание, энкодер и декодер
Пошаговый код на PyTorch для ключевых частей трансформера: позиционное кодирование, scaled dot-product и multi-head attention, feed-forward слои, стек энкодера и основы декодера.
8 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.