Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: deep-learning
Суперпозиція в нейронних мережах: моделі-іграшки, SAE та об’єднання ознак
Як мережі зберігають більше ознак, ніж є розміри, які витрати спричиняє перешкоджання, та чому розріджені автоенкодери можуть об’єднувати ознаки, які дані не можуть розділити.
19 хв читанняЯк працюють Transformer: від обмежень RNN до уваги, агентів та вікон контексту
Покроковий огляд трансформера: чому RNN зупинилися у розвитку, як працюють токени та ембеддинги, увага, QKV, голови, позиції, структура блоків, масштабування та агенти.
40 хв читанняЯк ШІ читає й перебудовує фотографію: що стоїть за портретами «з 1980-х»
Як моделі зору перетворюють пікселі на ембединги і як генеративний ШІ з їхньою допомогою стилізує знімок під плівку 1980-х — і де межі точності, схожості та розпізнавання.
9 хв читанняЯк трансформер читає «The cat sat on the mat»: крок за кроком
Простежимо одне речення крізь шар трансформера: токени, ембедінги, позиції, self-attention, residual-зв'язки, нормалізація та feed-forward мережа.
6 хв читанняНавіщо трансформерам синус і косинус для позиційного кодування
Покрокове пояснення синусоїдального позиційного кодування: чому увага не бачить порядку слів, годинники з різною швидкістю, розібраний приклад на 12 вимірах і обертання.
8 хв читанняЗалишкові зв'язки: чому глибокі трансформери взагалі вдається навчити
Чому просте нарощування шарів ламає навчання, як skip-зв'язки x + F(x) лагодять потік градієнтів, як їх використовують блоки з Pre-LayerNorm, і коротка реалізація на PyTorch.
4 хв читанняТрансформер з нуля на PyTorch: увага, енкодер і декодер
Покроковий код на PyTorch для ключових частин трансформера: позиційне кодування, scaled dot-product і multi-head attention, feed-forward шари, стек енкодера та основи декодера.
8 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.