Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: transformers
Навчання невеликого GPT на індійських народних казках: токенайзер, маска та втрати.
Генерація GPT з 9 мільйонами параметрів від початку: чому токенайзер GPT-2 не справляється зі словами народних казок, як працюють BPE та каузальна маска, і чому один пакет даних дає 4 096 значень втрат наступного токена.
16 хв читанняЯк працюють Transformer: від обмежень RNN до уваги, агентів та вікон контексту
Покроковий огляд трансформера: чому RNN зупинилися у розвитку, як працюють токени та ембеддинги, увага, QKV, голови, позиції, структура блоків, масштабування та агенти.
40 хв читанняВід прогнозування наступного токену до функціонального коду: як ШІ генерують Python
Токени, softmax, температура, механізм самоуваги та шари з передачею сигналу по ланцюзу пояснюються по порядку, із прикладом поетапної сортування та жорсткими обмеженнями, які випливають з прогнозування.
9 хв читанняВід прогнозування наступного токену до виконання інструкцій: тонке налаштування моделі GPT
Як заздалегідь навчений GPT вчиться виконувати інструкції: форматування записів, зміна міток, маски заповнення, цикл навчання, обмеження оцінки та крок до уподобань DPO.
9 хв читанняВсередині LLM: чисте виконання на Python для Qwen3-0.6B на MLX
Крок за кроком створення механізму інференсу LLM приблизно з 200 рядків коду на Python за допомогою MLX: токенайзер, RMSNorm, RoPE, групована увага до запитів, SwiGLU, кеш KV та вибірка даних.
13 хв читанняLoRA і QLoRA простими словами: донавчання 7B-моделі без 100 ГБ відеопам'яті
Чому повне донавчання потребує 80–100 ГБ, як низькорангові адаптери скорочують ваги, що навчаються, до 1,6%, як обрати ранг і цільові шари та що додає QLoRA.
5 хв читанняЩо насправді означає GPT і чому ШІ-інжиніринг лишається інжинірингом
Розбираємо Generative Pre-trained Transformer, механізм уваги, fit і predict та пояснюємо, чому якісна робота з ШІ досі тримається на звичайному інженерному здоровому глузді й правильних питаннях.
4 хв читанняВід правил до трансформерів: як NLP навчилася розуміти контекст
Коротка історія обробки природної мови: системи на правилах, N-грами, марковські моделі, вектори слів, RNN, увага, трансформери й великі мовні моделі на їхній основі.
7 хв читанняНавіщо трансформерам синус і косинус для позиційного кодування
Покрокове пояснення синусоїдального позиційного кодування: чому увага не бачить порядку слів, годинники з різною швидкістю, розібраний приклад на 12 вимірах і обертання.
8 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.