Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: transformers
Обучение небольшого GPT на индийских народных сказках: токенизатор, маска и функция потерь
Генерация GPT с 9M параметрами с нуля: почему токенизатор GPT-2 не справляется с словами из народных сказок, как работают BPE и каузальная маска, и почему одна пачка данных дает 4,096 потерь для следующего токена.
16 мин чтенияКак работают трансформеры: от узких мест в RNN до механизмов внимания, агентов и окон контекста
Пошаговый обзор трансформера: почему RNN застряли, как работают токены и эмбеддинги, внимание, QKV, головы, позиции, структура блоков, масштабирование и агенты.
40 мин чтенияОт прогнозирования следующего токена к рабочему коду: как большие языковые модели генерируют Python
По порядку объясняются токены, алгоритм softmax, параметр температуры, механизм самовнимания и слои с передачей сигнала вперед, приводится пример пошаговой сортировки, а также жесткие ограничения, вытекающие из процесса прогнозирования.
9 мин чтенияОт прогнозирования следующего токена к выполнению инструкций: тонкая настройка модели GPT
Как заранее обученный GPT учится выполнять указания: форматирование записей, смещение меток, маски заполнения, цикл обучения, ограничения оценки и шаг к предпочтениям DPO.
9 мин чтенияВнутри LLM: инференс на чистом Python для Qwen3-0.6B на MLX
Пошаговая реализация процесса интерпретации LLM примерно из 200 строк кода на Python с использованием MLX: токенизатор, RMSNorm, RoPE, группированное внимание к запросам, SwiGLU, кэш KV и метод выборки.
13 мин чтенияLoRA и QLoRA простыми словами: дообучение 7B-модели без 100 ГБ видеопамяти
Почему полное дообучение требует 80–100 ГБ, как низкоранговые адаптеры сокращают обучаемые веса до 1,6%, как выбрать ранг и целевые слои и что добавляет QLoRA.
5 мин чтенияЧто на самом деле значит GPT и почему ИИ-инжиниринг остаётся инжинирингом
Разбираем Generative Pre-trained Transformer, механизм внимания, fit и predict и объясняем, почему хорошая работа с ИИ по-прежнему держится на обычном инженерном здравом смысле и правильных вопросах.
4 мин чтенияОт правил к трансформерам: как NLP научилась понимать контекст
Краткая история обработки естественного языка: системы на правилах, N-граммы, марковские модели, векторы слов, RNN, внимание, трансформеры и большие языковые модели на их основе.
7 мин чтенияЗачем трансформерам синус и косинус для позиционного кодирования
Пошаговое объяснение синусоидального позиционного кодирования: почему внимание не видит порядок слов, часы с разной скоростью, разобранный пример на 12 измерениях и вращение.
8 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.