Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: attention
QUOKA простыми словами: как выбрать, какую историю KV читать вниманию
Как QUOKA ускоряет prefill длинных промптов: основы KV-кэша, chunked prefill, выбор нетипичных запросов, оценка по максимуму и дешёвая предагрегация для grouped-query attention.
2028 словЧитатьЧто на самом деле значит GPT и почему ИИ-инжиниринг остаётся инжинирингом
Разбираем Generative Pre-trained Transformer, механизм внимания, fit и predict и объясняем, почему хорошая работа с ИИ по-прежнему держится на обычном инженерном здравом смысле и правильных вопросах.
845 словЧитатьKV-кэш простыми словами: почему длинный контекст — это счёт за память, а не ум
Понятное объяснение KV-кэша: что он хранит, как посчитать его размер, почему длинный контекст съедает память и четыре способа снизить расходы на локальных моделях.
1921 словЧитатьОт правил к трансформерам: как NLP научилась понимать контекст
Краткая история обработки естественного языка: системы на правилах, N-граммы, марковские модели, векторы слов, RNN, внимание, трансформеры и большие языковые модели на их основе.
1674 словЧитатьЗачем трансформерам синус и косинус для позиционного кодирования
Пошаговое объяснение синусоидального позиционного кодирования: почему внимание не видит порядок слов, часы с разной скоростью, разобранный пример на 12 измерениях и вращение.
1919 словЧитатьМатематика внимания шаг за шагом: от входной матрицы X до softmax и V
Пройдём одну голову внимания вручную: откуда берутся Q, K и V, зачем оценки делят на корень из d_k, как softmax превращает их в веса, плюс пример на NumPy и заметки о KV-кэше.
1565 словЧитатьТрансформер с нуля на PyTorch: внимание, энкодер и декодер
Пошаговый код на PyTorch для ключевых частей трансформера: позиционное кодирование, scaled dot-product и multi-head attention, feed-forward слои, стек энкодера и основы декодера.
1819 словЧитатьКак работает LLM: токены, внимание и предсказание следующего токена
Простая экскурсия по архитектуре LLM: от токенов и эмбеддингов через внимание и каузальное маскирование к генерации, а также чем обучение отличается от инференса.
1801 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.