Инженерные заметки
Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: sampling
От промпта к токену: как LLM превращает текст в числа и обратно
Проследим путь короткого промпта через токенизацию, эмбеддинги, attention, feed-forward-слои, softmax и сэмплирование, чтобы увидеть, как модель на самом деле выбирает каждое следующее слово.
1615 словЧитатьПолный процесс инференса LLM: предзаполнение, декодирование, кэш KV и выбор примеров
Обзор работы токенизатора в режиме потока с учетом особенностей использования на доске для записи — почему операция предзаполнения ограничена вычислительными ресурсами, а декодирование — пропускной способностью, и как механизмы GQA, пейджинга и спекуляции влияют на экономику процесса.
9213 словЧитать
FAQ
О этих статьях
Да. Каждый текст — оригинальный английский рерайт для этого сайта. Структура и код следуют источнику; проза переписана и проверена на пересечения.
Технические посты сначала на английском, чтобы код и API оставались точными. Оболочка сайта доступна на всех девяти языках.
Новые черновики попадают в очередь после редактуры. Импорт на сайт берёт только новые или изменённые slug — без дублей.
Примеры иллюстративные. Проверяйте стек и лицензии перед продом. Для внедрения пришлите бриф.
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.