Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: llm-inference
QUOKA простыми словами: как выбрать, какую историю KV читать вниманию
Как QUOKA ускоряет prefill длинных промптов: основы KV-кэша, chunked prefill, выбор нетипичных запросов, оценка по максимуму и дешёвая предагрегация для grouped-query attention.
2028 словЧитатьFlashAttention и PagedAttention: два решения для двух разных узких мест
Как FlashAttention ускоряет вычисление внимания за счёт тайлинга и онлайн-softmax, как PagedAttention управляет памятью KV-кэша и почему стеки в духе vLLM используют оба.
1662 словЧитатьKV-кэш простыми словами: почему длинный контекст — это счёт за память, а не ум
Понятное объяснение KV-кэша: что он хранит, как посчитать его размер, почему длинный контекст съедает память и четыре способа снизить расходы на локальных моделях.
1921 словЧитатьПластина Cerebras против GPU для инференса LLM: бенчмарк на GPT-OSS
Сравниваем wafer-scale движок Cerebras с инференсом на GPU на GPT-OSS-120B в пяти типах нагрузки, а затем смотрим, насколько Ultrafast ускоряет GPT-5.6 Sol через API.
861 словЧитатьПеренос KV-кэша между моделями Qwen3 вместо повторного префилла
Исследование NVIDIA переводит состояние внимания Qwen3-14B в Qwen3-32B с помощью моста на гребневой регрессии. Что значат цифры задержки, где метод ломается и почему это важно для агентов.
1817 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.