Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: kv-cache
Инженерия контекста для агентов с длительной работой: векторные базы данных, KV-кэш, Claude Code
Инженерия контекста для агентов, выполняющих 200 шагов: почему длинные контексты разрушаются, экономика KV-кэша, память векторной базы данных и в чём различия между Claude Code и другими решениями.
13 мин чтенияQUOKA простыми словами: как выбрать, какую историю KV читать вниманию
Как QUOKA ускоряет prefill длинных промптов: основы KV-кэша, chunked prefill, выбор нетипичных запросов, оценка по максимуму и дешёвая предагрегация для grouped-query attention.
9 мин чтенияKV-кэш простыми словами: почему длинный контекст — это счёт за память, а не ум
Понятное объяснение KV-кэша: что он хранит, как посчитать его размер, почему длинный контекст съедает память и четыре способа снизить расходы на локальных моделях.
8 мин чтенияПеренос KV-кэша между моделями Qwen3 вместо повторного префилла
Исследование NVIDIA переводит состояние внимания Qwen3-14B в Qwen3-32B с помощью моста на гребневой регрессии. Что значат цифры задержки, где метод ломается и почему это важно для агентов.
8 мин чтенияПочему раунд-робин не справляется с флотами LLM: как llm-d определяет маршруты через кэш KV и глубину очереди.
Раунд-робинное балансирование нагрузки тратит ресурсы кэша KV и игнорирует размер запросов. Как llm-d оценивает реплики vLLM на Kubernetes и разделяет операции предзаполнения и декодирования.
10 мин чтенияКэш KV — это невидимая база данных, которая истощает память GPU во время декодирования LLM.
Кэш KV тихо потребляет память GPU во время инференса LLM: предзаполнение против декодирования, математика KV, GQA и MQA, PagedAttention, политики квантизации и выгонки.
9 мин чтенияПолный процесс инференса LLM: предзаполнение, декодирование, кэш KV и выбор примеров
Обзор работы токенизатора в режиме потока с учетом особенностей использования на доске для записи — почему операция предзаполнения ограничена вычислительными ресурсами, а декодирование — пропускной способностью, и как механизмы GQA, пейджинга и спекуляции влияют на экономику процесса.
40 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.