Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: kv-cache
Інженерія контексту для агентів з тривалим функціонуванням: векторна база даних, KV-кеш, Claude Code
Інженерія контексту для агентів, які виконують 200 кроків: чому довгі контексти занепадають, економіка KV-кешу, пам’ять векторної бази даних та в чому відмінності Claude Code та інших.
13 хв читанняQUOKA простими словами: як вибрати, яку історію KV читати увазі
Як QUOKA пришвидшує prefill довгих промптів: основи KV-кешу, chunked prefill, вибір нетипових запитів, оцінка за максимумом і дешева попередня агрегація для grouped-query attention.
9 хв читанняKV-кеш простими словами: чому довгий контекст — це рахунок за пам’ять, а не розум
Зрозуміле пояснення KV-кешу: що він зберігає, як порахувати його розмір, чому довгий контекст з’їдає пам’ять і чотири способи зменшити витрати на локальних моделях.
8 хв читанняПеренесення KV-кешу між моделями Qwen3 замість повторного префілу
Дослідження NVIDIA переводить стан уваги Qwen3-14B у Qwen3-32B за допомогою мосту на гребеневій регресії. Що означають цифри затримки, де метод ламається і чому це важливо для агентів.
8 хв читанняЧому раунд-робін не підходить для флотів LLM: як llm-d визначає маршрути через кеш KV та глибину черги.
Раунд-робінне балансування навантаження марнує запити до кешу KV та ігнорує розмір запиту. Як llm-d оцінює репліки vLLM у Kubernetes та розділяє процеси попереднього заповнення та декодування.
10 хв читанняКеш KV — це невидима база даних, яка споживає пам’ять GPU під час декодування LLM.
Кеш KV тихо споживає пам’ять GPU під час інференсу LLM: попереднє заповнення проти декодування, математика KV, GQA та MQA, PagedAttention, політики квантування та видалення.
9 хв читанняКінцево-кінцеве інференсування LLM: попереднє заповнення, декодування, кеш KV та вибір зразків.
Огляд роботи токенайзера під час стрімування у форматі, придатному для використання на дошці запису — чому процес попереднього заповнення обмежений потужністю обчислювальних пристроїв, а декодування — пропускною здатністю каналу, та як GQA, пейджинг та спекуляція впливають на економіку процесу.
40 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.