Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: llm-inference
QUOKA простими словами: як вибрати, яку історію KV читати увазі
Як QUOKA пришвидшує prefill довгих промптів: основи KV-кешу, chunked prefill, вибір нетипових запитів, оцінка за максимумом і дешева попередня агрегація для grouped-query attention.
2028 слівЧитатиFlashAttention і PagedAttention: два рішення для двох різних вузьких місць
Як FlashAttention пришвидшує обчислення уваги завдяки тайлінгу й онлайн-softmax, як PagedAttention керує пам'яттю KV-кешу і чому стеки на кшталт vLLM використовують обидва.
1662 слівЧитатиKV-кеш простими словами: чому довгий контекст — це рахунок за пам’ять, а не розум
Зрозуміле пояснення KV-кешу: що він зберігає, як порахувати його розмір, чому довгий контекст з’їдає пам’ять і чотири способи зменшити витрати на локальних моделях.
1921 слівЧитатиПластина Cerebras проти GPU для інференсу LLM: бенчмарк на GPT-OSS
Порівнюємо wafer-scale рушій Cerebras з інференсом на GPU на GPT-OSS-120B у п'яти типах навантаження, а потім дивимося, наскільки Ultrafast пришвидшує GPT-5.6 Sol через API.
861 слівЧитатиПеренесення KV-кешу між моделями Qwen3 замість повторного префілу
Дослідження NVIDIA переводить стан уваги Qwen3-14B у Qwen3-32B за допомогою мосту на гребеневій регресії. Що означають цифри затримки, де метод ламається і чому це важливо для агентів.
1817 слівЧитати
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.