Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: GPU
Чому дві відеокарти RTX 3090 дають 55 tok/s замість 220 за допомогою SGLang та DFlash2.
Детальний огляд запуску Qwen3.8-27B на двох відеокартах 3090 за допомогою SGLang, а також того, як з’єднання PCIe x4, відсутність функції P2P, обмежений кеш KV та різкі сплески потужності знизили оголошену швидкість.
7 хв читанняПрапорці vllm serve з розумними стартовими значеннями
Практичний огляд прапорців vllm serve, які справді доводиться налаштовувати: dtype, використання пам'яті, довжина контексту, паралелізм, API-ключі та квантизація, зі значеннями для старту.
4 хв читанняЛокальна станція для LLM: від 20 до 60 токенів на секунду на двох GPU
Вживана машина на Xeon із двома RTX 5060 Ti, Qwen 27B, тензорний паралелізм і NCCL: правила вибору заліза, реальний приріст швидкості та розрахунок окупності порівняно з цінами API.
9 хв читанняFlashAttention і PagedAttention: два рішення для двох різних вузьких місць
Як FlashAttention пришвидшує обчислення уваги завдяки тайлінгу й онлайн-softmax, як PagedAttention керує пам'яттю KV-кешу і чому стеки на кшталт vLLM використовують обидва.
7 хв читанняПластина Cerebras проти GPU для інференсу LLM: бенчмарк на GPT-OSS
Порівнюємо wafer-scale рушій Cerebras з інференсом на GPU на GPT-OSS-120B у п'яти типах навантаження, а потім дивимося, наскільки Ultrafast пришвидшує GPT-5.6 Sol через API.
4 хв читанняЛокальні моделі для програмування на RTX 3060 з 12 ГБ і планувальнику моделей
Як дібрати моделі під GPU з 12 ГБ і чому перемикання між бекендами GGUF і SafeTensors за одним OpenAI-сумісним ендпоінтом перетворюється на задачу планування.
5 хв читанняQwen3.8-27B на одній RTX 3090: контекст 262K і 65–80 токенів за секунду
Рецепт запуску щільної 27B-моделі з повним контекстом на одній відеокарті з 24 ГБ: доопрацьований форк llama.cpp, квант на 14,5 ГБ, кеш Turbo3 і чернетки MTP.
8 хв читанняQwen3.8-27B на одному RTX 5090: vLLM, керування вентилятором LACT та тестування паралельної обробки
Запустіть Qwen3.8-27B на безголовому RTX 5090 за допомогою vLLM: налаштування Docker для GPU, Prometheus та Grafana, корекція параметрів охолодження за допомогою LACT, а також визначення місця, де пропускна здатність досягає свого максимуму під навантаженням.
11 хв читанняКеш KV — це невидима база даних, яка споживає пам’ять GPU під час декодування LLM.
Кеш KV тихо споживає пам’ять GPU під час інференсу LLM: попереднє заповнення проти декодування, математика KV, GQA та MQA, PagedAttention, політики квантування та видалення.
9 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.