Інженерні нотатки
Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: sglang
Чому дві відеокарти RTX 3090 дають 55 tok/s замість 220 за допомогою SGLang та DFlash2.
Детальний огляд запуску Qwen3.8-27B на двох відеокартах 3090 за допомогою SGLang, а також того, як з’єднання PCIe x4, відсутність функції P2P, обмежений кеш KV та різкі сплески потужності знизили оголошену швидкість.
7 хв читанняПостійне групування та часткове попереднє заповнення у vLLM та SGLang
Статичні пакети LLM марнують ресурси GPU на додаткові дані. Розкладання операцій на рівні ітерацій та часткове попереднє заповнення забезпечують плавний потік декодування, навіть коли нові запити все ще обробляються.
5 хв читання
FAQ
Про ці статті
Так. Кожен текст — оригінальний англійський рерайт для цього сайту. Структура й код за джерелом; прозу переписано й перевірено на збіги.
Джерело — англійське. Інша мова показується лише якщо є переклад тіла. Порожній переклад лишається англійським, зокрема на локалізованій адресі.
Нові чернетки потрапляють у чергу після редактури. Імпорт на сайт бере лише нові чи змінені slug — без дублів.
Приклади ілюстративні. Перевіряйте стек і ліцензії перед продом. Для впровадження надішліть бриф.
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.