Инженерные заметки
Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: sglang
Почему при использовании SGLang и DFlash2 две видеокарты RTX 3090 достигают скорости 55 ток/с вместо 220.
Практический обзор запуска Qwen3.8-27B на двух видеокартах 3090 с использованием SGLang, а также того, как интерфейсы PCIe x4, отсутствие функции P2P, ограниченная кэш-память KV и резкие скачки потребления энергии снизили заявленную скорость.
7 мин чтенияНепрерывная группировка и предзаполнение по блокам в vLLM и SGLang
Статические пакеты LLM тратят ресурсы GPU на заполнение ненужными данными. Планирование на уровне итераций и пошаговое предзаполнение обеспечивают плавную работу потоков декодирования, позволяя новым запросам продолжать обрабатываться.
5 мин чтения
FAQ
О этих статьях
Да. Каждый текст — оригинальный английский рерайт для этого сайта. Структура и код следуют источнику; проза переписана и проверена на пересечения.
Источник — английский. Другой язык показывается только если есть перевод тела. Пустой перевод остаётся английским, в том числе на локализованном адресе.
Новые черновики попадают в очередь после редактуры. Импорт на сайт берёт только новые или изменённые slug — без дублей.
Примеры иллюстративные. Проверяйте стек и лицензии перед продом. Для внедрения пришлите бриф.
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.