Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: GPU
Почему при использовании SGLang и DFlash2 две видеокарты RTX 3090 достигают скорости 55 ток/с вместо 220.
Практический обзор запуска Qwen3.8-27B на двух видеокартах 3090 с использованием SGLang, а также того, как интерфейсы PCIe x4, отсутствие функции P2P, ограниченная кэш-память KV и резкие скачки потребления энергии снизили заявленную скорость.
7 мин чтенияФлаги vllm serve с разумными стартовыми значениями
Практический обзор флагов vllm serve, которые реально приходится настраивать: dtype, использование памяти, длина контекста, параллелизм, API-ключи и квантизация, с значениями для старта.
4 мин чтенияЛокальная станция для LLM: от 20 до 60 токенов в секунду на двух GPU
Б/у машина на Xeon с двумя RTX 5060 Ti, Qwen 27B, тензорный параллелизм и NCCL: правила выбора железа, реальный прирост скорости и расчёт окупаемости по сравнению с ценами API.
9 мин чтенияFlashAttention и PagedAttention: два решения для двух разных узких мест
Как FlashAttention ускоряет вычисление внимания за счёт тайлинга и онлайн-softmax, как PagedAttention управляет памятью KV-кэша и почему стеки в духе vLLM используют оба.
7 мин чтенияПластина Cerebras против GPU для инференса LLM: бенчмарк на GPT-OSS
Сравниваем wafer-scale движок Cerebras с инференсом на GPU на GPT-OSS-120B в пяти типах нагрузки, а затем смотрим, насколько Ultrafast ускоряет GPT-5.6 Sol через API.
4 мин чтенияЛокальные модели для программирования на RTX 3060 с 12 ГБ и планировщике моделей
Как подобрать модели под GPU с 12 ГБ и почему переключение между бэкендами GGUF и SafeTensors за одним OpenAI-совместимым эндпоинтом превращается в задачу планирования.
5 мин чтенияQwen3.8-27B на одной RTX 3090: контекст 262K и 65–80 токенов в секунду
Рецепт запуска плотной 27B-модели с полным контекстом на одной видеокарте с 24 ГБ: доработанный форк llama.cpp, квант на 14,5 ГБ, кэш Turbo3 и черновики MTP.
8 мин чтенияQwen3.8-27B на одной RTX 5090: тесты vLLM, контроля скорости вентиляторов LACT и конкурентоспособности
Запуск Qwen3.8-27B на безголовом RTX 5090 с vLLM: настройка GPU в Docker, Prometheus и Grafana, коррекция температур с помощью LACT, а также определение точки насыщения пропускной способности при нагрузке.
11 мин чтенияКэш KV — это невидимая база данных, которая истощает память GPU во время декодирования LLM.
Кэш KV тихо потребляет память GPU во время инференса LLM: предзаполнение против декодирования, математика KV, GQA и MQA, PagedAttention, политики квантизации и выгонки.
9 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.