Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: GPU
Чаму две картакі RTX 3090 даюць 55 tok/s замест 220 з викорыстаннем SGLang і DFlash2.
Практычны ўзгляд на запуск Qwen3.8-27B на двух картаках 3090 з викорыстаннем SGLang, а таксама як лінкі PCIe x4, відсутнаць P2P, маленька кеш-пам’ять KV і рэзкія сплески напругі знизілі адказана шваль.
7 хв чытанняПоясненне флагів сэрвісу vLLM з розумнымі початковымі значэннямі.
Практычны ўражынкі пра флагі сэрвісу vLLM, якія вы насправдзе зможаце налаштаваць: dtype, выкарыстоўванне памяці, дужына контэкста, паралелізм, кантыяцыйныя ключы та іншы параметры, з стандартнымі значэннямі для працы.
4 хв чытанняМестная рабочая станцыя з ЛЛМ: ад 20 да 60 токенаў за секунду з двумя GPU
Вжыты ўстройства Xeon з двумя картамі RTX 5060 Ti, Qwen 27B, можласцю паралельнай обработкі тэнзораў і апаратным падтрымкай NCCL: правілы апаратнага забезпечэння, рэальныя падышчы скорасці і расчыткі эквівалентнасці з цэнамі API.
9 хв чытанняFlashAttention і PagedAttention: два рішення для двох різних проблем
Навчыцеся, як FlashAttention працяўка прыбаўляе скорост матэматычыя вычысленяў пры уваге за допамагай тилінгу та онлайн-softmax, як PagedAttention керуеў KV кешем памяці, і чычою vLLM-стильныя стаки використаюць обабо.
7 хв чытанняCerebras Wafer проты GPU для інференціі LLM: тэстуванне на базе GPT-OSS
Пораўняйце двайчы працюючыя сістэмы Cerebras на роўні вафероў з алгорытмамі інференціі GPU на базе GPT-OSS-120B у пяці розных завадах, а потым разберыцеся, як Ultrafast прышвартавае процес GPT-5.6 Sol через API.
4 хв чытанняЗаўядзенне локальных модэляў кодавання на картцы RTX 3060 з памяцю 12 ГБ за дапамогою планавальніка модэляў
Як выбраць модэлі, які падходзяць для GPU на 12 ГБ, і чаму змена адпалатоў GGUF і SafeTensors за дапамой аднаго канцэнтраба, сумесабельнага з OpenAI, ператвараецца на проблему планавання.
5 хв чытанняQwen3.8-27B на One RTX 3090: 262 тыс. елементаў контексту за 65–80 токенав у секунду.
Рэцепт для запуску ўплотненага моделі 27B з повным контекстам на аднай GPU ў 24 ГБ: налаштаваны форк llama.cpp, квантаванне ў 14,5 ГБ, кэш Turbo3 і техніка MTP для стварэння проектаў.
8 хв чытанняQwen3.8-27B на адаптары RTX 5090: vLLM, кантроллер швейцароў LACT і тэсты на паралельную працю
Служыць Qwen3.8-27B з безгалоўнага RTX 5090 за дапамогай vLLM: настройка GPU у Docker, Prometheus і Grafana, карэкцыя проблем з тэплам за дапамогай LACT, а таксама выявленне момента, калі працэздольнасць досягае свайго максімуму пад навантажэнням.
11 хв чытанняКэш KV — это невидзімая база дадзёў, якая спрацоўвае з памяцю GPU пад час дэкодавання LLM.
Кэш KV таяму спожывае пам’ять GPU пад час обробкі LLM: попераднее заповнення протыва декодавання, матэматыка KV, GQA і MQA, PagedAttention, політыкі квантызаціі і выгнання.
9 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.