Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: gpu
RTX 5060 Ti 16 GB for Local AI: Measured LLM, Image and Speech Speeds
RTX 5060 Ti 16 GB tested for local AI: five LLMs from 42 to 116 tok/s, first-token times at 32K, image, video, 3D and speech speeds, and what to run on it.
6 хв чытанняЧаму две картакі RTX 3090 даюць 55 tok/s замест 220 з вікорыстаннем SGLang і DFlash2.
Практычны ўзгляд на запуск Qwen3.8-27B на двух картаках 3090 з вікорыстаннем SGLang, а таксама як лінкі PCIe x4, відсутнаць P2P, маленька кеш-памяць KV і рэзкія сплескі напругі знізілі адказана шваль.
7 хв чытанняПоясненне флагів сэрвісу vLLM з розумнымі початковымі значэннямі.
Практычны ўражынкі пра флагі сэрвісу vLLM, якія вы насправдзе зможаце налаштаваць: dtype, выкарыстоўванне памяці, дужына кантэкста, паралелізм, кантыяцыйныя ключы і іншы параметры, з стандартнымі значэннямі для працы.
4 хв чытанняМестная рабочая станцыя з ЛЛМ: ад 20 да 60 токенаў за секунду з двумя GPU
Вжыты ўстройства Xeon з двумя картамі RTX 5060 Ti, Qwen 27B, можласцю паралельнай обработкі тэнзораў і апаратным падтрымкай NCCL: правілы апаратнага забезпечэння, рэальныя падышчы скорасці і расчыткі эквівалентнасці з цэнамі API.
9 хв чытанняFlashAttention і PagedAttention: два рышэння для двох рызніх проблем
Навчыцеся, як FlashAttention працяўка прыбаўляе скорост матэматычыя вычысленяў пры уваге за допамагай тылінгу і онлайн-softmax, як PagedAttention керуеў KV кешэм памяці, і чычою vLLM-стыльныя стакі вікорыстаюць обабо.
7 хв чытанняCerebras Wafer проты GPU для інферэнціі LLM: тэстуванне на базе GPT-OSS
Пораўняйце двайчы працюючыя сістэмы Cerebras на роўні вафероў з алгорытмамі інферэнціі GPU на базе GPT-OSS-120B у пяці розных завадах, а потым разберыцеся, як Ultrafast прышвартавае працэс GPT-5.6 Sol праз API.
4 хв чытанняЗаўядзенне локальных модэляў кодавання на картцы RTX 3060 з памяцю 12 ГБ за дапамогою планавальніка модэляў
Як выбраць модэлі, які падходзяць для GPU на 12 ГБ, і чаму змена адпалатоў GGUF і SafeTensors за дапамой аднаго канцэнтраба, сумесабельнага з OpenAI, ператвараецца на проблему планавання.
5 хв чытанняQwen3.8-27B на One RTX 3090: 262 тыс. елементаў кантэксту за 65–80 токенав у секунду.
Рэцепт для запуску ўплотненага мадэлі 27B з повным кантэкстам на аднай GPU ў 24 ГБ: налаштаваны форк llama.cpp, квантаванне ў 14,5 ГБ, кэш Turbo3 і тэхніка MTP для стварэння праектаў.
8 хв чытанняQwen3.8-27B на адаптары RTX 5090: vLLM, кантроллер швейцароў LACT і тэсты на паралельную працю
Служыць Qwen3.8-27B з безгалоўнага RTX 5090 за дапамогай vLLM: настройка GPU у Docker, Prometheus і Grafana, карэкцыя проблем з тэплам за дапамогай LACT, а таксама выявленне момента, калі працэздольнасць досягае свайго максімуму пад навантажэнням.
11 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.