Інжынерныя нататкі
Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Mixture of Experts
Выкананне Qwen3.8-Flash-Next на картаках RTX 3090 з адпыткамі Tensor Offloading ад llama.cpp
Чаму модель типу Qwen3.8-Flash-Next, яка ўключае 88 ГБ памяці та 180 мільярда параметраў, падходзіць для карт RTX 3090, і як прамэты llama.cpp -ot, -ncmoe та mmap дзеляюць VRAM, RAM та NVMe.
12 хв чытанняЧаму завантажэнне модэля ў розмяре 17 ГБ не означае, што для його роботы патрэбна 17 ГБ памяці.
Дазвольце даклэ научыцца, як актыўныя параметры, загальныя параметры, зростанне KV-кэша і зусілля для аналізу вплываюць на рэальныя витраты на память і вычыслення пад час роботы мовнага модэля локальна.
12 хв чытання
FAQ
Пра гэтыя артыкулы
Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.
Крыніца — англійская. Іншая мова паказваецца толькі калі ёсць пераклад цела. Пусты пераклад застаецца англійскім, у тым ліку на лакалізаваным адрасе.
Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.
Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.