Інжынерныя нататкі
Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: Mixture of Experts
Выкананне Qwen3.8-Flash-Next на картаках RTX 3090 з адпыткамі Tensor Offloading ад llama.cpp
Чаму рыхлы модель па 88 ГБ з 180 мільярда параметраў падходзіць для спожывачскіх GPU, і як такі флагі ля llama.cpp, як -ot, -ncmoe і mmap, дзельнуюць яе межаў VRAM, RAM і NVMe.
2691 слоўЧытацьЧаму завантажэнне модэля ў розмяре 17 ГБ не означае, што для його роботы патрэбна 17 ГБ памяці.
Дазвольце даклэ научыцца, як актыўныя параметры, загальныя параметры, зростанне KV-кэша і зусілля для аналізу вплываюць на рэальныя витраты на память і вычыслення пад час роботы мовнага модэля локальна.
2722 слоўЧытаць
FAQ
Пра гэтыя артыкулы
Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.
Тэхнічныя пасты спачатку па-англійску, каб код і API заставаліся дакладнымі. Абалонка сайта — на ўсіх дзевяці мовах.
Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.
Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.