Інженерні нотатки
Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Mixture of Experts
Робота з Qwen3.8-Flash-Next на картках RTX 3090 за допомогою llama.cpp з відкладенням обчислень тензорів
Чому модель типу Qwen3.8-Flash-Next з об’ємом пам’яті 88 ГБ та 180 мільярдів параметрів підходить для карт RTX 3090, та як інструменти llama.cpp -ot, -ncmoe та mmap розподіляють VRAM, RAM та NVMe.
12 хв читанняЧому завантаження моделі розміром 17 ГБ не означає, що для її роботи потрібно 17 ГБ пам’яті
Дізнайтеся, як активні параметри, загальна кількість параметрів, зростання кешу KV та зусилля для міркувань визначають реальну вартість пам’яті та обчислень для роботи мовної моделі локально.
12 хв читання
FAQ
Про ці статті
Так. Кожен текст — оригінальний англійський рерайт для цього сайту. Структура й код за джерелом; прозу переписано й перевірено на збіги.
Джерело — англійське. Інша мова показується лише якщо є переклад тіла. Порожній переклад лишається англійським, зокрема на локалізованій адресі.
Нові чернетки потрапляють у чергу після редактури. Імпорт на сайт бере лише нові чи змінені slug — без дублів.
Приклади ілюстративні. Перевіряйте стек і ліцензії перед продом. Для впровадження надішліть бриф.
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.