Інженерні нотатки
Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: llama.cpp
Робота з Qwen3.8-Flash-Next на картках RTX 3090 за допомогою llama.cpp з відкладенням обчислень тензорів
Чому модель типу Qwen3.8-Flash-Next з об’ємом пам’яті 88 ГБ та 180 мільярдів параметрів підходить для карт RTX 3090, та як інструменти llama.cpp -ot, -ncmoe та mmap розподіляють VRAM, RAM та NVMe.
12 хв читання
FAQ
Про ці статті
Так. Кожен текст — оригінальний англійський рерайт для цього сайту. Структура й код за джерелом; прозу переписано й перевірено на збіги.
Джерело — англійське. Інша мова показується лише якщо є переклад тіла. Порожній переклад лишається англійським, зокрема на локалізованій адресі.
Нові чернетки потрапляють у чергу після редактури. Імпорт на сайт бере лише нові чи змінені slug — без дублів.
Приклади ілюстративні. Перевіряйте стек і ліцензії перед продом. Для впровадження надішліть бриф.
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.