Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: gguf
Agents-A1: модель на 35B, створена для довготривалої агентної роботи
Agents-A1 — файнтюн на 35B, що масштабує горизонт агента, а не параметри. Дивимося результати на SEAL-0, IFBench і BrowseComp та де взяти збірки GGUF.
1235 слівЧитатиЯк подвоїти швидкість декодування Qwen3.8-Flash-Next з MTP на відеокартах RTX
Як зібрати форк llama.cpp зі спекулятивним декодуванням MTP і підібрати прапорці, щоб приблизно вдвічі пришвидшити генерацію Qwen3.8-Flash-Next на системах із кількома RTX.
1248 слівЧитатиЛокальні моделі для програмування на RTX 3060 з 12 ГБ і планувальнику моделей
Як дібрати моделі під GPU з 12 ГБ і чому перемикання між бекендами GGUF і SafeTensors за одним OpenAI-сумісним ендпоінтом перетворюється на задачу планування.
1256 слівЧитатиQwen3.8-Flash-Next на MacBook із 64 ГБ: файли, кванти та прапорці llama.cpp
Як запустити MoE на 180 млрд параметрів на M4 Max або M1 Max без вивантаження на CPU: який GGUF обрати, як n-gram таблицю розбито на шарди і точна команда llama-server.
2060 слівЧитати
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.