Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: gguf
Agents-A1: модель на 35B, созданная для долгой агентной работы
Agents-A1 — файнтюн на 35B, который масштабирует горизонт агента, а не параметры. Смотрим результаты на SEAL-0, IFBench и BrowseComp и где взять сборки GGUF.
1235 словЧитатьКак удвоить скорость декодирования Qwen3.8-Flash-Next с MTP на видеокартах RTX
Как собрать форк llama.cpp со спекулятивным декодированием MTP и подобрать флаги, чтобы примерно вдвое ускорить генерацию Qwen3.8-Flash-Next на системах с несколькими RTX.
1248 словЧитатьЛокальные модели для программирования на RTX 3060 с 12 ГБ и планировщике моделей
Как подобрать модели под GPU с 12 ГБ и почему переключение между бэкендами GGUF и SafeTensors за одним OpenAI-совместимым эндпоинтом превращается в задачу планирования.
1256 словЧитатьQwen3.8-Flash-Next на MacBook с 64 ГБ: файлы, кванты и флаги llama.cpp
Как запустить MoE на 180 млрд параметров на M4 Max или M1 Max без выгрузки на CPU: какой GGUF выбрать, как n-gram таблица разбита по шардам и точная команда llama-server.
2060 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.