Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: llama-cpp
TensorFold против llama.cpp на Mac Studio M5 Ultra: пропускная способность при обработке реальных JSON-данных в 1,84 раза выше
Я провёл сравнительные тесты TensorFold 1.2.0 с llama.cpp на Mac Studio M5 Ultra с моделью Qwen3.8-27B при 80 реальных запросах в формате JSON: пропускная способность составила 1,84 раза выше при 8 одновременных запросах.
9 мин чтенияHy-MT2-7B на пяти локальных движках выполнения: какой из них подойдет для перевода на Mac?
Hy-MT2-7B протестирован в условиях нагрузки с использованием llama.cpp, LM Studio, mlx-lm, Ollama и MLX-Serve на двух машинах Mac Studio M5 Ultra: пропускная способность, масштабируемость, детерминизм, использование памяти.
9 мин чтенияDeepSeek Harness (dsh): среда выполнения открытых агентов, которая сама переписывает свою конфигурацию.
Что такое DeepSeek Harness, почему его агент самостоятельной редактирования выделяется, как отреагировала сообщество и что необходимо подготовить перед запуском с локальными моделями.
6 мин чтенияKimi K3 и другие большие модели локально: пять открытых репозиториев
Пять open source-репозиториев, которые втискивают модели фронтирного масштаба в ноутбук или одну GPU с помощью стриминга с диска, кэширования экспертов и выгрузки, — с реальными цифрами скорости.
6 мин чтенияЗапустите локальную модель кодирования с помощью llama.cpp: квантование, окно контекста и VS Code
Замените метризованные токенные билеты на локальную модель Министерства образования: выберите способ квантования, определите размер окна контекста, настроите llama-server для небольших GPU с CUDA, затем подключите Cline.
8 мин чтенияЛокальная станция для LLM: от 20 до 60 токенов в секунду на двух GPU
Б/у машина на Xeon с двумя RTX 5060 Ti, Qwen 27B, тензорный параллелизм и NCCL: правила выбора железа, реальный прирост скорости и расчёт окупаемости по сравнению с ценами API.
9 мин чтенияПочему Ollama перестаёт хватать и что запускать вместо неё
Ollama — обёртка над llama.cpp. Разбираемся, где она упирается в нагрузку, форматы моделей и GPU от AMD, и когда лучше подходят llama.cpp, LM Studio или vLLM.
7 мин чтенияКак удвоить скорость декодирования Qwen3.8-Flash-Next с MTP на видеокартах RTX
Как собрать форк llama.cpp со спекулятивным декодированием MTP и подобрать флаги, чтобы примерно вдвое ускорить генерацию Qwen3.8-Flash-Next на системах с несколькими RTX.
5 мин чтенияQwen3.8-Flash-Next: модель на 177B, которая запускается на одной видеокарте с 24 ГБ
Как Qwen3.8-Flash-Next умещает mixture-of-experts на 177B в скромное железо: 6B активных параметров, таблица n-грамм, гибридное внимание и честные провалы в бенчмарках.
9 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.