Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: llama-cpp
TensorFold проти llama.cpp на Mac Studio M5 Ultra: продуктивність у 1,84 рази вища під час обробки справжніх файлів JSON
Я протестував TensorFold 1.2.0 порівняно з llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B та 80 реальними запитами JSON: пропускна здатність становила 1.84 рази більше при 8 одночасних запитах.
9 хв читанняHy-MT2-7B у п’яти локальних середовищах виконання: яке з них підходить для перекладу на Mac?
Hy-MT2-7B протестовувався з точки зору навантаження на llama.cpp, LM Studio, mlx-lm, Ollama та MLX-Serve на двох комп’ютерах Mac Studio M5 Ultra: пропускна здатність, масштабування, детермінізм, використання пам’яті.
9 хв читанняDeepSeek Harness (dsh): Опен-середовище для виконання агентів, яке самостійно змінює свою конфігурацію.
Що таке DeepSeek Harness, чому його агент самовиправлення вирізняється, як відреагувала спільнота та що потрібно підготувати перед запуском з локальними моделями.
6 хв читанняKimi K3 та інші великі моделі локально: п'ять відкритих репозиторіїв
П'ять open source-репозиторіїв, які втискають моделі фронтирного масштабу в ноутбук або одну GPU завдяки стримінгу з диска, кешуванню експертів і вивантаженню, — з реальними цифрами швидкості.
6 хв читанняЗапустіть локальну модель кодування за допомогою llama.cpp: квантування, вікно контексту та VS Code
Замініть метризовані квитанції на локальну модель Міністерства освіти: оберіть спосіб квантування, визначте розмір вікна контексту, налаштуйте llama-server під малі GPU CUDA, а потім під’єднайте Cline.
8 хв читанняЛокальна станція для LLM: від 20 до 60 токенів на секунду на двох GPU
Вживана машина на Xeon із двома RTX 5060 Ti, Qwen 27B, тензорний паралелізм і NCCL: правила вибору заліза, реальний приріст швидкості та розрахунок окупності порівняно з цінами API.
9 хв читанняЧому Ollama перестає вистачати і що запускати замість неї
Ollama — обгортка над llama.cpp. Розбираємося, де вона впирається в навантаження, формати моделей і GPU від AMD, і коли краще підходять llama.cpp, LM Studio чи vLLM.
7 хв читанняЯк подвоїти швидкість декодування Qwen3.8-Flash-Next з MTP на відеокартах RTX
Як зібрати форк llama.cpp зі спекулятивним декодуванням MTP і підібрати прапорці, щоб приблизно вдвічі пришвидшити генерацію Qwen3.8-Flash-Next на системах із кількома RTX.
5 хв читанняQwen3.8-Flash-Next: модель на 177B, яка запускається на одній відеокарті з 24 ГБ
Як Qwen3.8-Flash-Next вміщує mixture-of-experts на 177B у скромне залізо: 6B активних параметрів, таблиця n-грам, гібридна увага та чесні провали в бенчмарках.
9 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.