Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: benchmarks
Скільки пам’яті потрібно для локального ШІ? Швидкість роботи від 16 ГБ до 512 ГБ.
Вимірювання швидкості та якості локальних LLM на пристроях з об’ємом пам’яті 16, 32, 128, 256 та 512 ГБ, що може виконуватися в кожній категорії, а також які GPU, Mac та міні-ПК підходять для кожного випадку.
5 хв читанняMac Studio M5 Ultra проти DGX Spark: швидкість роботи локальних моделей ШІ з однаковими моделями.
Mac Studio M5 Ultra 256 GB проти однієї, двох та чотирьох модулів DGX Spark на платформах Nemotron, Qwen3.8 та DeepSeek-V4.1-Flash: декодування, попереднє заповнення, обробка пакетами та робота з зображеннями.
4 хв читанняБенчмарки локальних LLM на RTX 5090: той самий Qwen3.8-27B, 67–253 токенів на секунду.
Qwen3.8-27B на одному RTX 5090 за допомогою TensorFold, NInfer, ExLlamaV3, Qwentin та vLLM: декодування, попереднє заповнення, паралельна продуктивність, якість та вибір інструментального комплексу для виконання.
4 хв читанняRTX 5060 Ti 16 GB для локального ШІ: виміряні швидкості обробки моделей LLM, зображень та аудіо.
RTX 5060 Ti 16 GB, протестований для локального ШІ: п’ять моделей LLM зі швидкістю обробки від 42 до 116 токенів/с, час обробки першого токену при обсязі 32K, швидкість обробки зображень, відео, 3D-даних та аудіо, а також те, що можна на ньому запускати.
6 хв читанняTensorFold проти llama.cpp на Mac Studio M5 Ultra: продуктивність у 1,84 рази вища під час обробки справжніх файлів JSON
Я протестував TensorFold 1.2.0 порівняно з llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B та 80 реальними запитами JSON: пропускна здатність становила 1.84 рази більше при 8 одночасних запитах.
9 хв читанняHy-MT2-7B у п’яти локальних середовищах виконання: яке з них підходить для перекладу на Mac?
Hy-MT2-7B протестовувався з точки зору навантаження на llama.cpp, LM Studio, mlx-lm, Ollama та MLX-Serve на двох комп’ютерах Mac Studio M5 Ultra: пропускна здатність, масштабування, детермінізм, використання пам’яті.
9 хв читанняGemini 3.8 Flash під час запуску: швидкість, кінцевий термін цін та застереження щодо безпеки.
Огляд Gemini 3.8 Flash: офіційні показники продуктивності, швидкість обробки 304 токенів на секунду, термін дії промо-ціни до 2027 року, модель Cyber та проблеми з багатомовною безпекою.
7 хв читанняЧому дві відеокарти RTX 3090 дають 55 tok/s замість 220 за допомогою SGLang та DFlash2.
Детальний огляд запуску Qwen3.8-27B на двох відеокартах 3090 за допомогою SGLang, а також того, як з’єднання PCIe x4, відсутність функції P2P, обмежений кеш KV та різкі сплески потужності знизили оголошену швидкість.
7 хв читанняMiniCPM5-2B проти 4B: чому агентний підхід розповідає іншу історію
MiniCPM5-2B перевершує своїх конкурентів 4B за результатами одноразових виконань, але відстає у два-три рази у сценаріях з агентним підходом. Проблеми з тестовими завданнями та продуктивність Ollama.
10 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.