Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: benchmarks
Сколько памяти нужно для локального ИИ? Скорости работы от 16 ГБ до 512 ГБ.
Измерялась скорость и качество работы локальных LLM на машинах с объемом памяти 16, 32, 128, 256 и 512 ГБ, что может запускаться в каждой категории, а также какие GPU, Mac и мини-ПК подходят для каждого случая.
5 мин чтенияMac Studio M5 Ultra против DGX Spark: скорость работы локальных нейросетей с одинаковыми моделями.
Mac Studio M5 Ultra 256 ГБ против одного, двух и четырех модулей DGX Spark на платформах Nemotron, Qwen3.8 и DeepSeek-V4.1-Flash: декодирование, предзаполнение данных, группировка операций и обработка изображений.
4 мин чтенияТесты производительности локальных LLM на RTX 5090: тот же Qwen3.8-27B, от 67 до 253 токенов в секунду.
Qwen3.8-27B на одной карте RTX 5090 с использованием TensorFold, NInfer, ExLlamaV3, Qwentin и vLLM: декодирование, предзаполнение, параллельная производительность, качество и выбор подходящей среды выполнения.
4 мин чтенияRTX 5060 Ti 16 GB для локального ИИ: измеренные скорости работы нейросетей типа LLM, изображений и аудио.
RTX 5060 Ti 16 GB в тестах для локального ИИ: пять нейросетей типа LLM с скоростью обработки от 42 до 116 токенов в секунду, время обработки первого токена на уровне 32 тыс., скорости обработки изображений, видео, 3D-моделей и аудио, а также что можно запускать на этой карте.
6 мин чтенияTensorFold против llama.cpp на Mac Studio M5 Ultra: пропускная способность при обработке реальных JSON-данных в 1,84 раза выше
Я провёл сравнительные тесты TensorFold 1.2.0 с llama.cpp на Mac Studio M5 Ultra с моделью Qwen3.8-27B при 80 реальных запросах в формате JSON: пропускная способность составила 1,84 раза выше при 8 одновременных запросах.
9 мин чтенияHy-MT2-7B на пяти локальных движках выполнения: какой из них подойдет для перевода на Mac?
Hy-MT2-7B протестирован в условиях нагрузки с использованием llama.cpp, LM Studio, mlx-lm, Ollama и MLX-Serve на двух машинах Mac Studio M5 Ultra: пропускная способность, масштабируемость, детерминизм, использование памяти.
9 мин чтенияGemini 3.8 Flash при запуске: скорость, крайний срок цен и ограничения, связанные с безопасностью.
Обзор Gemini 3.8 Flash: официальные показатели производительности, скорость обработки 304 токенов в секунду, срок действия промо-цен до 2027 года, модель Cyber и проблемы с мультиязычной безопасностью.
7 мин чтенияПочему при использовании SGLang и DFlash2 две видеокарты RTX 3090 достигают скорости 55 ток/с вместо 220.
Практический обзор запуска Qwen3.8-27B на двух видеокартах 3090 с использованием SGLang, а также того, как интерфейсы PCIe x4, отсутствие функции P2P, ограниченная кэш-память KV и резкие скачки потребления энергии снизили заявленную скорость.
7 мин чтенияMiniCPM5-2B против 4B: почему агентный подход рассказывает другую историю
MiniCPM5-2B превосходит своих конкурентов моделей 4B по результатам однократных тестов, но отстает на два-три раза в тестах с использованием агентных архитектур. Также наблюдаются проблемы с сравнением базовых показателей и производительностью Ollama.
10 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.