Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: benchmarks
How Much Memory Do You Need for Local AI? Speeds from 16 GB to 512 GB
Measured local LLM speed and quality across 16, 32, 128, 256 and 512 GB machines, what each class can run, and which GPUs, Macs and mini PCs fit where.
5 хв чытанняMac Studio M5 Ultra протыраўся з DGX Spark: швальнасць локальных LLM на тых сабе мадэлях.
Mac Studio M5 Ultra 256 GB протыраўся з аднай, двумя і чатырма прыстроямі DGX Spark на платформах Nemotron, Qwen3.8 і DeepSeek-V4.1-Flash: дэкадаванне, падзаполненне, групаванне дадзеных і апрацоўка зяўроў.
4 хв чытанняКрытэрыі працёздатнасці локальных LLM на RTX 5090: той самы Qwen3.8-27B, 67–253 токені за секунду.
Qwen3.8-27B на адаптары RTX 5090 за дапамогай TensorFold, NInfer, ExLlamaV3, Qwentin і vLLM: дэкадаванне, падготавка дадзейна, паралельная працёздатнасць, якасць і выбір тэхнологій для запуску.
4 хв чытанняRTX 5060 Ti 16 GB for Local AI: Measured LLM, Image and Speech Speeds
RTX 5060 Ti 16 GB tested for local AI: five LLMs from 42 to 116 tok/s, first-token times at 32K, image, video, 3D and speech speeds, and what to run on it.
6 хв чытанняTensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у фармаце JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняHy-MT2-7B на пяці локальных срэдах выканання: каторая з іх падходзіць для перакладу на Mac?
Hy-MT2-7B працаваў у тэстах на навантажэння на платформах llama.cpp, LM Studio, mlx-lm, Ollama і MLX-Serve на двух камп’ютарах Mac Studio M5 Ultra: працэсна здатнасць, масштабаванне, дэтэрмінізм, выкарыстоўванне памяці.
9 хв чытанняGemini 3.8 Flash на старце: хуткасць, тэрмін акцыйных цэн і агаворкі па бяспецы
Агляд Gemini 3.8 Flash: афіцыйны рост у бенчмарках, замер 304 токены ў секунду, акцыйныя цэны да 2027 года, мадэль Cyber і правал бяспекі ў шматмоўных тэстах.
7 хв чытанняЧаму две картакі RTX 3090 даюць 55 tok/s замест 220 з вікорыстаннем SGLang і DFlash2.
Практычны ўзгляд на запуск Qwen3.8-27B на двух картаках 3090 з вікорыстаннем SGLang, а таксама як лінкі PCIe x4, відсутнаць P2P, маленька кеш-памяць KV і рэзкія сплескі напругі знізілі адказана шваль.
7 хв чытанняMiniCPM5-2B супраць канкурэнтаў на 4B: чаму агентная абвязка паказвае іншае
MiniCPM5-2B перамагае канкурэнтаў на 4B у аднакрокавых тэстах, але ў агентных абвязках адстае ў два-тры разы. Блытаніна з бенчмаркамі і прапускная здольнасць у Ollama.
10 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.