Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: local-llm
Лакальны AI для канфідэнцыйных дакументаў: што запускаць у сябе
Як не адпраўляць дагаворы, зарплаты і аўдыты ў воблачныя API: якія этапы павінны быць лакальнымі, якое абсталяванне падыходзіць, дзе мадэлі слабейшыя і выдаткі.
3 хв чытанняHow Much Memory Do You Need for Local AI? Speeds from 16 GB to 512 GB
Measured local LLM speed and quality across 16, 32, 128, 256 and 512 GB machines, what each class can run, and which GPUs, Macs and mini PCs fit where.
5 хв чытанняMac Studio M5 Ultra протыраўся з DGX Spark: швальнасць локальных LLM на тых сабе мадэлях.
Mac Studio M5 Ultra 256 GB протыраўся з аднай, двумя і чатырма прыстроямі DGX Spark на платформах Nemotron, Qwen3.8 і DeepSeek-V4.1-Flash: дэкадаванне, падзаполненне, групаванне дадзеных і апрацоўка зяўроў.
4 хв чытанняКрытэрыі працёздатнасці локальных LLM на RTX 5090: той самы Qwen3.8-27B, 67–253 токені за секунду.
Qwen3.8-27B на адаптары RTX 5090 за дапамогай TensorFold, NInfer, ExLlamaV3, Qwentin і vLLM: дэкадаванне, падготавка дадзейна, паралельная працёздатнасць, якасць і выбір тэхнологій для запуску.
4 хв чытанняRTX 5060 Ti 16 GB for Local AI: Measured LLM, Image and Speech Speeds
RTX 5060 Ti 16 GB tested for local AI: five LLMs from 42 to 116 tok/s, first-token times at 32K, image, video, 3D and speech speeds, and what to run on it.
6 хв чытанняTensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у фармаце JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняHy-MT2-7B на пяці локальных срэдах выканання: каторая з іх падходзіць для перакладу на Mac?
Hy-MT2-7B працаваў у тэстах на навантажэння на платформах llama.cpp, LM Studio, mlx-lm, Ollama і MLX-Serve на двух камп’ютарах Mac Studio M5 Ultra: працэсна здатнасць, масштабаванне, дэтэрмінізм, выкарыстоўванне памяці.
9 хв чытанняЛакальны агентны працэс на LLM з тэчак і Markdown-файлаў
Будуем шматэтапны лакальны канвеер агентаў з кантрольнымі кропкамі: кожны этап — тэчка, промпты — рэдагаваныя Markdown-файлы, а чалавек правярае вынік перад дарагім крокам.
25 хв чытанняПадключаем LM Studio да MCP-сервераў: файлы, GitHub і браўзер
Пакрокавыя канфігурацыі mcp.json, з якімі лакальная мадэль карыстаецца файлавай сістэмай, інструментамі GitHub з OAuth і Playwright, а таксама выбар мадэлі і выпраўленне тыповых памылак.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.