Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: apple-silicon
Mac Studio M5 Ultra протыраўся з DGX Spark: швальнасць локальных LLM на тых сабе мадэлях.
Mac Studio M5 Ultra 256 GB протыраўся з аднай, двумя і чатырма прыстроямі DGX Spark на платформах Nemotron, Qwen3.8 і DeepSeek-V4.1-Flash: дэкадаванне, падзаполненне, групаванне дадзеных і апрацоўка зяўроў.
4 хв чытанняTensorFold протыва llama.cpp на Mac Studio M5 Ultra: працэйна спроможнасць у 1,84 раза вышэй праз рэальную обработку JSON-даных
Я працаваў з TensorFold 1.2.0 протыў llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B і 80 рэальных запыткаў у фармаце JSON: прахоўнасць склікалася 1.84 раза пры 8 адночасных запытках.
9 хв чытанняВыкананне локальных агентаў для кодавання на Mac з oMLX: Адказа пра кэш KV, базаваны на дыску
oMLX зберагае прыфіксы запыткаў у SSD, таму локальныя агенты для кодавання працуюць быстра на працэсарах Apple Silicon. Установіце яго і пад’яжыце да яго Claude Code, Codex, Cursor і OpenCode.
9 хв чытанняПрыватны мультымадальны RAG на Mac з M1: выбарачнае чытанне графікаў з Ollama
Прыватны мультымадальны RAG на Mac з M1 і Ollama: PyMuPDF для тэксту і табліц, маленькая vision-мадэль Qwen толькі для графікаў, праверка лічбаў і пошук праз ChromaDB.
10 хв чытанняAI-агенты на MacBook: чаму oMLX перамагае чысты MLX
Чыстаму MLX на M1 Max патрабавалася каля 20 секунд на агентны кантэкст у 8,7 тыс. токенаў. oMLX скараціў гэта прыкладна да 3 дзякуючы батчынгу і шматузроўневаму KV-кэшу. Лічбы і налады.
5 хв чытанняЗастосавайце местныя LLM-мадэлі на Mac за дапамою MLX замест стандартнага двіжка llama.cpp.
Калі MLX адзелення Apple перамагае llama.cpp у працы з локальнымі LLM на чыпах Apple Silicon, пры чым швальдзівкі залежыць ад размеру модэлі, ёсць тры спосабы перайсці з Ollama, а таксама аб’явы, якіх трэба ухіліцца.
5 хв чытанняЗапускайце Qwen3.8-Flash-Next на MacBook з 64 ГБ памяці: файлы, параметры Quants і настройкі llama.cpp
Заўядзіце MoE з 180 мільярда параметраў на працоўніку M4 Max або M1 Max без пераказвання задач на CPU: які GGUF выбраць, як табліца n-gram раздзеляецца на часткі, і точны запускаючы каманда llama-server.
9 хв чытанняАд файнцюнінгу да дакладнасці: як істотна скараціць галюцынацыі
Файнцюнінг разам з RAG супраць галюцынацый: чаму аднаго файнцюнінгу мала, архітэктура з Ollama і наколькі вырасла дакладнасць.
13 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.