Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: MLX
Hy-MT2-7B на пяці локальных средах виконання: каторая з іх падходзіць для перакладу на Mac?
Hy-MT2-7B працаваў у тестах на навантажэння на платформах llama.cpp, LM Studio, mlx-lm, Ollama і MLX-Serve на двух комп’ютерах Mac Studio M5 Ultra: працэсна здатнасць, масштабаванне, детермінізм, выкарыстоўванне памяці.
9 хв чытанняВыкананне локальных агентаў для кодавання на Mac з oMLX: Адказа пра кэш KV, базаваны на дыску
oMLX зберагае прыфіксы запыткаў у SSD, таму локальныя агенты для кодавання працуюць быстра на працэсарах Apple Silicon. Установіце яго і пад’яжыце да яго Claude Code, Codex, Cursor і OpenCode.
9 хв чытанняУсередзіне LLM: чыстая парадоксацыя на Python для Qwen3-0.6B на MLX
Пасэвай пасэвай стварэнне процэса інферэнціі LLM у апошнім выліку з прыблізна 200 рэчэйкамі Python з апыткамі MLX: токенайзер, RMSNorm, RoPE, групаваная увага да запыткаў, SwiGLU, кэш KV і выбіранне прыкладоў.
13 хв чытанняАдкрыванне AI-агентаў на MacBook: чаму oMLX кращы за неапдейтаваны MLX
Raw MLX патрабавалася апоўно 20 секунд для стварэння контексту агента з 8,7 тысяч токенаў на працоўніку M1 Max. oMLX скорачыў гэты час да прыблізна 3 секунд за дапамогою групавання дадзеных і іерархічнага кэша KV. Ціфры і прычыны.
5 хв чытанняЗастосавайце местныя LLM-моделі на Mac за дапамою MLX замест стандартнага двіжка llama.cpp.
Калі MLX адзелення Apple перамагае llama.cpp у роботе з локальнымі LLM на чыпах Apple Silicon, пры чым швальдзівкі залежыць ад размеру модэлі, ёсць тры спосабы перайсці з Ollama, а таксама аб’явы, якіх трэба ухіліцца.
5 хв чытанняЧы гэты большыя LoRA адрабо? Ацэніце точнасць па адносу да косту, а не за іншымі факторамі.
Маленький прярок, який обробляе рецепты LoRA як даныя та відображае точність, час навчання, затрягання та пам'ять, тож вибік рейтингування та кількості повторень залежить від цифр.
5 хв чытанняВыкананне настройкі LoRA локальна: пераканацца, з’едынэнне і адзінаванне тых, што працуюць без звуку
Падкрэсціце, што адаптар LoRA дзейсна паспрабавіў паўнэчыць маленькі модель, з’яеднаць яго і запрацаваць за дапамогою локальнага API, сумэнныя з OpenAI, а таксама выкрываце неудачы, якія вяртаюць неправильныя, але «впэўненыя» рэзультаты.
12 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.