Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: MLX
Hy-MT2-7B на пяти локальных движках выполнения: какой из них подойдет для перевода на Mac?
Hy-MT2-7B протестирован в условиях нагрузки с использованием llama.cpp, LM Studio, mlx-lm, Ollama и MLX-Serve на двух машинах Mac Studio M5 Ultra: пропускная способность, масштабируемость, детерминизм, использование памяти.
9 мин чтенияЗапуск локальных агентов кодирования на Mac с oMLX: объяснение кэша KV с хранением на диске
oMLX хранит префиксы команд в SSD, чтобы локальные инструменты кодирования оставались быстрыми на чипах Apple Silicon. Установите его и подключите к нему Claude Code, Codex, Cursor и OpenCode.
9 мин чтенияВнутри LLM: инференс на чистом Python для Qwen3-0.6B на MLX
Пошаговая реализация процесса интерпретации LLM примерно из 200 строк кода на Python с использованием MLX: токенизатор, RMSNorm, RoPE, группированное внимание к запросам, SwiGLU, кэш KV и метод выборки.
13 мин чтенияЗапуск ИИ-агентов на MacBook: почему oMLX превосходит чистый MLX
Raw MLX требовал примерно 20 секунд для обработки контекста агента объемом 8,7 токена на процессоре M1 Max. oMLX сократил это время до примерно 3 секунд благодаря батчингу и иерархической кэш-системе KV. Цифры и причины.
5 мин чтенияЛокальные LLM на Mac: MLX вместо стандартного движка llama.cpp
Когда MLX от Apple превосходит llama.cpp в работе с локальными большими языковыми моделями на чипах Apple Silicon, при этом скорость зависит от размера модели: три способа перейти с Ollama и ошибки, которых следует избегать.
5 мин чтенияСтоит ли брать LoRA побольше? Сравнивайте точность с ценой, а не с ощущениями
Небольшой стенд, который хранит рецепты LoRA как данные и выдаёт точность, время обучения, задержку и память, чтобы выбор ранга и числа итераций опирался на цифры.
5 мин чтенияРабота с LoRA для локальной настройки: проверка, объединение и избежание скрытых сбоев
Докажите, что адаптер LoRA действительно улучшил небольшую модель, объедините её с другими компонентами и предоставьте через локальный API, совместимый с OpenAI, а также выявите сбои, приводящие к ошибочным результатам.
12 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.