Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: MLX
Hy-MT2-7B у п’яти локальних середовищах виконання: яке з них підходить для перекладу на Mac?
Hy-MT2-7B протестовувався з точки зору навантаження на llama.cpp, LM Studio, mlx-lm, Ollama та MLX-Serve на двох комп’ютерах Mac Studio M5 Ultra: пропускна здатність, масштабування, детермінізм, використання пам’яті.
9 хв читанняЗапуск локальних агентів кодування на Mac за допомогою oMLX: пояснення кешу KV з зберіганням на диску
oMLX зберігає префікси команд у SSD, щоб локальні інструменти програмування залишалися швидкими на Apple Silicon. Встановіть його та під’єднайте до нього Claude Code, Codex, Cursor та OpenCode.
9 хв читанняВсередині LLM: чисте виконання на Python для Qwen3-0.6B на MLX
Крок за кроком створення механізму інференсу LLM приблизно з 200 рядків коду на Python за допомогою MLX: токенайзер, RMSNorm, RoPE, групована увага до запитів, SwiGLU, кеш KV та вибірка даних.
13 хв читанняРобота штучних інтелектуальних агентів на MacBook: чому oMLX кращий за базовий MLX
Raw MLX потребував близько 20 секунд для обробки контексту агента з 8,7 тисяч токенів на процесорі M1 Max. oMLX скоротив цей час до приблизно 3 секунд завдяки батчуванню та ієрархічній кеш-системі KV. Цифри та причини.
5 хв читанняЛокальні LLM на Mac: MLX замість стандартного рушія llama.cpp
Коли MLX від Apple перевершує llama.cpp у роботі з локальними LLM на чіпах Apple Silicon, зі швидкістю, що залежить від розміру моделі, три способи перейти з Ollama та помилки, яких слід уникати.
5 хв читанняЧи варто брати більшу LoRA? Порівнюйте точність із ціною, а не з відчуттями
Невеликий стенд, який зберігає рецепти LoRA як дані й показує точність, час навчання, затримку та пам'ять, щоб вибір рангу й кількості ітерацій спирався на цифри.
5 хв читанняОбробка LoRA для фін-тюнінгу локально: перевірка, об’єднання та уникнення прихованих помилок
Доведіть, що адаптер LoRA справді покращив невелику модель, об’єднайте її та розмістіть за локальним API, сумісним з OpenAI, а також виявляйте помилки, які призводять до неправильних результатів.
12 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.