Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: local-llm
Локальный ИИ для конфиденциальных документов: что можно запускать на собственном оборудовании
Хранение контрактов, данных о заработной плате и аудиторских документов вне облачных API: какие этапы работы должны выполняться локально, какое оборудование подходит, где локальные модели оказываются менее эффективными, и связанные с этим затраты.
3 мин чтенияСколько памяти нужно для локального ИИ? Скорости работы от 16 ГБ до 512 ГБ.
Измерялась скорость и качество работы локальных LLM на машинах с объемом памяти 16, 32, 128, 256 и 512 ГБ, что может запускаться в каждой категории, а также какие GPU, Mac и мини-ПК подходят для каждого случая.
5 мин чтенияMac Studio M5 Ultra против DGX Spark: скорость работы локальных нейросетей с одинаковыми моделями.
Mac Studio M5 Ultra 256 ГБ против одного, двух и четырех модулей DGX Spark на платформах Nemotron, Qwen3.8 и DeepSeek-V4.1-Flash: декодирование, предзаполнение данных, группировка операций и обработка изображений.
4 мин чтенияТесты производительности локальных LLM на RTX 5090: тот же Qwen3.8-27B, от 67 до 253 токенов в секунду.
Qwen3.8-27B на одной карте RTX 5090 с использованием TensorFold, NInfer, ExLlamaV3, Qwentin и vLLM: декодирование, предзаполнение, параллельная производительность, качество и выбор подходящей среды выполнения.
4 мин чтенияRTX 5060 Ti 16 GB для локального ИИ: измеренные скорости работы нейросетей типа LLM, изображений и аудио.
RTX 5060 Ti 16 GB в тестах для локального ИИ: пять нейросетей типа LLM с скоростью обработки от 42 до 116 токенов в секунду, время обработки первого токена на уровне 32 тыс., скорости обработки изображений, видео, 3D-моделей и аудио, а также что можно запускать на этой карте.
6 мин чтенияTensorFold против llama.cpp на Mac Studio M5 Ultra: пропускная способность при обработке реальных JSON-данных в 1,84 раза выше
Я провёл сравнительные тесты TensorFold 1.2.0 с llama.cpp на Mac Studio M5 Ultra с моделью Qwen3.8-27B при 80 реальных запросах в формате JSON: пропускная способность составила 1,84 раза выше при 8 одновременных запросах.
9 мин чтенияHy-MT2-7B на пяти локальных движках выполнения: какой из них подойдет для перевода на Mac?
Hy-MT2-7B протестирован в условиях нагрузки с использованием llama.cpp, LM Studio, mlx-lm, Ollama и MLX-Serve на двух машинах Mac Studio M5 Ultra: пропускная способность, масштабируемость, детерминизм, использование памяти.
9 мин чтенияРабочий процесс локального агента LLM, созданный на основе папок и файлов Markdown
Создайте замкнутую многоэтапную систему работы с локальными агентами, при которой каждый этап представляет собой папку, промпты формируются в формате Markdown с возможностью редактирования, а человек проверяет результат перед выполнением дорогостоящего шага.
25 мин чтенияПодключение LM Studio к серверам MCP для файлов, GitHub и браузера.
Пошаговые конфигурации mcp.json, позволяющие локальной модели использовать файловую систему, инструменты GitHub OAuth и Playwright, включая выбор моделей и решения для распространенных ошибок.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.