Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: local-llm
Локальний ШІ для конфіденційних документів: що запускати на власному обладнанні
Як не віддавати договори, зарплатні відомості та аудиторські файли в хмарні API: які етапи конвеєра тримати локально, яке обладнання підійде, де локальні моделі слабші і скільки це коштує.
3 хв читанняСкільки пам’яті потрібно для локального ШІ? Швидкість роботи від 16 ГБ до 512 ГБ.
Вимірювання швидкості та якості локальних LLM на пристроях з об’ємом пам’яті 16, 32, 128, 256 та 512 ГБ, що може виконуватися в кожній категорії, а також які GPU, Mac та міні-ПК підходять для кожного випадку.
5 хв читанняMac Studio M5 Ultra проти DGX Spark: швидкість роботи локальних моделей ШІ з однаковими моделями.
Mac Studio M5 Ultra 256 GB проти однієї, двох та чотирьох модулів DGX Spark на платформах Nemotron, Qwen3.8 та DeepSeek-V4.1-Flash: декодування, попереднє заповнення, обробка пакетами та робота з зображеннями.
4 хв читанняБенчмарки локальних LLM на RTX 5090: той самий Qwen3.8-27B, 67–253 токенів на секунду.
Qwen3.8-27B на одному RTX 5090 за допомогою TensorFold, NInfer, ExLlamaV3, Qwentin та vLLM: декодування, попереднє заповнення, паралельна продуктивність, якість та вибір інструментального комплексу для виконання.
4 хв читанняRTX 5060 Ti 16 GB для локального ШІ: виміряні швидкості обробки моделей LLM, зображень та аудіо.
RTX 5060 Ti 16 GB, протестований для локального ШІ: п’ять моделей LLM зі швидкістю обробки від 42 до 116 токенів/с, час обробки першого токену при обсязі 32K, швидкість обробки зображень, відео, 3D-даних та аудіо, а також те, що можна на ньому запускати.
6 хв читанняTensorFold проти llama.cpp на Mac Studio M5 Ultra: продуктивність у 1,84 рази вища під час обробки справжніх файлів JSON
Я протестував TensorFold 1.2.0 порівняно з llama.cpp на Mac Studio M5 Ultra з Qwen3.8-27B та 80 реальними запитами JSON: пропускна здатність становила 1.84 рази більше при 8 одночасних запитах.
9 хв читанняHy-MT2-7B у п’яти локальних середовищах виконання: яке з них підходить для перекладу на Mac?
Hy-MT2-7B протестовувався з точки зору навантаження на llama.cpp, LM Studio, mlx-lm, Ollama та MLX-Serve на двох комп’ютерах Mac Studio M5 Ultra: пропускна здатність, масштабування, детермінізм, використання пам’яті.
9 хв читанняРобочий процес локального агента LLM, створений з папок та файлів Markdown
Створіть закриту, багатоступеневу систему обробки запитів місцевими агентами, де кожен етап є окремою папкою, запити формується у форматі Markdown, а людина перевіряє результат перед виконанням дорогого кроку.
25 хв читанняПідключення LM Studio до серверів MCP для файлів, GitHub та браузера.
Покрокові конфігурації mcp.json, які дозволяють локальній моделі використовувати файлову систему, інструменти GitHub OAuth та Playwright, з вибором моделей та способами усунення поширених помилок.
7 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.