Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Inference
Всередині LLM: чисте виконання на Python для Qwen3-0.6B на MLX
Крок за кроком створення механізму інференсу LLM приблизно з 200 рядків коду на Python за допомогою MLX: токенайзер, RMSNorm, RoPE, групована увага до запитів, SwiGLU, кеш KV та вибірка даних.
13 хв читанняKimi K3 та інші великі моделі локально: п'ять відкритих репозиторіїв
П'ять open source-репозиторіїв, які втискають моделі фронтирного масштабу в ноутбук або одну GPU завдяки стримінгу з диска, кешуванню експертів і вивантаженню, — з реальними цифрами швидкості.
6 хв читанняПрапорці vllm serve з розумними стартовими значеннями
Практичний огляд прапорців vllm serve, які справді доводиться налаштовувати: dtype, використання пам'яті, довжина контексту, паралелізм, API-ключі та квантизація, зі значеннями для старту.
4 хв читанняВисновки за межами тексту: налаштування VLM, ембеддингів, мовлення, зображень та відео
Кожна модальність має свою вузьку місце. Дізнайтеся, як налаштувати VLM, ембеддери, ASR, TTS, генератори зображень та відео за допомогою правильного батчингу, ядер, кешування та квантації.
11 хв читанняКеш KV — це невидима база даних, яка споживає пам’ять GPU під час декодування LLM.
Кеш KV тихо споживає пам’ять GPU під час інференсу LLM: попереднє заповнення проти декодування, математика KV, GQA та MQA, PagedAttention, політики квантування та видалення.
9 хв читанняПрактичне використання LLM: Ollama, vLLM та TGI
Шар обробки даних, який перетворює файли моделей на API LLM: Ollama для роботи на локальних пристроях, vLLM та Hugging Face TGI для GPU, а також те, чого бракує звичайним трансформерам.
5 хв читанняllama.cpp проти vLLM проти Ollama: виберіть локальний двигун залежно від обмежень
llama.cpp, Ollama чи vLLM для локального LLM? Підберіть двигун відповідно до основних обмежень: портативність ноутбука, зручність використання DX чи продуктивність GPU для кількох користувачів під навантаженням.
5 хв читанняOllama на IBM Z та LinuxONE: локальні LLM у межах зони довіри
Перенесення Ollama на IBM Z та LinuxONE зводиться до безпечного завантаження ваг моделей з урахуванням ендіану, щоб локальна ШІ могла обробляти регульовані дані без їх виходу за межі захищеного простору.
6 хв читанняКінцево-кінцеве інференсування LLM: попереднє заповнення, декодування, кеш KV та вибір зразків.
Огляд роботи токенайзера під час стрімування у форматі, придатному для використання на дошці запису — чому процес попереднього заповнення обмежений потужністю обчислювальних пристроїв, а декодування — пропускною здатністю каналу, та як GQA, пейджинг та спекуляція впливають на економіку процесу.
40 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.