OpenVINO 2026.4: MTP, DFlash, ASR у Node.js і нові моделі

Реліз Intel OpenVINO 2026.4 виходить тоді, коли AI-навантаження й далі змінюються, а ефективний і гнучкий інференс потрібен як ніколи. Команди випускають дедалі різноманітніші продукти — від мультимодальних асистентів до конвеєрів розпізнавання мовлення в реальному часі, — і вибір моделей для запуску зростає щомісяця. Ця версія відповідає трьома речами: довгим списком нових підтримуваних моделей, швидшим інференсом завдяки двом функціям прискорення та ASRPipeline для Node.js. Чи то продакшен-сервіс на AI PC, чи експеримент на NPU, чи перше знайомство з OpenVINO — тут знайдеться щось корисне.

Нижче спершу йдеться про швидше декодування, потім про мовленнєвий конвеєр для JavaScript і наостанок про список нових моделей.

Швидша генерація: MTP і DFlash

Multi-Token Prediction

OpenVINO GenAI тепер підтримує спекулятивне декодування Multi-Token Prediction (MTP) для Gemma 4, Qwen 3.5 і Qwen 3.6 — як на CPU, так і на GPU.

Трохи контексту. Звичайне спекулятивне декодування використовує окрему невелику чернеткову модель. Вона пропонує кілька токенів-кандидатів, а основна модель перевіряє їх усі за один прямий прохід. Так скорочується кількість викликів повної моделі, потрібних для генерації послідовності.

MTP змінює джерело здогадок. Окрема чернеткова модель не потрібна. Голови передбачення, вбудовані в саму модель, спекулятивно генерують одразу кілька токенів. Оскільки ці голови навчаються разом з основною моделлю, їхні здогадки зазвичай точніші. Вища частка прийнятих токенів означає більше підтверджених токенів за кожен прохід. У підсумку зростає пропускна здатність і падає затримка, якість виводу не страждає, а наявні налаштування конвеєра змінювати не треба.

DFlash для Qwen на GPU Intel

Прискорення DFlash для моделей Qwen з'являється в OpenVINO GenAI як попередня версія. Воно розраховане на GPU у процесорах Intel Core Ultra Series 3. Функція поєднує кілька оптимізацій для GPU з підтримкою візуальних токенів для мультимодальних навантажень, що знижує затримку конвеєрів GenAI, де текстовий ввід змішано із зображеннями. Тим, хто будує vision-language-конвеєри чи будь-які навантаження, що інтенсивно ганяють Qwen на GPU Intel, варто очікувати швидшої появи першого токена й кращої загальної пропускної здатності.

Розпізнавання мовлення для Node.js

ASRPipeline уперше з'явився в релізі 2026.3 як спільний інтерфейс для моделей автоматичного розпізнавання мовлення. Він позбавляє розробників морочитися з власними домовленостями кожної моделі щодо вводу й виводу. У цьому релізі той самий конвеєр дістався Node.js, і тепер він доступний багатьом JavaScript-розробникам, які пишуть серверні та десктопні AI-застосунки.

Версія для Node.js працює з такими моделями, як Whisper і Qwen3-ASR. Вона надає ті самі основні можливості, що й версії для C++ і Python: потокову транскрипцію, метрики продуктивності та охайний API конвеєра, який приховує низькорівневі деталі.

Потоковий режим заслуговує окремої уваги. Замість того щоб буферизувати весь аудіовхід, перш ніж щось повернути, потоковий конвеєр віддає текст, щойно він готовий. Від цього залежать живі субтитри, голосові асистенти та будь-які інші застосунки, де користувач бачить затримку.

Налаштування здасться знайомим усім, хто вже працював з іншими конвеєрами OpenVINO GenAI у Node.js. Повний приклад є в каталозі samples проєкту в гілці релізу 2026.4, а короткий фрагмент наведено нижче:

import { ASRPipeline } from 'openvino-genai-node';

import { readFileSync } from 'node:fs';

import { decode } from 'node-wav';



const pipeline = await ASRPipeline(modelDir, "CPU");

const rawSpeechBuffer = readFileSync(audioFilePath);

const rawSpeech = decode(rawSpeechBuffer).channelData[0];

const result = await pipeline.generate(rawSpeech);

console.log(result.texts[0]);

Нові підтримувані моделі

Реліз додає велику групу моделей для синтезу мовлення, vision-language-задач, розпізнавання мовлення та генерації зображень.

На CPU і GPU

• Gemma-3n від Google DeepMind продовжує родину Gemma. Вона розрахована на ефективний мультимодальний інференс із балансом між можливостями та споживанням ресурсів і добре підходить для асистентів на пристрої та vision-language-застосунків з обмеженою пам'яттю.
• Kokoro-82M — компактна модель синтезу мовлення, яка видає природні голоси за розміру в рази меншого, ніж у великих TTS-систем. Її 82 мільйони параметрів — це досить мало для генерації мовлення в реальному часі на CPU або GPU без усього того багажу, який тягне повнорозмірна модель.
• Qwen3-VL-4B з Eagle 3 поєднує vision-language-модель Alibaba з Eagle 3, компонентом спекулятивного декодування, тож мультимодальні навантаження генерують токени швидше без додаткового налаштування.
• Qwen3-ASR додає розпізнавання мовлення до родини Qwen3. Це сильна модель транскрипції для голосових функцій на кшталт субтитрів, розшифрування та асистентів із підтримкою мовлення.
• Gemma 4 12B, теж від Google DeepMind, посідає середину лінійки Gemma 4. Вона має 12 мільярдів параметрів і приймає на вхід текст, зображення й аудіо. Вона призначена для розробників, яким потрібні сильніші міркування й мультимодальні результати, ніж дають легкі edge-моделі, але при цьому важливо, щоб модель практично працювала локально або за обмежених ресурсів.
• Hy-MT2-1.8B — невелика модель машинного перекладу, налаштована на швидкий багатомовний інференс. Маючи 1,8 мільярда параметрів, вона забезпечує спеціалізований переклад між багатьма мовами за скромних вимог. Підійде для конвеєрів локалізації, живого перекладу всередині застосунку або edge-пристроїв, де окремий перекладач вигідніший за LLM загального призначення.
• DeepSeek OCR-2 відповідає за розуміння документів і оптичне розпізнавання символів. Її створено, щоб витягувати інформацію зі сканів, форм, рахунків і складних макетів, перетворюючи зображення сторінок на дані для подальшої обробки й автоматизації.
• Granite 4.0 H Micro — невелика гібридна модель IBM, у якій шари Mamba-2 поєднано з трансформерними заради ефективного інференсу з низькою затримкою. IBM спрямовує її на агентні сценарії та локальні розгортання з обмеженим залізом.

На NPU

• Kokoro-82M тепер працює й на NPU, що дає AI PC на Intel енергоефективний синтез мовлення та знімає з CPU і GPU навантаження на пам'ять і енергоспоживання.
• FLUX.2-Klein-4B, модель Black Forest Labs, додає на NPU генерацію зображень із невеликими вимогами до ресурсів, тож синтез зображень у реальному часі стає реалістичною метою навіть на обмеженому залізі.

Підтримка з першого дня

Проєкт заявляє, що хоче йти в ногу зі спільнотою, і цей реліз підкріплює слова підтримкою Muse Glimmer і Qwen 3.8 27B з першого дня. Експериментувати на залізі Intel можна одразу після виходу цих моделей. По додатково оптимізовані, готові до розгортання моделі та бенчмарки варто зазирнути в OpenVINO Model Hub.

З чого почати

Перший експеримент залежить від того, яке залізо під рукою. Якщо CPU чи GPU вже обслуговує Gemma 4 або свіжу модель Qwen, MTP — найпростіша зміна, адже налаштування конвеєра лишаються незмінними. Машина з GPU Core Ultra Series 3, на якій працюють vision-language-навантаження Qwen, — слушне місце, щоб спробувати попередню версію DFlash. JavaScript-бекенд, якому потрібна транскрипція, може взяти ASRPipeline з Whisper або Qwen3-ASR, і якщо для користувачів важлива затримка, оцінювання варто почати з потокового виводу. На AI PC новинки для NPU роблять Kokoro-82M і FLUX.2-Klein-4B вартими перевірки, коли обмеженням є енергоспоживання, а не чиста швидкість.

Підсумки релізу

Нові моделі охоплюють CPU, GPU та NPU, тож будувати можна більше, а запускати — у більшій кількості місць. MTP і DFlash вичавлюють додаткову продуктивність інференсу з уже наявного заліза. ASRPipeline у Node.js відкриває JavaScript-розробникам шлях до розпізнавання мовлення. Пакет уже доступний для завантаження.