OpenVINO 2026.4: MTP, DFlash, ASR в Node.js и новые модели

Релиз Intel OpenVINO 2026.4 выходит в момент, когда AI-нагрузки продолжают меняться, а эффективный и гибкий инференс востребован как никогда. Команды выпускают всё более разные продукты — от мультимодальных ассистентов до конвейеров распознавания речи в реальном времени, — и выбор моделей для запуска растёт с каждым месяцем. Эта версия отвечает тремя вещами: длинным списком новых поддерживаемых моделей, более быстрым инференсом за счёт двух функций ускорения и ASRPipeline для Node.js. Будь то продакшен-сервис на AI PC, эксперимент на NPU или первое знакомство с OpenVINO — здесь найдётся что-то полезное.

Ниже сначала речь пойдёт о более быстром декодировании, затем о речевом конвейере для JavaScript и в конце о списке новых моделей.

Быстрая генерация: MTP и DFlash

Multi-Token Prediction

OpenVINO GenAI теперь поддерживает спекулятивное декодирование Multi-Token Prediction (MTP) для Gemma 4, Qwen 3.5 и Qwen 3.6 — как на CPU, так и на GPU.

Немного контекста. Обычное спекулятивное декодирование использует отдельную небольшую черновую модель. Она предлагает несколько токенов-кандидатов, а основная модель проверяет их все за один прямой проход. Так сокращается число вызовов полной модели, необходимых для генерации последовательности.

MTP меняет источник догадок. Отдельная черновая модель не нужна. Головы предсказания, встроенные в саму модель, спекулятивно генерируют сразу несколько токенов. Поскольку эти головы обучаются вместе с основной моделью, их догадки обычно точнее. Более высокая доля принятых токенов означает больше подтверждённых токенов за каждый проход. В итоге растёт пропускная способность и падает задержка, качество вывода не страдает, а существующие настройки конвейера менять не нужно.

DFlash для Qwen на GPU Intel

Ускорение DFlash для моделей Qwen появляется в OpenVINO GenAI в виде предварительной версии. Оно рассчитано на GPU в процессорах Intel Core Ultra Series 3. Функция объединяет несколько оптимизаций для GPU с поддержкой визуальных токенов для мультимодальных нагрузок, что снижает задержку конвейеров GenAI, где текстовый ввод смешан с изображениями. Тем, кто строит vision-language-конвейеры или любые нагрузки, плотно гоняющие Qwen на GPU Intel, стоит ждать более быстрого появления первого токена и лучшей общей пропускной способности.

Распознавание речи для Node.js

ASRPipeline впервые появился в релизе 2026.3 как общий интерфейс для моделей автоматического распознавания речи. Он избавляет разработчиков от возни с собственными соглашениями каждой модели о вводе и выводе. В этом релизе тот же конвейер добрался до Node.js, и теперь он доступен множеству JavaScript-разработчиков, которые пишут серверные и десктопные AI-приложения.

Версия для Node.js работает с такими моделями, как Whisper и Qwen3-ASR. Она предоставляет те же основные возможности, что и версии для C++ и Python: потоковую транскрипцию, метрики производительности и аккуратный API конвейера, скрывающий низкоуровневые детали.

Потоковый режим заслуживает отдельного внимания. Вместо того чтобы буферизовать весь аудиовход, прежде чем что-либо вернуть, потоковый конвейер отдаёт текст, как только он готов. От этого зависят живые субтитры, голосовые ассистенты и любые другие приложения, где пользователь видит задержку.

Настройка покажется знакомой всем, кто уже работал с другими конвейерами OpenVINO GenAI в Node.js. Полный пример лежит в каталоге samples проекта в ветке релиза 2026.4, а короткий фрагмент приведён ниже:

import { ASRPipeline } from 'openvino-genai-node';

import { readFileSync } from 'node:fs';

import { decode } from 'node-wav';



const pipeline = await ASRPipeline(modelDir, "CPU");

const rawSpeechBuffer = readFileSync(audioFilePath);

const rawSpeech = decode(rawSpeechBuffer).channelData[0];

const result = await pipeline.generate(rawSpeech);

console.log(result.texts[0]);

Новые поддерживаемые модели

Релиз добавляет большую группу моделей для синтеза речи, vision-language-задач, распознавания речи и генерации изображений.

На CPU и GPU

• Gemma-3n от Google DeepMind продолжает семейство Gemma. Она рассчитана на эффективный мультимодальный инференс с балансом между возможностями и потреблением ресурсов и хорошо подходит для ассистентов на устройстве и vision-language-приложений с ограниченной памятью.
• Kokoro-82M — компактная модель синтеза речи, которая выдаёт естественно звучащие голоса при размере в разы меньше крупных TTS-систем. Её 82 миллионов параметров достаточно мало для генерации речи в реальном времени на CPU или GPU без всего того багажа, что тянет полноразмерная модель.
• Qwen3-VL-4B с Eagle 3 объединяет vision-language-модель Alibaba с Eagle 3, компонентом спекулятивного декодирования, так что мультимодальные нагрузки генерируют токены быстрее без дополнительной настройки.
• Qwen3-ASR добавляет распознавание речи в семейство Qwen3. Это сильная модель транскрипции для голосовых функций вроде субтитров, расшифровки и ассистентов с поддержкой речи.
• Gemma 4 12B, тоже от Google DeepMind, занимает середину линейки Gemma 4. У неё 12 миллиардов параметров, и она принимает на вход текст, изображения и аудио. Она предназначена для разработчиков, которым нужны более сильные рассуждения и мультимодальные результаты, чем дают лёгкие edge-модели, но при этом важно, чтобы модель практично работала локально или в условиях ограниченных ресурсов.
• Hy-MT2-1.8B — небольшая модель машинного перевода, настроенная на быстрый многоязычный инференс. При 1,8 миллиарда параметров она обеспечивает специализированный перевод между многими языками при скромных требованиях. Подойдёт для конвейеров локализации, живого перевода внутри приложения или edge-устройств, где отдельный переводчик выгоднее LLM общего назначения.
• DeepSeek OCR-2 отвечает за понимание документов и оптическое распознавание символов. Она создана, чтобы извлекать информацию из сканов, форм, счетов и сложных макетов, превращая изображения страниц в данные для последующей обработки и автоматизации.
• Granite 4.0 H Micro — небольшая гибридная модель IBM, в которой слои Mamba-2 сочетаются с трансформерными ради эффективного инференса с низкой задержкой. IBM нацеливает её на агентные сценарии и локальные развёртывания с ограниченным железом.

На NPU

• Kokoro-82M теперь работает и на NPU, что даёт AI PC на Intel энергоэффективный синтез речи и снимает с CPU и GPU нагрузку по памяти и энергопотреблению.
• FLUX.2-Klein-4B, модель Black Forest Labs, добавляет на NPU генерацию изображений с небольшими требованиями к ресурсам, так что синтез изображений в реальном времени становится реалистичной целью даже на ограниченном железе.

Поддержка с первого дня

Проект заявляет, что хочет идти в ногу с сообществом, и этот релиз подкрепляет слова поддержкой Muse Glimmer и Qwen 3.8 27B с первого дня. Экспериментировать на железе Intel можно сразу после выхода этих моделей. За дополнительно оптимизированными, готовыми к развёртыванию моделями и бенчмарками стоит заглянуть в OpenVINO Model Hub.

С чего начать

Первый эксперимент зависит от того, какое железо под рукой. Если CPU или GPU уже обслуживает Gemma 4 или свежую модель Qwen, MTP — самое простое изменение, ведь настройки конвейера остаются прежними. Машина с GPU Core Ultra Series 3, на которой крутятся vision-language-нагрузки Qwen, — подходящее место, чтобы попробовать предварительную версию DFlash. JavaScript-бэкенд, которому нужна транскрипция, может взять ASRPipeline с Whisper или Qwen3-ASR, и если для пользователей важна задержка, начать оценку стоит с потокового вывода. На AI PC новинки для NPU делают Kokoro-82M и FLUX.2-Klein-4B достойными проверки, когда ограничением выступает энергопотребление, а не чистая скорость.

Итоги релиза

Новые модели охватывают CPU, GPU и NPU, так что строить можно больше и запускать — в большем числе мест. MTP и DFlash выжимают дополнительную производительность инференса из уже имеющегося железа. ASRPipeline в Node.js открывает JavaScript-разработчикам путь к распознаванию речи. Пакет уже доступен для загрузки.