OpenVINO 2026.4: MTP, DFlash, ASR für Node.js und neue Modelle

Intels Release OpenVINO 2026.4 erscheint zu einer Zeit, in der sich KI-Workloads ständig verschieben und effiziente, flexible Inferenz gefragter ist denn je. Teams liefern immer vielfältigere Produkte aus, von multimodalen Assistenten bis zu Live-Sprachpipelines, und die Auswahl an Modellen wächst jeden Monat. Diese Version antwortet darauf mit drei Dingen: einer langen Liste neu unterstützter Modelle, schnellerer Inferenz durch zwei Beschleunigungsfunktionen und ASRPipeline für Node.js. Ob Produktionsdienst auf einem AI PC, Experiment auf einer NPU oder erster Blick auf OpenVINO – hier ist für jeden etwas dabei.

Die folgenden Abschnitte behandeln zuerst das schnellere Decoding, dann die Sprachpipeline für JavaScript und schließlich die Liste der neuen Modelle.

Schnellere Generierung: MTP und DFlash

Multi-Token Prediction

OpenVINO GenAI unterstützt jetzt spekulatives Decoding per Multi-Token Prediction (MTP) für Gemma 4, Qwen 3.5 und Qwen 3.6, sowohl auf CPUs als auch auf GPUs.

Etwas Hintergrund hilft. Klassisches spekulatives Decoding nutzt ein separates, kleines Draft-Modell. Es schlägt mehrere Kandidaten-Tokens vor, und das Hauptmodell prüft sie alle in einem einzigen Forward-Pass. Das senkt die Zahl der Aufrufe des vollen Modells, die für eine Sequenz nötig sind.

MTP ändert, woher die Vermutungen kommen. Ein separates Draft-Modell entfällt. Vorhersageköpfe, die im Modell selbst stecken, erzeugen spekulativ mehrere Tokens auf einmal. Da diese Köpfe zusammen mit dem Hauptmodell trainiert werden, liegen ihre Vermutungen meist öfter richtig. Eine höhere Akzeptanzrate bedeutet mehr bestätigte Tokens pro Durchlauf. Das Ergebnis: mehr Durchsatz und weniger Latenz, ohne Abstriche bei der Ausgabequalität, und bestehende Pipeline-Konfigurationen müssen nicht angepasst werden.

DFlash für Qwen auf Intel-GPUs

DFlash-Beschleunigung für Qwen-Modelle kommt als Preview in OpenVINO GenAI. Sie zielt auf die GPUs der Intel-Core-Ultra-Series-3-Prozessoren. Die Funktion bündelt mehrere GPU-Optimierungen mit Unterstützung für visuelle Tokens bei multimodalen Workloads, was die Latenz von GenAI-Pipelines mit gemischter Text- und Bildeingabe senkt. Wer Vision-Language-Pipelines baut oder Qwen anderweitig intensiv auf Intel-GPU-Hardware einsetzt, kann mit einer kürzeren Zeit bis zum ersten Token und besserem Gesamtdurchsatz rechnen.

Spracherkennung für Node.js

ASRPipeline erschien erstmals im Release 2026.3 als gemeinsame Schnittstelle für Modelle zur automatischen Spracherkennung. Sie erspart Entwicklern, sich mit den eigenen Ein- und Ausgabekonventionen jedes Modells herumzuschlagen. Mit diesem Release kommt dieselbe Pipeline nach Node.js und steht damit den vielen JavaScript-Entwicklern offen, die serverseitige und Desktop-KI-Anwendungen schreiben.

Die Node.js-Version arbeitet mit Modellen wie Whisper und Qwen3-ASR. Sie bietet dieselben Kernfunktionen wie die C++- und Python-Versionen: Streaming-Transkription, Performance-Metriken und eine aufgeräumte Pipeline-API, die die Low-Level-Details verbirgt.

Das Streaming verdient Aufmerksamkeit. Statt die komplette Audioeingabe zu puffern, bevor irgendetwas zurückkommt, liefert eine Streaming-Pipeline Text, sobald er verfügbar ist. Live-Untertitel, Sprachassistenten und alle anderen Anwendungen, bei denen Nutzer die Latenz bemerken, sind darauf angewiesen.

Die Einrichtung dürfte jedem vertraut vorkommen, der schon andere OpenVINO-GenAI-Pipelines in Node.js genutzt hat. Ein vollständiges Beispiel liegt im samples-Verzeichnis des Projekts im Release-Branch 2026.4, ein kurzer Ausschnitt folgt hier:

import { ASRPipeline } from 'openvino-genai-node';

import { readFileSync } from 'node:fs';

import { decode } from 'node-wav';



const pipeline = await ASRPipeline(modelDir, "CPU");

const rawSpeechBuffer = readFileSync(audioFilePath);

const rawSpeech = decode(rawSpeechBuffer).channelData[0];

const result = await pipeline.generate(rawSpeech);

console.log(result.texts[0]);

Neu unterstützte Modelle

Das Release ergänzt eine breite Gruppe von Modellen für Sprachsynthese, Vision-Language, Spracherkennung und Bildgenerierung.

Auf CPU und GPU

• Gemma-3n stammt von Google DeepMind und setzt die Gemma-Familie fort. Das Modell ist auf effiziente multimodale Inferenz ausgelegt, wägt Leistungsfähigkeit gegen Ressourcenverbrauch ab und eignet sich für Assistenten auf dem Gerät und Vision-Language-Apps mit knappem Speicher.
• Kokoro-82M ist ein kompaktes Text-to-Speech-Modell, das natürlich klingende Stimmen erzeugt und dabei nur einen Bruchteil der Größe größerer TTS-Systeme hat. Seine 82 Millionen Parameter sind klein genug für Sprachgenerierung in Echtzeit auf CPU oder GPU, ohne den Ballast eines ausgewachsenen Modells.
• Qwen3-VL-4B mit Eagle 3 kombiniert Alibabas Vision-Language-Modell mit Eagle 3, einer Komponente für spekulatives Decoding, sodass multimodale Workloads ohne zusätzliche Einrichtung schneller Tokens erzeugen.
• Qwen3-ASR bringt Spracherkennung in die Qwen3-Familie. Es ist ein leistungsfähiges Transkriptionsmodell für sprachgesteuerte Funktionen wie Untertitelung, Transkription und sprachfähige Assistenten.
• Gemma 4 12B, ebenfalls von Google DeepMind, liegt in der Mitte der Gemma-4-Reihe. Es hat 12 Milliarden Parameter und akzeptiert Text-, Bild- und Audioeingaben. Gedacht ist es für Entwickler, die stärkeres Reasoning und bessere multimodale Ergebnisse brauchen, als leichte Edge-Modelle liefern, und es trotzdem praktikabel lokal oder auf ressourcenschonenden Setups betreiben wollen.
• Hy-MT2-1.8B ist ein kleines Modell für maschinelle Übersetzung, abgestimmt auf schnelle mehrsprachige Inferenz. Mit 1,8 Milliarden Parametern bietet es spezialisierte Übersetzung für viele Sprachen bei geringem Ressourcenbedarf. Denkbar sind Lokalisierungspipelines, Live-Übersetzung in einer App oder Edge-Geräte, auf denen ein spezialisierter Übersetzer einem Allzweck-LLM überlegen ist.
• DeepSeek OCR-2 übernimmt Dokumentverständnis und optische Zeichenerkennung. Es ist darauf ausgelegt, Informationen aus gescannten Dokumenten, Formularen, Rechnungen und komplexen Layouts zu ziehen und Seitenbilder in Daten zu verwandeln, die nachgelagerte Verarbeitung und Automatisierung nutzen können.
• Granite 4.0 H Micro ist IBMs kleines Hybridmodell, das Mamba-2-Schichten mit Transformer-Schichten mischt, um effiziente Inferenz mit niedriger Latenz zu erreichen. IBM richtet es auf agentische Workflows und lokale Deployments mit begrenzter Hardware aus.

Auf der NPU

• Kokoro-82M läuft jetzt auch auf der NPU, was Intel-AI-PCs energieeffiziente Sprachsynthese verschafft und CPU und GPU Speicher- und Strombedarf erspart.
• FLUX.2-Klein-4B, ein Modell von Black Forest Labs, bringt ressourcenschonende Bildgenerierung auf die NPU, sodass Bildsynthese in Echtzeit auch auf begrenzter Hardware ein realistisches Ziel wird.

Day-0-Support

Das Projekt will nach eigenen Worten mit der Community Schritt halten, und dieses Release untermauert das mit Day-0-Support für Muse Glimmer und Qwen 3.8 27B. Experimente auf Intel-Hardware können beginnen, sobald diese Modelle erscheinen. Weitere optimierte, einsatzbereite Modelle und Benchmarks finden sich im OpenVINO Model Hub.

Wo man anfangen sollte

Das passende erste Experiment hängt von der vorhandenen Hardware ab. Auf einer CPU oder GPU, die bereits Gemma 4 oder ein aktuelles Qwen-Modell bedient, ist MTP die Änderung mit dem geringsten Aufwand, da die Pipeline-Konfiguration bleibt, wie sie ist. Ein Rechner mit Core-Ultra-Series-3-GPU, auf dem Qwen-Vision-Language-Workloads laufen, ist der richtige Ort für die DFlash-Preview. Ein JavaScript-Backend, das Transkription braucht, kann ASRPipeline mit Whisper oder Qwen3-ASR übernehmen; wenn Latenz für die Nutzer zählt, sollte zuerst die Streaming-Ausgabe geprüft werden. Auf einem AI PC machen die NPU-Neuerungen Kokoro-82M und FLUX.2-Klein-4B einen Test wert, wenn der Stromverbrauch die Grenze setzt und nicht die reine Geschwindigkeit.

Das Release im Überblick

Die neuen Modelle decken CPU, GPU und NPU ab, es gibt also mehr zu bauen und mehr Orte, um es auszuführen. MTP und DFlash holen zusätzliche Inferenzleistung aus bereits vorhandener Hardware. ASRPipeline in Node.js eröffnet JavaScript-Entwicklern einen Weg zur Spracherkennung. Das Paket steht ab sofort zum Download bereit.