Komposition von Sprach-, Vision- und Generierungsmodellen zu multimodalen Anwendungen

Moderne KI-Systeme können Text lesen, Bilder interpretieren, Sprache transkribieren, Stimmen synthetisieren sowie Bilder oder Videos erzeugen. Jede dieser Fähigkeiten ist für sich genommen nützlich, doch interessante Anwendungen entstehen, wenn man sie miteinander verbindet: Ein Benutzer lädt ein Foto hoch, stellt eine mündliche Frage dazu und hört die Antwort vorgelesen. Diese Anleitung erklärt, was multimodale KI für Anwendungsentwickler bedeutet, unterteilt sie in sechs Bausteine, zeigt, wie die Komponenten Daten miteinander austauschen, und endet mit einer Lernreihenfolge sowie einer Reihe von Projekten, die aufeinander aufbauen.

Was „multimodal“ eigentlich bedeutet

Eine Modalität ist eine Art von Information. Ein multimodales System nimmt mehr als eine dieser Modalitäten entgegen oder erzeugt sie, typischerweise:

• Text
• Bilder
• Audio
• Video

Ein klassischer Chatbot arbeitet in einem einzigen Kanal, wobei Text eingegeben und als Text ausgegeben wird:

User → Text → AI → Text

Eine multimodale Anwendung erweitert beide Enden dieses „Kanals“, sodass Eingabe und Ausgabe jeweils jede Kombination von Modalitäten sein können:

User
 ↓
Text / Voice / Image / Video
 ↓
AI
 ↓
Text / Voice / Image / Video

Für Benutzer bedeutet das, in der im Moment natürlichsten Form zu interagieren: während des Fahrens zu sprechen, ein Dokument zu fotografieren anstelle davon es einzutippen, zuzuhören anstatt zu lesen.

Von einem Modell zu einer Kette von Modellen

Begonnen wird mit dem einfachsten Fall. Ein Benutzer lädt ein Bild hoch und fragt, was darauf zu sehen ist. Ein Vision-Modell nimmt das Bild entgegen, interpretiert es und gibt eine textbasierte Beschreibung zurück:

🖼️ Image
    ↓
Vision Model
    ↓
Understand Image
    ↓
📝 Text Response

Weil die Ausgabe reiner Text ist, kann sie zur Eingabe eines anderen Komponenten dienen. Sie wird an einen Text-zu-Stimme-Engine weitergeleitet, wodurch die Anwendung nun ein Bild betrachtet und laut antwortet:

🖼️ Image
    ↓
Vision AI
    ↓
📝 Text
    ↓
Text-to-Speech
    ↓
🔊 Audio

Dieses Muster, bei dem die Ausgabe eines Modells zur Eingabe des nächsten Modells wird, ist die zentrale Idee dieses gesamten Themas. Text dient in der Regel als gemeinsame Kommunikationsgrundlage zwischen den Komponenten, weshalb so viele Pipelines über ihn geleitet werden – selbst dann, wenn weder die Eingabe noch die endgültige Ausgabe Text sind.

Die sechs Bausteine

Sechs Bereiche umfassen den größten Teil dessen, was Entwickler benötigen:

1. Bildgenerierung
2. Sprache zu Text
3. Text zu Sprache
4. Videogenerierung
5. Bildverarbeitung (Bildverständnis)
6. Multimodale Workflows, die die anderen kombinieren

Die ersten fünf sind Komponenten; der sechste ist die ingenieurtechnische Fähigkeit, sie in ein Produkt zu integrieren. Die folgenden Abschnitte behandeln jeweils einen dieser Bereiche.

Bildgenerierung

Ein Bildmodell wandelt einen Textaufruf in ein Bild um:

📝 Prompt
    ↓
AI Image Model
    ↓
🖼️ Generated Image

Die Anweisung beschreibt Thema, Setting und Stil, zum Beispiel:

A futuristic city in Kerala during a rainy evening,
cinematic lighting, realistic photography

Zu erkundende offene Ökosysteme umfassen Stable Diffusion und SDXL, FLUX, die auf Knoten basierende ComfyUI-Schnittstelle sowie die auf Hugging Face veröffentlichten Bildmodelle.

Das Erstellen eines einzelnen Bildes aus einer Anweisung ist nur der erste Schritt. Um echte kreative Werkzeuge zu entwickeln, sollten Sie Folgendes verstehen:

• Text-zu-Bild-Generierung
• Bild-zu-Bild-Transformation
• Bearbeitung von Teilen eines vorhandenen Bildes
• Prompt-Engineering
• Ausgabenerfassung
• Seitenverhältnis
• Bedingung anhand von Referenzbildern
• Kontrolle des Stils

Diese Kontrollmöglichkeiten sind wichtig, denn die Anforderungen an Produkte lauten selten „irgendes Bild“: Ein Thumbnail benötigt ein festes Seitenverhältnis, ein Markenprodukt erfordert einen konsistenten Stil und eine Bearbeitung muss alles außerhalb des ausgewählten Bereichs beibehalten.

Sprach-zu-Text

Menschen sprechen schneller, als sie tippen, wodurch Spracheingabe Anwendungen natürlicher erscheinen lässt. Ein Sprach-zu-Text-Modell wandelt aufgezeichnetes oder live eingespieltes Audio in Text um, mit dem ein Sprachmodell arbeiten kann:

🎤 Voice
   ↓
Speech Recognition
   ↓
📝 Text

Falls ein Benutzer „Erstelle eine Erinnerung für morgen“ sagt, gibt das Erkennungsmodul denselben Satz als Zeichenfolge aus:

Create a reminder for tomorrow.

Diese Zeichenfolge wird anschließend an ein LLM übermittelt, das die Absicht interpretieren und die jeweilige Erinnerungs-API der Anwendung aufrufen kann. Whisper, ein Modell für automatische Spracherkennung, ist ein gängiger Ausgangspunkt für die Transkription. Neben dem einmaligen Aufruf bei einem sauberen Dateiinhalt sind die praktischen Themen:

• Aufnahme des Mikrofon-Eingangs
• Arbeit mit Audio-Dateien
• Audioformate und Abtastrate
• Batch-Transkription
• Mehrsprachiges Audio
• Streaming-Transkription
• Echtzeit-Erkennung

Umgang mit Hintergrundgeräuschen

Das Streaming sowie die Handhabung von Geräuschen sind Bereiche, in denen Prototypen in der Produktion oft versagen, daher sollten Sie frühzeitig mit realistischem Audio testen. STT macht Sprachassistenten, Transkripte von Meetings, Untertitel, Sprachsuche und handsfree-Kontrollen möglich.

Sprache in Text umwandeln

Sprache in Text umwandeln (TTS) funktioniert in die entgegengesetzte Richtung und wandelt einen Textstring in gesprochenes Audio um:

📝 Text
   ↓
TTS Model
   ↓
🔊 Audio

Eine Bestätigung wie die unten gezeigte kann statt auf dem Bildschirm auch laut vorgelesen werden:

Your order has been successfully placed.

Zu prüfende Optionen sind Piper, Coqui TTS, Cloud-TTS-APIs sowie andere neuronale Sprachmodelle. Die Parameter, die Sie anpassen müssen, sind:

• Welche Stimme verwendet werden soll
• Sprechgeschwindigkeit
• Tonhöhe
• Ausgabformat des Audios
• Streaming-Wiedergabe
• Wie natürlich das Ergebnis klingt
• Sprechstil

Streaming ist wichtiger, als es auf den ersten Blick scheint: Wenn die App darauf wartet, dass die gesamte Antwort synthetisiert wurde, bevor etwas abgespielt wird, empfinden die Nutzer den Assistenten als langsam. Häufige Anwendungsbereiche sind Assistenten, Zugänglichkeitsfunktionen, Hörbücher, Navigation, Bildung und Kundenservice.

Videogenerierung

Während ein Bildmodell ein einzelnes Frame erzeugt, muss ein Videomodell Bewegung erzeugen, die im Laufe der Zeit kohärent bleibt. Drei Arbeitsabläufe sind besonders wichtig zu kennen.

Text zu Video

Eine Anweisung beschreibt die Szene und das Modell erstellt einen Clip:

📝 Prompt
    ↓
AI Video Model
    ↓
🎬 Video

Eine typische Anweisung beschreibt Subjekt, Bewegung und Bedingungen:

A motorcycle travelling through the
Kerala countryside during heavy monsoon rain.

Bild zu Video

Ein statisches Bild dient als Ausgangsframe, und das Modell animiert es:

🖼️ Image
   ↓
Video Model
   ↓
🎬 Moving Video

Video zu Video

Ein vorhandener Clip wird verändert, beispielsweise umgestylt, wobei seine Struktur beibehalten wird:

🎬 Existing Video
       ↓
    AI Model
       ↓
🎬 Transformed Video

Öffentliche Modelle wie Wan und CogVideoX sind verfügbar und werden oft über ComfyUI oder Hugging Face ausgeführt. Die Faktoren, die eine nutzbare Ausgabe von Rauschen unterscheiden, sind die Bewegungsgenerierung, die Kamerabewegung, die Beibehaltung der Konsistenz der Charaktere, die zeitliche Kohärenz zwischen den Frames sowie Auflösung und Bildrate. Videomodelle sind außerdem bei weitem am anspruchsvollsten für die Hardware – das sollte man vor der Entscheidung für lokale statt gehostete Inferenz prüfen.

Vision: Verstehen statt Erstellen

Es ist einfach, diese Aspekte miteinander zu verwechseln, doch der Unterschied ist klar: Bildgeneratoren erzeugen Bilder, während Visionmodelle sie interpretieren. Zeigen Sie einem Visionmodell ein Foto eines Autos und fragen Sie nach seiner Farbe – es antwortet auf Grundlage dessen, was es sieht:

🖼️ Image
    ↓
Vision Model
    ↓
Question
    ↓
📝 Answer

Typische Visionaufgaben umfassen:

• die Beschreibung eines Bildes
• die Identifizierung von Objekten
• das optische Zeichenerkennung

Dokumente verstehen

Fragen zu einem Bild beantworten

Bilder klassifizieren

Diagramme lesen

Screenshots analysieren

Eine Foto in strukturierte Daten umwandeln

Ein fotografiertes Kassenbon ist ein gutes Beispiel dafür, wo Computervision praktisch Anwendung findet. Anstelle einer freien Beschreibung soll das Modell die Felder als JSON zurückgeben:

📷 Receipt
    ↓
Vision AI
    ↓
Extract Information
    ↓
{
  "shop": "ABC Store",
  "total": 1250
}

Die strukturierte Ausgabe macht ein Vision-Modell innerhalb eines größeren Systems nützlich: Das JSON kann validiert, gespeichert oder an ein anderes Komponente weitergegeben werden, ohne dass jemand Prosa analysieren muss. Validieren Sie es immer, denn Modelle erfinden oder überspringen gelegentlich Felder. Für eine tiefere, für die Produktion orientierte Betrachtung dieses Konzepts sehen Sie diese Anleitung zu selbst gehosteter Vision-LLM-OCR mit Rasterisierung, Prompting und Parsing.

Multimodale Workflows

Hier kommen die einzelnen Komponenten zusammen. Ein einfacher Sprachassistent durchläuft fünf Schritte: Der Benutzer spricht, STT erzeugt den Text, der Text wird an ein LLM weitergeleitet, das LLM schreibt eine Antwort und TTS spricht diese aus:

🎤 User
   ↓
Speech-to-Text
   ↓
📝 Text
   ↓
🤖 LLM
   ↓
📝 Response
   ↓
Text-to-Speech
   ↓
🔊 AI Voice

Wichtig ist zu beachten, dass kein einziges riesiges Modell alles übernimmt. Die Anwendung besteht aus einer Kette spezialisierter Komponenten, von denen jede bei einer bestimmten Umwandlung besonders gut ist. Das hat praktische Folgen:

• Jede Stufe kann unabhängig ausgetauscht werden, beispielsweise durch ein besseres STT-Modell, ohne den Rest zu beeinflussen
• Fehler kumulieren sich, sodass ein falsch transkribiertes Wort bereits früh zu einer späteren fehlerhaften Antwort führt
• Die Latenz addiert sich über die einzelnen Stufen hinweg, weshalb das Streamen zwischen ihnen wichtig ist
• Jede Stufe kann mit festgelegten Eingaben isoliert getestet werden

Einige neuere Modelle unterstützen mehrere Modalitäten direkt, wodurch bestimmte Schritte weggelassen werden können; der Pipeline-Ansatz hilft weiterhin dabei, zu verstehen, an welchen Stellen sich die Datenform ändert.

Kombination mehrerer Eingaben

Eine umfangreichere Anwendung kann gleichzeitig drei Eingaben entgegennehmen:

🎤 Audio
🖼️ Image
📝 Text

Audio wird durch ein STT-Modul verarbeitet, Bilder durch ein Vision-Modell, und Text wird direkt eingegeben. Der kombinierte Kontext gelangt anschließend zum KI-Modell, das dann in einer der verschiedenen Formen antworten kann:

📝 Text
🖼️ Image
🎬 Video
🔊 Audio

In seiner Gesamtheit sieht die Architektur so aus:

USER
                       │
          ┌────────────┼────────────┐
          ↓            ↓            ↓
       🎤 Audio     🖼️ Image      📝 Text
          │            │            │
          ↓            ↓            │
         STT       Vision AI        │
          │            │            │
          └────────────┼────────────┘
                       ↓
                  🤖 AI Model
                       │
          ┌────────────┼────────────┐
          ↓            ↓            ↓
       📝 Text      🖼️ Image     🎬 Video
          │
          ↓
         TTS
          │
          ↓
       🔊 Audio

Ab diesem Punkt handelt es sich nicht mehr um „das Aufrufen einer KI-API“. Es geht vielmehr um die Gestaltung eines Workflows: Routing, Zusammenführung des Kontexts, Auswahl der Ausgabekanäle sowie Handhabung von Fehlern bei jedem Schritt.

Projekt: ein persönlicher multimodaler Assistent

Ein persönlicher Assistent, der eine mündliche Frage zusammen mit einem Bild entgegennimmt, gehört zu den besten Lernprojekten. Der Benutzer lädt ein Foto hoch und fragt laut: „Was ist auf diesem Bild zu sehen?“ Das System muss sowohl das Gesagte als auch den Inhalt des Bildes verstehen.

Durch ein vereinfachtes Design wird die Stimme mit Whisper transkribiert, der resultierende Text zusammen mit dem Bild an ein multimodales Modell gesendet und die Antwort über TTS ausgesprochen:

🎤 Voice
   ↓
Whisper
   ↓
📝 Text
   ↓
              ┌─────────────────┐
🖼️ Image ───→ │ Multimodal AI   │
              └────────┬────────┘
                       ↓
                 📝 Response
                       ↓
                      TTS
                       ↓
                   🔊 Audio

Ein kleines Projekt übt gleichzeitig Audioverarbeitung, Computervision, Anleitung von LLMs, Orchestrierung und Erzeugung von Ausgaben aus.

Öffentliche Tools zum Start

Es ist nicht notwendig, eigene Modelle zu trainieren. Es gibt zahlreiche öffentliche Tools, die jeden dieser Bereiche abdecken.

Bildgenerierung

• Stable Diffusion und SDXL: öffentliche Bildmodelle, die auf lokaler Hardware laufen können.

ComfyUI: Ein nodebasiertes Editor zur Erstellung komplexer Generierungsworkflows.

Sprache zu Text

Whisper übernimmt die Transkription:

Audio → Whisper → Text

Text zu Sprache

Piper ist eine leichte Option für die Synthese:

Text → Piper → Audio

Lokalen LLMs

Ollama führt Sprachmodelle lokal aus und kann von einem Python-Skript gesteuert werden:

Python
   ↓
Ollama
   ↓
Local LLM

Video

Wan und CogVideoX können je nach verfügbarer Hardware über Hugging Face oder lokale Setups ausprobiert werden.

Python als Orchestrierungsschicht

Python gewinnt in der KI-Entwicklung weniger durch die Implementierung von Modellen als Sprache, sondern vielmehr durch seine Rolle als Verbindungsstück zur Koordination dieser Modelle. Eine Anwendung kann auf jede dieser Funktionen zugreifen:

Python Application
       │
       ├── Speech-to-Text
       │
       ├── LLM
       │
       ├── Vision Model
       │
       ├── Image Generation
       │
       ├── Text-to-Speech
       │
       └── Video Generation

Das Skript muss nicht die schwierigen Aufgaben übernehmen; es leitet Daten zwischen Modellen und Diensten weiter, kümmert sich um Fehler und formt die endgültige Ausgabe. Das ist der entscheidende Perspektivwechsel: Bei der Entwicklung künstlicher Intelligenz geht es oft nicht darum, Modelle zu bauen, sondern Systeme um diese Modelle herum zu entwickeln. Dasselbe Orchestrierungsaufgaben kann auch von einem Node.js- oder TypeScript-Backend übernommen werden, wenn sich der Rest Ihres Produkts dort befindet.

Eine aufeinander aufbauende Lernreihenfolge

Wenn man versucht, alles auf einmal zu lernen, entsteht nur oberflächliches Wissen über alle Themen. Eine Progression, bei der jeder Schritt auf dem vorherigen aufbaut, funktioniert besser:

1. 📝 Text + LLM
       ↓
2. 🎤 Speech-to-Text
       ↓
3. 🔊 Text-to-Speech
       ↓
4. 👁️ Vision
       ↓
5. 🖼️ Image Generation
       ↓
6. 🎬 Video Generation
       ↓
7. 🔗 Multimodal Workflows
       ↓
8. 🤖 Multimodal AI Agent

Text und LLMs kommen zuerst, weil Text die Grundlage ist, mit der alle anderen Komponenten austauschen. Sprache und Vision fügen Methoden hinzu, um Informationen einzuspeisen und abzurufen, Generierung liefert kreative Ausgaben, und Workflows sowie Agenten verbinden alles miteinander.

Projekte von Anfänger bis Fortgeschrittener

Durch das Erstellen zunehmend schwierigerer Projekte lernt man die Konzepte am schnellsten auswendig.

Anfängerprojekte

Ein Sprachtranskriptor wandelt aufgenommenes Audio in Text um:

🎤 Audio
   ↓
Whisper
   ↓
📝 Text

Ein Sprachleser macht das Gegenteil:

📝 Text
   ↓
TTS
   ↓
🔊 Audio

Ein Bildgenerator wandelt Anweisungen in Bilder um:

📝 Prompt
   ↓
Image Model
   ↓
🖼️ Image

Mittleres Niveau

Ein Sprachchatbot verbindet STT, ein LLM und TTS miteinander:

Voice
 ↓
STT
 ↓
LLM
 ↓
TTS
 ↓
Voice

Ein Bildanalysator erstellt Beschreibungen für hochgeladene Bilder:

Image
 ↓
Vision Model
 ↓
Description

Fortgeschrittenes Projekt

Ein vollwertiger multimodaler Assistent nimmt Sprache, Bilder und Text entgegen und kann in Form von Text, generierten Bildern, generiertem Video oder Sprache antworten:

🎤 Voice
🖼️ Image
📝 Text
     ↓
🤖 Multimodal AI
     ↓
📝 Response
🖼️ Generated Image
🎬 Generated Video
🔊 Voice

Es setzt nahezu alle Fähigkeiten der früheren Projekte ein.

Denken in Systemen, nicht in Modelllisten

Ein gängiger Anfängerplan sieht aus wie eine Checkliste: Zuerst Bildgenerierung lernen, dann Spracherkennung, anschließend TTS und schließlich Video. Dabei wird jedes Gebiet als unabhängiges Thema behandelt. Eine effektivere Sichtweise besteht darin, jede Fähigkeit als Komponente mit einer Eingangsseite, einem Kern und einer Ausgabeseite zu betrachten:

MULTIMODAL AI
                   │
        ┌──────────┼──────────┐
        ↓          ↓          ↓
      INPUT      AI CORE     OUTPUT
        │          │          │
    ┌───┼───┐      │      ┌───┼───┐
    ↓   ↓   ↓      ↓      ↓   ↓   ↓
   🎤  🖼️  📝    🤖 LLM   📝  🔊  🖼️
   🎬                     🎬

Die wichtige Frage ist daher nicht, welches Modell man als Nächstes erlernen soll, sondern wie man die bereits vorhandenen Fähigkeiten miteinander verbindet, um ein konkretes Problem zu lösen. Genau darum geht es bei der multimodalen Ingenieurwissenschaft.

Kernpunkte

• Multimodale Anwendungen bestehen in der Regel aus Ketten spezialisierter Modelle, wobei Text das gemeinsame Format zwischen ihnen ist.
• Die Vision versteht Bilder; die Generierung erstellt sie. Halten Sie diese beiden Rollen in Ihren Designs getrennt.
• Latenz und Fehler häufen sich über die verschiedenen Schritte hinweg, daher streamen Sie dort, wo es möglich ist, und validieren Sie strukturierte Ausgaben.

Open-Tools wie Whisper, Piper, Ollama, Stable Diffusion und ComfyUI decken jeden Aspekt ab, ohne etwas trainieren zu müssen.

Lernen Sie in der richtigen Reihenfolge – beginnen Sie mit Text und LLMs, erstellen Sie anschließend kleine Projekte und kombinieren Sie diese zu größeren Systemen.