Wie multimodale Modelle Text, Bilder und Audio in einer Anfrage miteinander verknüpfen

Senden Sie einem Modell ein Foto eines gesprungenen Brackets zusammen mit der Frage „Was ist mit diesem Teil nicht in Ordnung?“ – ein moderner Assistent kann dann durch die Betrachtung des Bildes selbst antworten, anstatt sich auf eine schriftliche Beschreibung zu verlassen. Systeme, die mehrere Arten von Eingaben in einer einzigen Anfrage verarbeiten können, werden als multimodale Modelle bezeichnet.

In dieser Erklärung wird erläutert, was unter „Modality“ in diesem Kontext zu verstehen ist, wie solche Modelle Wörter mit Bereichen eines Bildes oder Momenten in einer Aufnahme verbinden, warum diese Verbindung der schwierige Teil ist und welche Einschränkungen bei der Entwicklung von Funktionen auf deren Basis berücksichtigt werden müssen.

Warum textbasierte Modelle an ihre Grenzen stoßen

Die erste Generation großer Sprachmodelle arbeitete nur mit Text. Das ist eine ernsthafte Einschränkung, denn vieles, bei dem Menschen Hilfe benötigen, beginnt nicht als Text: ein Foto einer Hautausschlag, ein Screenshot eines Stack-Traces, eine Sprachnotiz oder ein Diagramm, das in einem PDF enthalten ist. Um ein rein textbasiertes Modell zu verwenden, muss jemand dieses Material zunächst in eine schriftliche Beschreibung umwandeln. Jede solche Übersetzung erfordert zusätzliche Anstrengungen und führt dazu, dass Details weggelassen werden, die der Beschreibende für unbedeutend hielt.

Was eine Modalität ist

Eine Modalität ist im Grunde eine Art Eingabe: Text, Bilder, Audio oder Video. Eine nützliche Analogie ist ein sehr fähiger Kollege, der nur über getippte Notizen kommunizieren kann. Um seine Meinung zu einem Foto einzuholen, müssten Sie es zunächst mit Worten beschreiben, und er würde nur das erfahren, was Sie erwähnen. Ein multimodales Modell ähnelt diesem Kollegen, der Augen und Ohren hat: Es kann sich das Foto in Ihrer Hand ansehen oder die Übertragung anhören, die Sie ihm schicken.

Der wichtige Punkt ist, dass ein multimodales Modell mehr tut als nur verschiedene Eingabetypen nebeneinander zu akzeptieren. Es lernt, wie sie miteinander verbunden sind: Welche Wörter auf welchen Teil eines Bildes verweisen und welche Geräusche zu welchem visuellen Ereignis gehören. Ohne diese Abstimmung hätten Sie lediglich getrennte Systeme, die zusammengeklebt wurden.

Was geschieht innerhalb einer kombinierten Anfrage

Im Großen und Ganzen durchläuft eine Anfrage, die ein Bild mit einer Textfrage kombiniert, diese Schritte:

1. Der Anrufer sendet eine gemischte Eingabe, beispielsweise ein Bild zusammen mit einer Frage dazu.
2. Jede Eingabe wird von einem für ihren Typ konzipierten Komponenten verarbeitet. Text wird in Tokens aufgeteilt; ein Bild wird in der Regel in kleine Bereiche zerlegt, die von einem Vision-Encoder in Vektoren umgewandelt werden.
3. Sowohl die Text- als auch die Bilddatenströme werden in eine gemeinsame numerische Repräsentation übertragen, sodass ein Textabschnitt und ein Bildbereich direkt verglichen werden können.
4. Das Modell betrachtet die kombinierte Sequenz als ein einziges Problem und nicht als zwei unverbundene Aufgaben, deren Ergebnisse später zusammengeführt werden.
5. Die Antwort stützt sich auf alles, was bereitgestellt wurde, und kann in ihrem Text auf spezifische Teile des Bildes verweisen.

Die gemeinsame Repräsentation ist der schwierige Teil

Noch vor dem Aufkommen multimodaler Modelle wurden das Erkennen von Objekten in Bildern sowie das Verstehen von Text recht gut bewältigt. Die eigentliche Herausforderung besteht darin, einen internen Raum zu schaffen, in dem das Wort „Haarriss“ in der Nähe der Pixel liegt, die tatsächlich einen Haarriss zeigen. Modelle lernen diese Zuordnung aus sehr großen Sammlungen von gepaarten Daten, wie beispielsweise Bildern mit Untertiteln oder Videos mit Transkripten, wodurch sie lernen, welche Beschreibungen zu welchen visuellen oder auditive Mustern gehören. Wenn diese Zuordnung in einem bestimmten Bereich schwach ist, kann das Modell das Bild zwar technisch gesehen klar erkennen, es dennoch mit den falschen Worten verknüpfen.

Was ändert sich für den Nutzer

Der praktische Unterschied liegt darin, wer die Übersetzung durchführt. Bei einem rein textbasierten Modell ist die Person, die nach der Übersetzung fragt, der Vermittler, der die tatsächlichen Belege in Worte umwandelt. Bei einem multimodalen Modell prüft das Modell die Belege selbst und bemerkt oft Details, an die die Person nicht gedacht hätte.

Beispiele aus verschiedenen Bereichen

• Gesundheitswesen: Ein Arzt kann einen Scan zusammen mit einer schriftlichen Krankengeschichte bereitstellen und eine Analyse erhalten, die beides berücksichtigt.
• Bildung: Ein Schüler kann ein handschriftliches Mathematikaufgabenbild aufnehmen und Hilfe erhalten, ohne jedes Symbol erneut eingeben zu müssen.
• Kundenservice: Ein Support-Tool kann einen Screenshot eines Fehlerdialogs lesen, wodurch die genaue Nachricht sowie ihre Anordnung erfasst werden, anstatt von der Umformulierung durch den Benutzer abhängig zu sein.

Warum dieser Ansatz wichtig ist

• Es beseitigt das Problem, dass zunächst eine Beschreibung erforderlich ist. Die Menschen können das eigentliche Material übergeben, anstatt es zu übersetzen.
• Es bewahrt Informationen, die Wörter oft verlieren. Layout, Farbe, Tonfall sowie der umgebende visuelle Kontext tragen alle Bedeutung in sich, die eine Zusammenfassung leicht übergeht.
• Es entspricht der tatsächlichen Art und Weise, wie Fragen eintreffen. Reale Anfragen kommen oft mit Anhängen wie Bildern, Screenshoten oder Audiodateien statt als sauberer Text.

Einschränkungen, die berücksichtigt werden müssen

Multimodale Modelle können Bilder falsch interpretieren. Ein mehrdeutiges Diagramm, ein verschwommenes Foto oder ein Chart mit winzigen, dichten Beschriftungen können zu einer Antwort führen, die überzeugend klingt, aber einfach falsch ist. Das Modell verfügt nicht über ein eingebautes Signal dafür, dass es tatsächlich nicht erkennen konnte, was es beschrieben hat.

Wenn Sie auf diesen Fähigkeiten aufbauen, behandeln Sie die visuelle Analyse wie jede andere Modellausgabe:

• Fordern Sie vom Modell, anzugeben, worauf es sich stützt – beispielsweise den genauen Text, den es aus einem Screenshot gelesen hat – damit eine Person ihn schnell überprüfen kann.
• Liefern Sie die hochwertigste mögliche Eingabe; das Ausschneiden auf den relevanten Bereich hilft oft mehr als das Senden eines großen, überfüllten Bildes.
• Bewahren Sie bei Entscheidungen, die von der Ausgabe beeinflusst werden, insbesondere in medizinischen, rechtlichen oder sicherheitstechnischen Kontexten, immer einen Schritt der menschlichen Überprüfung auf.

Kernpunkte

• Eine Modalität ist eine Art von Eingabe; multimodale Modelle akzeptieren mehrere und lernen dabei, wie sie miteinander zusammenhängen.
• Jede Eingabe wird von einem dafür geeigneten Komponenten kodiert und anschließend in eine gemeinsame Repräsentation umgewandelt, über die das Modell als Ganzes abwägt.

Der Hauptvorteil besteht darin, dass der Schritt der menschlichen Übersetzung wegfällt, wodurch Details erhalten bleiben, die bei schriftlichen Beschreibungen verloren gehen.

Visuelle Lesefehler sind weiterhin häufig und können autoritativ klingen, weshalb die Überprüfung bereits in der Gestaltung integriert werden sollte und nicht erst als Nachgedanke.