Jak modele multimodalne łączą tekst, obrazy i dźwięk w jednej prośbie

Wyślij modelowi zdjęcie pękniętej klamry wraz z pytaniem „Co jest nie tak z tą częścią?”, a nowoczesny asystent może odpowiedzieć, analizując samo zdjęcie, zamiast polegać na pisemnym opisie danej części. Systemy, które potrafią przetwarzać kilka rodzajów danych w ramach jednej prośby, nazywane są modelami multimodalnymi.

W tym wyjaśnieniu omówiono, co oznacza „modalność” w tym kontekście, jak takie modele łączą słowa z konkretnymi obszarami na zdjęciu lub momentami w nagraniu, dlaczego to łączenie stanowi trudny element, oraz jakie ograniczenia należy uwzględnić podczas tworzenia funkcji na ich bazie.

Dlaczego modele oparte wyłącznie na tekście napotykają bariery

Pierwsza generacja dużych modeli językowych funkcjonowała wyłącznie z tekstem. Jest to poważna ograniczenie, ponieważ wiele rzeczy, z którymi ludzie potrzebują pomocy, nie ma początkowo postaci tekstu: zdjęcie wysypki skórnej, zrzut ekranu z informacjami o błędzie, notatka głosowa, wykres ukryty w pliku PDF. Aby użyć modelu działającego tylko z tekstem, ktoś musi najpierw przekształcić ten materiał w pisemny opis. Każda taka translacja wymaga dodatkowego wysiłku i powoduje utratę szczegółów, które osoba opisująca uznawała za nieważne.

Czym jest modalność

Modalność to po prostu rodzaj danych wejściowych: tekst, obrazy, dźwięk lub wideo. Przydatną analogią jest bardzo kompetentny kolega, który może komunikować się jedynie za pomocą zapisanych notatek. Aby uzyskać jego opinię na temat zdjęcia, musiałbyś najpierw opisać je słowami, a on poznałby tylko to, co postanowiłeś wspomnieć. Model multimodalny przypomina tego samego kolegę, ale z oczami i uszami – może rzucić okiem na zdjęcie w twojej ręce lub posłuchać nagrania, które mu przesyłasz.

Kluczowym punktem jest to, że model multimodalny robi więcej niż tylko przyjmuje kilka rodzajów danych wejściowych obok siebie. Uczy się, jak one są ze sobą powiązane: które słowa odnoszą się do której części obrazu, a które dźwięki należą do którego wydarzenia wizualnego. Bez takiej spójności mielibyśmy po prostu oddzielne systemy sklejone razem.

Co dzieje się w ramach złożonej prośby

Na wyższym poziomie żądanie, które łączy obraz z pytaniem tekstowym, przechodzi przez następujące etapy:

1. Zadający wysyła połączony wpis, na przykład obraz wraz z pytaniem dotyczącym go.
2. Każdy wpis jest przetwarzany przez komponent zaprojektowany do jego typu. Tekst jest dzielony na tokeny; obraz zazwyczaj jest krojony na małe fragmenty, które kodownik wizualny przekształca w wektory.
3. Oba strumienie są projektowane tak, aby tworzyć wspólną reprezentację numeryczną, dzięki czemu fragment tekstu i obszar obrazu mogą być bezpośrednio porównywane.
4. Model rozważa połączoną sekwencję jako jeden problem, a nie jako dwa niespowiązane zadania, których wyniki są później łączone.
5. Odpowiedź opiera się na wszystkim, co zostało dostarczone, i może odnosić się do konkretnych części obrazu w swoim tekście.

Wspólna reprezentacja to najtrudniejsza część

Zanim pojawiły się modele multimodalne, rozpoznawanie obiektów na obrazach oraz rozumienie tekstu radziły sobie dosyć dobrze. Prawdziwym wyzwaniem jest stworzenie jednego wspólnego przestrzeni, w której słowo „drobna pęknięcie” znajduje się blisko pikseli, które faktycznie przedstawiają takie pęknięcie. Modele uczą się tego powiązania na podstawie bardzo dużych zbiorów sparowanych danych, takich jak obrazy z opisami lub filmy z napisami, co pomaga im określić, które opisy pasują do konkretnych wzorów wizualnych lub dźwiękowych. Gdy to powiązanie jest słabe w danym obszarze, model może wyraźnie widzieć obraz z technicznego punktu widzenia, a mimo to łączyć go ze złymi słowami.

Co zmienia się dla użytkownika

Rzeczywista różnica polega na tym, kto wykonuje tłumaczenie. W przypadku modelu opartego wyłącznie na tekście to osoba zadająca pytanie pełni rolę pośrednika, przekształcając rzeczywiste dowody w słowa. Natomiast model multimodalny bada same dowody i często dostrzega szczegóły, o których osoba zadająca pytanie nie pomyślałaby, by je wspomnieć.

Przykłady z różnych dziedzin

• Ochrona zdrowia: lekarz może dostarczyć skan wraz z pisemną historią choroby pacjenta i otrzymać analizę, która bierze pod uwagę oba te elementy.
• Edukacja: uczeń może sfotografować ręcznie napisane zadanie z matematyki i uzyskać pomoc bez konieczności ponownego wpisywania każdego symbolu.
• Obsługa klienta: narzędzie pomocnicze może odczytać zrzut ekranu z okna z błędem, zachowując dokładną treść wiadomości i jej układ, zamiast polegać na parafrazie tej informacji przez użytkownika.

Dlaczego ta metoda jest ważna

• Eliminuje problem konieczności najpierw opisania treści. Ludzie mogą przekazać sam materiał zamiast go tłumaczyć.
• Zachowuje informacje, które słowa mają tendencję do tracenia. Układ, kolor, ton głosu oraz otaczający kontekst wizualny niosą znaczenie, które streszczenie łatwo pomija.
• Dopasowuje się do sposobu, w jaki naprawdę pojawiają się pytania. Rzeczywiste prośby często przychodzą wraz z załącznikiem, takim jak zdjęcie, zrzut ekranu lub fragment dźwiękowy, a nie jako czysty tekst.

Ograniczenia, które należy uwzględnić przy projektowaniu

Modele multimodalne mogą błędnie interpretować obrazy. Niejednoznaczny diagram, niewyraźne zdjęcie lub wykres z małymi, gęsto rozmieszczonymi etykietami mogą dać odpowiedź brzmiącą pewnie, ale w rzeczywistości błędną. Model nie posiada wbudowanego sygnału wskazującego, że tak naprawdę nie widział tego, co opisał.

Gdy rozwijasz te możliwości, traktuj analizę wizualną jak każdy inny wynik modelu:

• Poproś model o podanie lub wskazanie tego, na czym się opierał, np. dokładnego tekstu przeczytanego z zrzutu ekranu, aby osoba mogła go szybko sprawdzić.
• Zostaw dostarczony najwyższej jakości dane wejściowe; obcinanie do odpowiedniego obszaru często pomaga bardziej niż wysyłanie dużego, zbyt skomplikowanego obrazu.
• Zawsze zachowaj krok przeglądu przez człowieka tam, gdzie wynik ma wpływ na ważną decyzję, szczególnie w kontekstach medycznych, prawniczych lub związanych z bezpieczeństwem.

Główne wnioski

• Modalność to rodzaj danych wejściowych; modele multimodalne przyjmują kilka z nich i, co kluczowe, uczą się, jak są ze sobą powiązane.
• Każde dane wejściowe są kodowane przez komponent dostosowany do nich, a następnie przekształcane w wspólną reprezentację, nad którą model rozważa informacje jako całość.

Główną zaletą jest eliminacja etapu tłumaczenia przez człowieka, co pozwala zachować szczegóły, które giną w opisach pisanych.

Błędy w czytaniu wizualnym pozostają powszechne i mogą sprawiać wrażenie autorytetu, dlatego weryfikacja powinna być częścią projektu, a nie rozwiązaniem dodanym później.