Як мультімодальныя моделі сувязуюць текст, зображэння і аудыя ў адной запытке

Адаптаваны модэль падае фота з траснутым крепленням з запитам «Што не так з гэтым элементам?» і сучасны асистент можа даець адказ, пераглянуўшы самае зображэнне, а не паследзіўшы за писамым описам каго-небудзь. Сістэмы, якія можа прыймаць калькі разных видоў дадзеных у адной-едзинай запытце, называюцца мультімодальнымі модэлямі.

У гэтым поясненні рассказваецца, што значыць «модальнасць» у гэтым контексте, як такія модэлі спаяваюць словы з рэгіонамі зображэння або моментамі на записе, чаму гэтыя зв’язкі ёсць складным аспектам, і якія обмежэння трэба врачыць пад час стварэння функцый на ўзборе з іх.

Чаму модэлі, якія працуюць толькі з текстам, сталкаюцца з перакантаванням

Першыя пакетныя моделі языка працавалі толькі з текстамі. эта серьзёжная прыметка, адколькі большая частка таго, у чым людям патрэбна дапамога, спачатку не ў вастатацеўскай форме: фота высыпання на шкарэ, скріншот стэка трэйсаў, голасавы запіс, дыяграма, якая знаходзится ў PDF-файле. Ёжы выкорыстоўваць модель, якая працуе толькі з текстамі, трэба спачатку пераклаць гэты матэрыял у писамы опис. Кожны такі пераклад дагадвае зусілляў і пазбавляе деталяў, якія апісвачы не сачуў за важлівыя.

Што такое модальнасць

Модалітэт — гэта проста ўзлегкі вводных дадзенняў: тэкст, адпрацоўваныя зображэння, аудыя чы відэа. Корыстны аналагія — гэта вельмі спроможны колега, які можа камунікаваць толькі праз напісаныя нотаткі. Ёнколі хочаце пазнаць яго мненне пра фота, трэба спачатку описаць яго словамі, і ён будзе ведаць толькі тое, пра што вы выбралі сказаць. Мультимодальны модэль падобен таму ж колеге з вачмі і вухамі: ён можа паглядзець на фота, якое у вас ў руках, чы праслухаць запис, які вы перадаеце.

Важлівы момант — мультимодальны модэль не проста приймае кілька типоў вводных дадзенняў пашылкам. Ён выучае, якія з’ѐеднаюць іх асоцыяцыі: якія словы аднасаюцца да якой часткі зображэння, а якія звуки належаць да якаго візуальнага падыяння. Без такай супараднасці мелі б месца проста аддзельныя системы, склееныя разам.

Што відбываецца ўнутры сумаважанага запиту

У загальных рысах запит, які спалюеяе зображэнне і тэкстовы запит, праходзіць через следуючыя этапы:

1. Адказчык апрабоюе сумешаны вхідны дадзеныя, напрыклад зображэнне плюс запыт пра яго.
2. Кожны вхідны дадзеныя обрабоюецца компанентам, створаным для ўсунага типу. Тэкст раздзеляецца на токены; зображэнне зазвычай дзеляецца на маленькія фрагменты, якія кодэр візуальных дадзеных ператварае ў векторы.
3. Оба потокі праектуюцца ў спяльную числовую рэпрэзентацыю, так што фрагмент тэксту і раён зображэння можна безпосередзя пораўняць.
4. Модель аналізуе сумешаную последоўнасць як адну проблему, а не як два незв’язаныя заведамства, рэзультаты якіх згодна спаўнююцца.
5. Адказ базуецца на всім, што было падана, і можа аднасціца да конкрэтных частак зображэння ў своім тэксте.

Спяльная рэпрэзентацыя — галоўная сложнасць

Раней, прыяўшчэй чым з’явіліся мультімодальныя моделі, адгукаванне на об’екты ў зразках і розумеўнэць тексту функцыонавалі досыта добра. Асёледзяючая задача — стварыць адны внутршні прастор, у яком слова „тонкая траса“ або „тонкая ўшчэліна“ будуць розташаваны поблізу пікселей, якія фактычна паказваюць такую трасу чы ўшчэліну. Моделі выучаюць такую супараднасць з вельмі большых калекцыяў паруваных дадзенняў, такіх як зразкі з пісьмовымі апісамі чы відэа з транскрыпцыяй, што дапамагае ўсвядоміць, якія апісы пасуюць да якіх візуальных чы аудыя-патэранаў. Калі такая супараднасць ў конкрэтной галіні є слабай, модель можа чытача бачыць зразак у тэхнічным сэнсе, але ўсё рава прыяўляць да яго некоректныя словы.

Што змініцца для корыстувальніка

Практычная разліка заключаецца у тым, хто выканаў пераклад. У модэлі з толькі текстам чалавек, який прасіць, выступае посереднікам, перакладаючы рэальныя доказы у словы. У мультимодальнам модэлі сам модэль аналізуе доказы, і часта з’яўляюцься деталі, пра якія чалавек нават не падумаў бы сказаць.

Прыклады з разных галоў

• Здравоцохранэнне: клінікант можа падаць скан разам з письмовай історыяй хворобы пацієнта і атрымаць аналіз, які будзе вярнуць увагу на аба элементы.
• Адукацыя: учнік можа сфотаграфаваць рукапісны матэматычны задачу і атрымаць дапамогу, не перапісваючы кожны знак.
• Служба падтрымкі кляўэнтаў: інструмент падтрымкі можа прачытаць скріншот дыалога з памылкай, зафіксаваўшы точную прыемку та ўзор яе прадставлення, замест таго каб спакойвацца на перапісве ўжыванай корыстнікам версіі.

Чаму гэты падход мае значэнне

• Ён усуняе прыткість, яка выступае на перакантэце пад апісаванне спачатку. Люди можаць передаць сам матэрыял уместо яго перакладу.
• Ён зберагае інфармацыю, яку словы часта губяць. Макет, кольор, тон мовы і асоцыйнуючы візуальны контэкст несу значэнне, якое падсумак лёгка адхарае.
• Ён паспраўдна адпавядае таму, як на самай працы прыходзяць запиты. Рэальныя запросы часта прыходзяць з дадаткамі, такімі як фота, скріншот або аудыокліп, а не як чысты тэкст.

Абмежэння, якія трэба врачыць пад час проектавання

Мультимодальныя моделі можаць неправа адразумець звярнутыя. Неодназначны дыяграм, размыта фота або графік з маленькімі, ўжывучымі пазначэннямі можа даць адпаведзь, якая звучыць впэўнена, але ёсць проста некоректная. У моделі няма вбудованага сигналу, які б паказаў, што ёй на самай працы не ўдалося побачыць тое, што яна апісвала.

Калі вы развіяеце гэтыя можлівасці, ставіцеся да візуальнага аналізу як і да будзь-яго іншага рэзультата моделі:

• Папрабуйце, каб модель навела цитату або паказала, на чым яна спалася, напрыклад, точны текст, які яна прачытала з скріншота, ўпрымк, чалавек мог бы яго шыбкаа пераканаліць.
• Прадасты высокай якосці вхідныя даны; часта кароткае выкліканне толькі неабходных рэгіонаў дапамагае краща, чым адправка вялікага, перанасыценага пікселямі зображэння.
• Зберагачыце етап людскай пераканаліцы ў тых випадках, калі рэзультат мае значны плытак на прыняццё рашэння, ў частычнах медыцыны, права або безпекі.

Ключовыя выводы

• Модалярнасць — гэта тип вхідных даных; мультимодалярныя моделі прыменяюць калькі з іх і, што важна, выучаюць, якія зв’язкі между ўсімі існуюць.
• Кожны вхідны данный кодуецца спецыяльным компонентам, які паслядуе для яго, а потым перакладаецца у спяльную рэпрэзентацыю, над якой модель працуе як едынэць.

Галоўная перадчынта — гэта адсутнасць этапу перакладу людзьмом, што дазволяе зберагчы деталі, якія трапляюцца ў варотных описах.

Адносныя памылкі пад час чытання застаюцца распашчастымі і можу стварваць вражанне автарытэтнасці, таму перакранчаванне патрабуецца ў самым дизайне, а не як паслядні крок.