Як багатомодальні моделі поєднують текст, зображення та аудіо в одному запиті

Надішліть моделі фото тріснутого кронштейна з запитанням «У чому проблема з цією деталлю?», і сучасний асистент зможе відповісти, проаналізувавши саме зображення, а не покладаючись на письмовий опис когось іншого. Системи, які можуть обробляти кілька типів вхідних даних у одному запиті, називаються багатомодальними моделями.

У цьому поясненні розглядається, що означає «модальність» у цьому контексті, як такі моделі пов’язують слова з ділянками зображення чи моментами у записі, чому саме це поєднання є складним, та які обмеження потрібно враховувати під час створення функцій на їх основі.

Чому моделі, які працюють лише з текстом, стикаються з перешкодами

Перше покоління великих моделей мови працювало лише з текстом. Це серйозна обмеженість, адже багато того, з чим людям потрібна допомога, спочатку не має вигляду тексту: фото шкірного висипу, скріншот стек-трейсу, голосова записка, діаграма, захована в PDF. Щоб скористатися моделлю, яка працює лише з текстом, спочатку потрібно перетворити цей матеріал на письмовий опис. Кожен такий переклад додає зусиль та втрачає деталі, які описувач вважав неважливими.

Що таке модальність

Модальність — це просто вид вхідних даних: текст, зображення, аудіо чи відео. Корисною аналогією є дуже здібний колега, який може спілкуватися лише через надруковані нотатки. Щоб дізнатися його думку щодо фотографії, спочатку потрібно описати її словами, і він буде знати лише те, про що ви вирішили розповісти. Багатомодальна модель схожа на того самого колегу, але з очима та вухами: вона може поглянути на фото у вашій руці чи послухати запис, який ви надсилаєте.

Важливо те, що багатомодальна модель робить більше, ніж просто приймає кілька типів вхідних даних поруч один з одним. Вона вивчає їхній зв’язок: які слова відносяться до якої частини зображення та які звуки належать до якої візуальної події. Без такої узгодженості це були б просто окремі системи, склеєні разом.

Що відбувається всередині об’єднаного запиту

У загальних рисах запит, який поєднує зображення та текстове запитання, проходить через наступні етапи:

1. Звернулийся користувач надсилає поєднаний вхідний даний, наприклад зображення разом із запитанням щодо нього.
2. Кожен тип даних обробляється відповідним компонентом. Текст розділяється на токени; зображення зазвичай розбивається на невеликі фрагменти, які кодер зору перетворює на вектори.
3. Обидва потоки даних проєктуються у спільну числову представлення, щоб можна було безпосередньо порівнювати фрагмент тексту та ділянку зображення.
4. Модель аналізує поєднану послідовність як одну проблему, а не як два незалежні завдання, результати яких потім об’єднуються.
5. Відповідь ґрунтується на всіх наданих даних та може посилатися на конкретні частини зображення у своєму тексті.

Спільна представлення — це складна частина

Розпізнавання об’єктів у зображеннях та розуміння тексту до появи багатомодальних моделей виконувалися досить добре. Справжній виклик полягає у створенні єдиного внутрішнього простору, у якому слово „тонка тріщина“ опиняється поруч із пікселями, що фактично показують таку тріщину. Моделі вивчають це співвідношення за допомогою дуже великих наборів парних даних, таких як зображення з підписами чи відео з транскрипцією, що допомагає їм зрозуміти, які описи відповідають певним візуальним чи аудіо-патернам. Коли це співвідношення є слабким у певній галузі, модель може чітко бачити зображення з технічної точки зору, але все одно пов’язувати його з неправильними словами.

Що змінюється для користувача

Практична різниця полягає у тому, хто виконує переклад. За допомогою моделі, яка працює лише з текстом, особа, що запитує, виступає посередником, перетворюючи фактичні дані на слова. У разі багатомодальної моделі сама модель аналізує дані та часто помічає деталі, про які людина навіть не подумала б згадати.

Приклади з різних галузей

• Охорона здоров’я: лікар може надати скан разом із письмовою історією хвороби пацієнта та отримати аналіз, який враховує обидва елементи.
• Освіта: учень може сфотографувати рукописну математичну задачу та отримати допомогу, не переписуючи кожен символ.
• Підтримка клієнтів: інструмент підтримки може прочитати скріншот діалогового вікна з помилкою, зафіксувавши точне повідомлення та його формат, замість того щоб покладатися на перефразування користувачем.

Чому цей підхід має значення

• Він усуває проблему необхідності спочатку описати матеріал. Люди можуть передати сам матеріал замість того, щоб його перекладати.
• Він зберігає інформацію, яку слова схильні втрачати. Макет, колір, тон мовлення та навколишній візуальний контекст несуть значення, яке у резюме легко випадає.
• Він відповідає реальному способу поступлення запитів. Справжні запити часто надходять із вкладеннями — фотографіями, скріншотами чи аудіофрагментами — а не у вигляді чистого тексту.

Обмеження, які потрібно враховувати під час проектування

Багатомодальні моделі можуть неправильно інтерпретувати зображення. Неоднозначна діаграма, розмита фотографія чи графік із дуже маленькими та щільно розташованими позначками можуть дати відповідь, яка звучить впевнено, але насправді є неправильною. У моделі немає вбудованого сигналу про те, що вона насправді не бачила того, що описувала.

Коли ви розвиваєте ці можливості, ставіться до візуального аналізу як до будь-якого іншого результату роботи моделі:

• Попросіть модель навести посилання або вказати, на чому вона ґрунтується, наприклад, точний текст, який вона прочитала з скріншота, щоб людина могла швидко його перевірити.
• Надавайте найякісніший можливий вхідний даний; обрізка до відповідної області часто допомагає краще, ніж надсилання великого, перевантаженого зображення.
• Завжди залишайте крок людського перегляду там, де результат впливає на важливе рішення, особливо в медичних, юридичних чи безпекових ситуаціях.

Ключові висновки

• Модальність — це тип вхідних даних; багатомодальні моделі приймають кілька з них та, що найважливіше, вивчають їхній зв’язок.
• Кожен вхідний даний кодується компонентом, призначеним саме для нього, а потім перетворюється на спільну репрезентацію, над якою модель обмірковує інформацію в цілому.

Основною перевагою є відсутність кроку людського перекладу, що дозволяє зберегти деталі, які втрачаються під час письмового опису.

Помилки при візуальному читанні залишаються поширеними та можуть створювати враження авторитетності, тому перевірка має бути частиною дизайну, а не щось, що робиться пізніше.