Как мультимодальные модели связывают текст, изображения и аудио в одном запросе

Отправьте модели фотографию треснувшего крепления вместе с вопросом «В чем проблема с этой деталью?», и современный ассистент сможет ответить, изучив само изображение, вместо того чтобы полагаться на письменное описание кого-либо. Системы, способные обрабатывать несколько видов входных данных в рамках одного запроса, называются мультимодальными моделями.

В этом объяснении рассматривается, что означает «модальность» в данном контексте, как такие модели связывают слова с участками изображения или моментами в записи, почему эта связь является сложной задачей, и какие ограничения необходимо учитывать при создании функций на их основе.

Почему модели, работающие только с текстом, сталкиваются с трудностями

Первое поколение больших языковых моделей работало только с текстом. Это серьезное ограничение, поскольку многие вещи, с которыми людям нужна помощь, изначально не представлены в виде текста: фотография кожного высыпания, скриншот стек-трейса, голосовая запись, диаграмма, находящаяся внутри PDF. Чтобы использовать модель, работающую только с текстом, необходимо сначала преобразовать этот материал в письменное описание. Каждая такая трансляция требует дополнительных усилий и приводит к потере деталей, которые описывающий считал незначительными.

Что такое модальность

Модальность — это просто вид входных данных: текст, изображения, аудио или видео. Полезной аналогией может служить очень способный коллега, который может общаться только с помощью написанных заметок. Чтобы узнать его мнение о фотографии, сначала придётся описать её словами, и он будет знать лишь то, что вы решили упомянуть. Мультимодальная модель похожа на того же коллегу, но с глазами и ушами: она может взглянуть на фотографию у вас в руках или послушать отправленную вами запись.

Важно понимать, что мультимодальная модель делает нечто большее, чем просто принимает несколько типов входных данных рядом друг с другом. Она учится понимать их взаимосвязь: какие слова относятся к какой части изображения, а какие звуки принадлежат к тому или иному визуальному событию. Без такой связи у нас были бы просто отдельные системы, склеенные вместе.

Что происходит внутри объединённого запроса

В общих чертах запрос, сочетающий изображение и текстовый вопрос, проходит через следующие этапы:

1. Запрашивающий отправляет смешанный ввод, например изображение плюс вопрос к нему.
2. Каждый вид ввода обрабатывается компонентом, предназначенным для его типа. Текст разбивается на токены; изображение обычно делится на небольшие фрагменты, которые кодер изображений преобразует в векторы.
3. Оба потока проецируются в общее числовое представление, что позволяет напрямую сравнивать фрагмент текста и участок изображения.
4. Модель рассматривает совокупность данных как единую задачу, а не как две независимые задачи, результаты которых затем сливаются.
5. Ответ основывается на всей предоставленной информации и может содержать ссылки на конкретные части изображения в тексте.

Общее представление — это самая сложная часть

До появления мультимодальных моделей распознавание объектов на изображениях и понимание текста справлялись довольно хорошо. Настоящая сложность заключается в создании единого внутреннего пространства, в котором слово «тонкая трещина» находилось бы рядом с пикселями, действительно отображающими такую трещину. Модели учатся этой связи на очень больших коллекциях сопоставленных данных, таких как изображения с подписями или видео с транскрипциями, что помогает им понять, какие описания соответствуют тем или иным визуальным или аудиальным образцам. Когда эта связь слаба в определенной области, модель может четко видеть изображение с технической точки зрения, но все равно связывать его с неправильными словами.

Что меняется для пользователя

Практическая разница заключается в том, кто выполняет перевод. При использовании модели, работающей только с текстом, человек, задающий запрос, выступает посредником, преобразуя фактические данные в слова. При использовании мультимодальной модели сама модель анализирует данные, и часто замечает детали, о которых человек мог бы и не подумать упомянуть.

Примеры из разных областей

• Здравоохранение: врач может предоставить снимок вместе с письменной историей болезни пациента и получить анализ, учитывающий оба этих фактора.
• Образование: ученик может сфотографировать рукописную математическую задачу и получить помощь, не перепечатывая каждый символ.
• Поддержка клиентов: инструмент поддержки может прочитать скриншот диалогового окна с ошибкой, зафиксировав точное сообщение и его форматирование, вместо того чтобы полагаться на перефразирование пользователя.

Почему этот подход важен

• Он устраняет проблему необходимости сначала описать содержимое. Люди могут просто передать сам материал вместо того, чтобы его переводить.
• Он сохраняет информацию, которую слова часто теряют. Макет, цвет, тон изложения и окружающий визуальный контекст несут смысл, который краткое резюме легко упускает.
• Он соответствует реальной форме поступления вопросов. На самом деле запросы часто поступают вместе с приложениями — изображениями, скриншотами или аудиоклипами, а не в виде чистого текста.

Ограничения, с которыми необходимо считаться при проектировании

Мультимодальные модели могут неправильно интерпретировать изображения. Неоднозначная диаграмма, размытое фото или график с крошечными, плотно расположенными метками могут привести к ответу, который звучит уверенно, но на самом деле ошибочен. У модели нет встроенного сигнала, указывающего на то, что она на самом деле не видела того, что описывала.

При развитии этих возможностей относитесь к визуальному анализу так же, как и к любым другим результатам работы модели:

• Попросите модель указать источник информации, например точный текст, взятый из скриншота, чтобы человек мог быстро его проверить.
• Предоставляйте наиболее качественные данные; обрезка изображения до нужной области часто помогает лучше, чем отправка большого и перегруженного изображения.
• Всегда включайте этап человеческой проверки там, где результаты модели влияют на важные решения, особенно в медицинских, юридических или сферах безопасности.

Основные выводы

• Модальность — это тип входных данных; мультимодальные модели принимают несколько модальностей и, что важно, учатся понимать их взаимосвязи.
• Каждый вид входных данных кодируется соответствующим компонентом, после чего преобразуется в общую представление, с которой модель работает как единое целое.

Основное преимущество заключается в отсутствии этапа ручного перевода, что позволяет сохранить детали, теряющиеся при письменном описании.

Ошибки визуального чтения по-прежнему распространены и могут создавать впечатление авторитетности, поэтому проверка должна быть частью дизайна, а не добавлена в последний момент.