Cómo los modelos multimodales relacionan texto, imágenes y audio en una sola solicitud

Envíe una foto de un soporte agrietado a un modelo junto con la pregunta “¿Qué le pasa a esta pieza?”, y un asistente moderno podrá responder al examinar la imagen en sí, en lugar de depender de una descripción escrita por alguien. Los sistemas que pueden procesar varios tipos de entrada en una sola solicitud se denominan modelos multimodales.

Esta explicación aborda qué significa “modalidad” en este contexto, cómo estos modelos relacionan las palabras con regiones de una imagen o momentos de una grabación, por qué esa relación es la parte difícil, y qué limitaciones hay que tener en cuenta al desarrollar funcionalidades sobre ellos.

Por qué los modelos de texto puro chocan contra un muro

La primera generación de modelos de lenguaje grande funcionaba únicamente con texto. Eso representa una limitación grave, ya que gran parte de lo para lo que la gente necesita ayuda no comienza como texto: una foto de una erupción cutánea, una captura de pantalla de un stack trace, un mensaje de voz, un gráfico oculto dentro de un PDF. Para utilizar un modelo que solo trabaja con texto, primero hay que convertir ese material en una descripción escrita. Cada una de estas traducciones añade esfuerzo y descarta detalles que quien describe no consideró importantes.

Qué es una modalidad

Una modalidad es simplemente un tipo de entrada: texto, imágenes, audio o video. Una analogía útil es la de un colega muy capaz que solo puede comunicarse a través de notas escritas. Para obtener su opinión sobre una foto, tendrías que describirla primero con palabras, y él solo sabría lo que decidiste mencionar. Un modelo multimodal se asemeja a ese mismo colega, pero con ojos y oídos: capaz de echar un vistazo a la foto que tienes en la mano o escuchar la grabación que le envías.

Lo importante es que un modelo multimodal hace más que aceptar varios tipos de entrada uno al lado del otro. Aprende cómo se relacionan: qué palabras se refieren a qué parte de una imagen y qué sonidos pertenecen a qué evento visual. Sin esa alineación, solo tendrías sistemas separados pegados entre sí.

Qué sucede dentro de una solicitud combinada

A nivel general, una solicitud que combina una imagen con una pregunta de texto pasa por estas etapas:

1. El usuario envía una entrada mixta, por ejemplo, una imagen junto con una pregunta sobre ella.
2. Cada tipo de entrada es procesado por un componente diseñado específicamente para ese formato. El texto se divide en tokens; una imagen, por lo general, se fragmenta en pequeñas áreas que un codificador de visión convierte en vectores.
3. Ambos flujos se proyectan hacia una representación numérica compartida, de modo que un fragmento de texto y una región de la imagen puedan compararse directamente.
4. El modelo analiza la secuencia combinada como un único problema, y no como dos tareas independientes cuyos resultados se fusionan posteriormente.
5. La respuesta toma en cuenta todo lo proporcionado y puede hacer referencia a partes específicas de la imagen en su texto.

La representación compartida es la parte más difícil

El reconocimiento de objetos en imágenes y la comprensión del texto se manejaban razonablemente bien antes de la llegada de los modelos multimodales. El verdadero desafío radica en crear un espacio interno en el que la palabra “grieta fina” quede cerca de los píxeles que realmente muestran dicha grieta. Los modelos aprenden esta alineación a partir de colecciones muy grandes de datos emparejados, como imágenes con leyendas o videos con transcripciones, lo que les enseña qué descripciones corresponden a qué patrones visuales o auditivos. Cuando esa alineación es débil en un dominio específico, el modelo puede ver la imagen con claridad desde un punto de vista técnico y aún así asociarla con las palabras incorrectas.

¿Qué cambia para el usuario?

La diferencia práctica radica en quién realiza la traducción. Con un modelo de texto puro, la persona que solicita el servicio actúa como intermediario, convirtiendo las pruebas reales en palabras. Con un modelo multimodal, el modelo examina las pruebas mismas y a menudo detecta detalles que la persona no habría pensado en mencionar.

Ejemplos por áreas

• Salud: un clínico puede proporcionar una resonancia magnética junto con el historial médico escrito del paciente y recibir un análisis que tenga en cuenta ambos elementos.
• Educación: un estudiante puede fotografiar un problema de matemáticas escrito a mano y obtener ayuda sin tener que volver a escribir cada símbolo.
• Atención al cliente: una herramienta de soporte puede leer una captura de pantalla de un diálogo de error, capturando el mensaje exacto y su formato en lugar de depender de la parafrasisación que haga el usuario.

Por qué es importante este enfoque

• Elimina el cuello de botella de tener que describir primero. Las personas pueden entregar el material real en lugar de traducirlo.
• Mantiene la información que las palabras suelen perder. El diseño, los colores, el tono de voz y el contexto visual circundante transmiten significados que un resumen descarta fácilmente.
• Se adapta a la forma en que realmente llegan las preguntas. Las solicitudes reales suelen llegar con un archivo adjunto, como una imagen, captura de pantalla o clip de audio, en lugar de texto limpio.

Limitaciones que deben considerarse al diseñar

Los modelos multimodales pueden interpretar mal las imágenes. Un diagrama ambiguo, una foto borrosa o un gráfico con etiquetas pequeñas y densas pueden generar una respuesta que suena convincente pero que en realidad está equivocada. El modelo no cuenta con una señal integrada que indique que en realidad no pudo ver lo que describió.

Cuando desarrolle funcionalidades basadas en estas capacidades, trate el análisis visual como cualquier otro resultado de modelo:

• Pida al modelo que cite o indique en qué se basó, como el texto exacto que leyó de una captura de pantalla, para que alguien pueda verificarlo rápidamente.
• Proporcione la entrada de mayor calidad posible; recortarla a la región relevante suele ser más útil que enviar una imagen grande y con demasiados detalles.
• Incluya siempre un paso de revisión humana cuando el resultado influya en una decisión importante, especialmente en contextos médicos, legales o de seguridad.

Puntos clave

• Una modalidad es un tipo de entrada; los modelos multimodales aceptan varias y, lo que es crucial, aprenden cómo se relacionan entre sí.
• Cada entrada es codificada por un componente adecuado para ella y luego mapeada a una representación compartida sobre la cual el modelo razona como un todo.

La principal ventaja es eliminar el paso de traducción humana, lo que permite conservar los detalles que se pierden en las descripciones escritas.

Los errores de lectura visual siguen siendo comunes y pueden dar una apariencia de autoridad, por lo que la verificación debe formar parte del diseño y no ser algo añadido posteriormente.

Lecturas relacionadas

• De GPT-1 a los modelos de razonamiento: Qué cambió cada generación para los desarrolladores — Sigue la evolución de la familia GPT desde el preentrenamiento de 2018 hasta los modelos de razonamiento, observa qué ideas aportó cada generación y conoce las funciones de visión de GPT-4o y las salidas estructuradas desde Python.
• Elegir y ajustar modelos de incrustación para sistemas RAG en producción — Aprenda cómo los modelos de incrustación convierten el texto en vectores buscables, por qué el vocabulario del dominio daña la búsqueda semántica, y cómo seleccionar, comprimir y ajustar modelos para sistemas RAG en producción.
• Componer modelos de habla, visión y generación en aplicaciones multimodales — Conozca los seis componentes básicos de la IA multimodal, cómo los modelos de habla, visión y generación se integran en pipelines, y qué herramientas y proyectos abiertos pueden servir como punto de partida.