多模态模型如何在一个请求中处理文本、图像和音频
了解什么是模态，多模态模型如何将文本、图像和音频映射为共享表示，这种方法的优势何在，以及为何视觉答案仍会出错。
将一张带有裂缝的支架照片连同问题“这个部件有什么问题？”一起发送给模型，现代助手就能通过直接查看图片来回答，而无需依赖他人对它的文字描述。能够在单个请求中处理多种类型输入的系统被称为多模态模型。
本解释将阐述在此语境下“模态”的含义、这类模型如何将文字与图片中的区域或录像中的片段关联起来、为何建立这种关联如此困难，以及在基于它们构建功能时需要考虑的局限性。
为何仅基于文本的模型会遇到瓶颈
第一代大型语言模型仅能处理文本。这是一个严重的限制，因为人们需要帮助的许多内容并非以文本形式存在：皮疹照片、堆栈跟踪的截图、语音备忘录，或是PDF文件中的图表。要使用仅支持文本的模型，就必须先将这些内容转化为文字描述。每一次这样的转换都会增加工作量，同时还会丢失描述者认为不重要的细节。
什么是模态
模态其实就是一种输入形式：文本、图像、音频或视频。一个恰当的类比是那位能力很强的同事，但他只能通过打字的方式交流。如果你想让他对一张照片发表意见，就必须先用文字描述它，而他只能知道你选择提及的内容。而多模态模型则相当于拥有眼睛和耳朵的同一位同事：能够查看你手中的照片，或聆听你转发的录音。
关键在于，多模态模型并不仅仅是简单地将多种输入类型并列处理。它还能学习它们之间的关联：哪些文字对应图像的哪一部分，哪些声音属于哪个视觉场景。如果没有这种对应关系，那就只是把多个独立系统拼在了一起而已。
组合请求内部会发生什么
从宏观层面来看，将图像与文本问题结合在一起的请求会经历以下阶段：
- 调用方发送混合输入，例如一张图像以及关于该图像的提问。
- 每种类型的输入都会由专为该类型设计的组件进行处理。文本会被拆分成词元；而图像通常会被分割成小块，再由视觉编码器将其转换为向量。
- 这两种数据流会被映射到同一个数值表示中，这样文本片段与图像区域就可以直接进行比较。
- 模型会将这个组合后的序列视为一个整体问题来处理，而非将两个无关的任务分开处理后再合并结果。
- 答案会综合所有提供的信息，并能在文本中提及图像中的特定部分。
共享表示是最难的部分
在多模态模型出现之前，图像中的物体识别与文本理解功能都已相当成熟。真正的挑战在于构建一个内部空间，使得“细小裂纹”这一词汇能够与实际显示细小裂纹的像素紧密关联。模型通过大量成对数据集来学习这种对应关系，例如带有文字说明的图像或配有字幕的视频，这些数据能教会模型哪些描述对应哪些视觉或听觉特征。当某个特定领域的这种对应关系较弱时，模型虽然从技术层面能够清晰识别图像，但仍可能将其与错误的词汇关联起来。
对用户而言有何变化
实际的区别在于谁来执行翻译。在纯文本模型中，提问者充当中间人，将实际的证据转化为文字。而在多模态模型中，模型会直接分析证据本身，往往能注意到提问者未曾想到的细节。
各领域的应用实例
- 医疗保健：临床医生可以提供扫描图像及书面病历，从而获得同时考虑这两方面信息的分析结果。
- 教育：学生可以将手写的数学题拍照，无需重新输入所有符号即可获得帮助。
- 客户支持：支持工具可以读取错误对话框的截图，准确捕捉消息内容及其布局，而无需依赖用户对内容的描述。
为何这种方法很重要
- 它消除了“先描述”的瓶颈。人们可以直接提交原始材料，而无需对其进行翻译。
- 它能保留文字容易丢失的信息。布局、颜色、语气以及周围的视觉环境都蕴含着意义，而这些往往会被摘要轻易忽略。
- 它能匹配问题的实际呈现形式。真实的请求通常会附带图片、屏幕截图或音频片段等附件，而非纯文本形式。
需要克服的局限性
多模态模型可能无法正确解读图像。含义模糊的图表、模糊的照片或标签过小且密集的曲线图，都可能导致模型给出看似有根据但实际上错误的答案。该模型没有内置机制来提示它可能并未真正看清所描述的内容。
在利用这些功能时，应将视觉分析视作与其他模型输出相同的处理方式：
- 要求模型说明其依据的内容，比如从截图中读取的具体文本，以便他人快速核查。
- 提供尽可能高质量的输入；截取相关区域通常比发送大型、信息复杂的图像更有效。
- 在输出结果会直接影响重大决策的情况下，尤其是医疗、法律或安全领域，务必保留人工审核环节。
核心要点
- 模态是一种输入类型；多模态模型能够接收多种模态，并且关键在于学会理解它们之间的关联。
- 每种输入都会由适合它的组件进行编码，随后转化为模型可整体分析的共享表示形式。