通过一个客服机器人请求追溯出的十五个大语言模型概念
通过AI助手一步步解答客户问题，了解模型、令牌、嵌入向量、上下文、RAG、智能体以及评估机制的实际作用，以及每一种技术的应用边界。
一位顾客打开了店铺的聊天窗口，询问十天前购买的耳机是否还能退货。几秒钟后，客服系统读取了该问题，查阅了店铺的退货政策，并说明了可行的选择。这样的对话看似简单，但实际上要经过一系列不同的处理环节：文本会被转换为数字，经过训练的模型会对这些数字进行计算，应用程序可能会搜索内部文档，还可能调用相关工具来启动退货流程。
词汇工程师在处理这些步骤时所使用的术语（如标记、嵌入、推理、RAG等）既容易重复使用，也容易被误用。本指南按照单个请求的处理顺序，介绍了十五个核心术语，这些术语被分为三类：在客户提出请求之前发生的内容、生成答案时的过程，以及让系统能够运行并值得信赖所需的条件。对于每个概念，都会说明其定义、在工程实践中的重要性，以及最常引发的误解。请将此列表视为基础知识，而非整个领域的全部内容；如需了解更全面的后续学习方向，请参阅我们关于AI工程概念的分级指南。
问题提出之前：模型及其学习方式
本节所述的一切都发生在客户开启聊天之前，它决定了助手能够执行哪些操作。
1. 模型：一种经过训练的输入到输出的函数
模型是一种数学系统，它通过从数据中提取的模式将输入映射为输出。有的模型用于分类动物照片，有的则用于预测配送时间。语言模型则处理文本，通过逐次预测合理的下一个词元来生成文本。
一个粗略的类比是那些已经练习过数千道习题的学生：面对新题目时，他们会运用之前学到的方法，而非查找完全相同的题目。这个类比并不完美，因为模型既不会像人类那样学习也不会理解，但它确实体现了从示例中归纳出普遍规律的核心思想。
在商店场景中，语言模型会理解问题并起草回复。不过，最终的产品还包括用户界面、数据源以及可能的工具。
- 工程相关性：模型具有专业性。能够写出流畅文本的模型并不一定擅长需求预测或欺诈评分。
- 常见错误：将“模型”与“应用程序”混为一谈。模型只是多个组成部分之一。
2. 参数：编码行为的数字
神经网络包含大量可调整的值，这些值被称为参数。权重是最常被讨论的类型，偏置则是另一种。它们共同决定了信息在网络中传递时的转换方式。
想象一个布满旋钮的调音台：转动旋钮可以改变声音，调整参数则能改变输出效果。训练就是负责转动这些旋钮的过程。
语言模型所学的内容分散在庞大的数值数组中，通常并不存在一个专门存储“巴黎是法国的首都”这类信息的位置。虽然有些训练文本可以被原封不动地记住，但该模型并非其所见过文档的可检索档案。
- 工程意义：参数数量决定了存储、内存和计算资源的需求，同时也影响模型的性能。更大的模型并不一定就更适合你的特定任务。
- 常见误区：将参数误认为是存储有答案的数据库，实际上它们只是模型学习得到的设置值。
3. 训练：在反馈中不断练习
训练是通过数据与目标函数来调整模型参数的。对于语言模型而言，常见的目标函数是下一个词元的预测。
以训练句子“法国的首都是巴黎。”为例，模型会看到句子的开头部分，然后预测接下来的内容，训练系统则会衡量该预测与实际下一个词元之间的差异。随后模型参数会相应调整以缩小误差。通过大量示例的反复训练，这一过程更像是带着纠错进行的练习，而非简单地将内容复制到存储中。
该商店的模型在有任何顾客出现之前就已经完成训练。这使它具备了通用的语言处理能力，但并不能保证它了解这家商店当前的退货规则。
- 工程相关性：数据与目标形状的选择决定了模型能够完成的任务以及它可能产生的错误类型。
- 常见误区：误以为掌握了语言模式的模型也就验证了事实，其实并非如此。
4. Transformer：大多数语言模型共用的架构
Transformer是一种神经网络设计，它将注意力机制与其他处理层相结合，从而将输入表示转化为有用的输出。可以将其比作流水线：每个工位都在对前序工序处理后的结果进行优化，而非重新从原始文本开始处理。
在基于变换器的语言模型中，词元表示会经过多层堆叠的层结构。注意力机制用于整合不同位置的信息，其他组件则负责转换每个位置的表示形式，而位置信息使得模型能够区分“狗咬人”和“人咬狗”。最终的表示会被转化为每个候选下一个词元的得分，这些得分再被转换为概率值，从而选出其中一个词元。
- 工程相关性：了解模型架构有助于将其他概念联系起来。词元作为输入，嵌入向量用于表示它们，注意力机制负责处理它们之间的关联，而上下文窗口则决定了模型能够处理的信息范围。
- 常见错误：将架构与训练好的模型混为一谈。变换器只是设计蓝图，而训练好的模型则是具有已学习参数的具体实例。
答案生成过程：从文本到标记再到输出
现在用户点击发送。本节将介绍该请求处理过程中的具体步骤。
5. 推理：运行已训练的模型
推理指的是在新的输入数据上执行已训练的模型以获得输出结果。如果说训练是练习，那么推理就相当于参加考试。
当收到耳机相关问题时，模型会利用已有的参数对输入内容进行计算。在正常运行过程中，它不会针对每条消息重新训练；在回答问题的同时其参数保持不变。对于文本生成而言，推理是一个循环过程：计算下一个标记的概率、选择一个标记、将其添加到结果中，然后重复此过程直至回复完成。“选择一个标记”这一步骤的具体实现方式是另一个独立话题，详见我们关于温度参数、top-k和top-p的指南。
- 工程意义：推理阶段决定了延迟和每次请求的计算成本，因此它直接影响用户体验以及您的费用支出。
6. 令牌：模型实际看到的文本单位
令牌是由分词器定义的文本片段。根据不同分词器的设定，它可能是一个完整单词、单词的一部分、标点符号或其他形式的内容。仅作为示例，“headphones”在某个分词器下可能保持完整，而在另一个分词器下则可能被拆分为“head”和“phones”。切勿认为一个单词就等同于一个令牌。
每个令牌都会被映射为一个整数ID，模型在处理这些信息前会先将它们转换为数值形式。
- 工程应用意义：标记数量决定了输入是否适用、输出长度以及API调用的成本。相同含义在不同语言或格式下可能对应不同数量的标记；例如，JSON和代码的标记方式通常与普通散文不同。
- 常见错误：将标记与标记ID混淆。标记是文本片段，而ID则是它们的数字标签。
7. 嵌入：作为空间中位置的含义
嵌入是对某个项目——如标记、句子、文档或图像——的数值表示。它通常是一个向量，即一组有序的数字。
想象在地图上为图书馆中的书籍进行布局，让主题相似的书籍彼此靠近。嵌入技术能为每个项目在这样的地图上标注坐标，从而便于衡量它们之间的相似度。一个选得恰当的搜索嵌入模型即便两个问题几乎没有任何共同词汇，也会将“如何退回此物品？”放在与“您的退换货政策是什么？”相近的位置。
将这两种用途区分开来很有帮助。在语言模型中，令牌嵌入是输入表示方式的一部分；而在搜索系统中，则使用文档嵌入来查找相关内容。虽然两者理念相近，但其表示方式乃至生成模型的设计往往有所不同。
- 工程实用性：嵌入技术正是实现基于语义的搜索与检索的关键。
8. 提示词：你提供的指令与材料
提示词就是所有交给模型以引导其响应的内容：指令、用户的问题、示例以及辅助文本。
比较两个请求。“解释退货规则”这个表述很模糊。而“根据以下政策判断十天前购买的耳机是否可以退货；如果缺少必要信息则要求补充，不得自行制定规则”则明确了任务、依据以及备用处理方式。这就好比让朋友“去店里买点东西”与交给他们一份带有预算限制的清单之间的区别。
在助手系统中，最终的提示语通常由应用程序自行组合而成：包括开发者的说明、客户的消息以及从知识库中获取的规则文本。
- 工程意义：精确的提示语能减少歧义，使预期行为更易于测试。
- 常见错误：将提示语指令视为安全保障。指令仅能影响行为，无法强制执行权限控制；任何绝不能发生的情况都需要在模型之外设置管控措施。
9. 上下文窗口：有限的工作空间
上下文窗口指的是模型一次可以处理的资料量，以令牌数来衡量。可以将其想象成办公桌：工作时可以在上面摆放笔记，但桌面面积是有限的。
该空间中存储的内容包括系统指令、对话历史、检索到的文档以及工具的运行结果；根据不同系统的设定，生成的输出也会计入容量限制之内。当对话内容过长时，应用程序必须进行干预，比如删除较早的对话记录、对其总结，或在需要时重新检索相关内容。
上下文与参数是不同的概念。参数在训练阶段就已确定，而上下文则是仅为当前任务提供的信息。
- 工程意义：必须刻意规划存储空间。增加文本量并不等同于提供更多有用的信息，无关内容还可能干扰模型的运行。
- 常见错误：将较大的上下文窗口视为无限内存，或认为其中的所有细节都会被正确利用。
10. 注意力机制：处理输入中的关联部分
注意力机制是模型用来整合来自输入不同位置的信息的方式。例如，有一条消息称耳机是在昨天送达的，但实际上是十天前订购的。在处理退货相关问题时，时间是从送达开始计算还是从购买开始计算可能起着决定性作用，而注意力机制能够让问题的表征反映出送达、订购以及这两个时间点之间的关联。
用日常类比来说，就是在回答关于某段文字的问题之前先重读其中相关的句子。从技术层面讲，注意力机制会计算各位置之间的数值相关性得分，并利用这些得分来生成信息的加权组合。不同的注意力头和层能够捕捉不同类型的关联关系。
- 工程应用意义：注意力机制解释了为何措辞、顺序及上下文文本会改变答案，这在设计提示词和分割文档时非常重要。
- 常见错误：将注意力权重视为模型推理的完整解释。它们仅是一种数学信号，并不能清晰说明为何会产生某个答案。
让模型具备实际背景知识并加以调整
仅靠模型的训练无法了解该商店的当前政策。有两种技术以截然不同的方式弥补这一缺陷。
11. RAG：先查找信息，再作回答
检索增强生成指的是在需要时查找相关信息并将其放入模型的上下文中，以便模型能够依据这些信息给出答案。这类似于开卷考试：虽然有参考书可供查阅，但考生仍需理解问题、找到正确的页面并正确运用其中的知识。
对于店员而言，整个流程通常如下：
- 顾客提出问题。
- 应用程序在政策文件中搜索相关段落。
- 将最匹配的段落与问题一起放入提示词中。
- 模型基于这些段落撰写答案。
信息检索可以依赖关键词搜索、嵌入模型或两者的结合。关键在于这种方法不会改动模型的参数。现有文章RAG详解：AI系统如何按需获取最新知识对检索机制进行了更深入的阐述。
- 工程应用价值：RAG使应用程序能够在无需重新训练的情况下使用私有的、专业的或频繁变化的文档。
- 常见误区：误以为RAG就能保证答案的正确性。虽然它能减少无依据的答案，但系统仍可能获取错误的段落或误解正确的内容。
12. 微调：在更具体的任务上进一步训练
微调是对已训练好的模型继续进行训练，通常使用规模较小、针对特定目标的数据集。这就好比英语流利的人专门练习简洁的客户服务回复。
企业可以通过客户问题与理想回应的配对来进行微调，以此培养一致的语气、输出格式或特定的任务处理方式。与在提示词中直接写入规则不同，微调是修改已学习的参数或添加新的训练组件来改变模型行为。它也可以注入领域知识，但对于那些变化频繁的事实来说并非理想方案，因为每次变动都需要重新进行训练。
- 工程应用价值：当仅靠提示词无法可靠地实现某种重复性行为时，微调才能发挥作用。
系统何时发挥作用，以及如何判断其是否正常工作
最后一组内容涉及可能出现的问题、助手具备某些功能时会发生的变化，以及如何全面评估系统性能。
13. 幻觉现象：流畅、自信却毫无依据
幻觉指的是那些虚假的、编造的或没有相关证据支持的输出内容。假设商店规定七天内可退货，但助手却自信地称所有耳机都可在三十天内退回。这样的回答虽然表述流畅、逻辑通顺，但实际上是错误的。
根本原因在于语言模型会生成概率较高的后续内容，而非验证这些表述是否符合现实。下一个词元出现的高概率并不能说明整个陈述是否正确。幻觉表现为编造的政策、引用、人物、数据，甚至是伪造的工具检测结果。
- 工程意义：即便经过润色的错误答案也可能造成实际危害，因此系统需要可靠的证据、输出验证机制以及承认不确定性的规范方式。
- 常见错误：将自信的表述误认为是可靠性。
14. 智能体：选择并执行实现目标的步骤
AI智能体是一种利用模型来决策并执行实现目标的步骤的系统，通常会调用各类工具来完成任务。普通的聊天机器人只能解释退货流程，而智能体则可以查询订单信息、核实资格并起草退货申请。
处理退货请求的典型流程如下：
- 了解客户的需求。
- 确定缺失的信息，比如订单记录。
- 调用应用程序提供的订单查询工具。
- 根据相关政策评估查询结果。
- 要么准备退货手续，要么询问更多细节，要么将任务转交给人工处理。
模型永远不会自行访问数据库。应用程序负责提供工具、检查权限并执行操作；模型仅提出调用请求。其自主性差异很大，从单次工具调用到复杂的多步骤流程不等，并非所有固定化的自动化流程都配得上“智能体”这一称谓。如需了解更多关于该循环机制的内容，请参阅理解AI智能体：目标、工具、记忆与智能体循环。
- 工程实践意义：操作需要明确的边界、错误处理机制以及审批检查点。起草退款申请与授权退款是两回事。
- 常见错误：将具备操作能力等同于有权在无监督情况下执行操作。
15. 评估：证明应用程序有效运行的依据
评估是对模型或完整人工智能应用完成其预定任务的表现进行系统化的衡量。以自行车为例：无论它外观多好，都必须在不同条件下通过制动、转向和车轮等方面的检测后，才能在交通中骑行。
对于退货助手而言，一个有用的测试集至少应包括：
- 明显符合退货条件的订单。
- 在允许的期限过后提交的退货请求。
- 未提供购买日期的咨询问题。
- 两份相互矛盾的政策文件。
- 查询失败的订单信息。
- 客户无权获得的退款申请。
需评估答案的正确性、答案是否有依据、不确定性是否得到恰当表达、工具使用是否安全，以及延迟和成本。还需考虑团队在构建系统时未使用的场景；仅通过熟悉的示例进行测试会高估系统的质量。
- 工程相关性：演示仅能证明某个示例有效，而评估则能显示系统运行的频率及出现故障的环节。
- 常见错误：只评判模型的文本输出，而不对整个应用进行端到端测试。
关键要点
- 模型只是人工智能应用的一部分；数据来源、提示词、工具、权限及测试才决定了系统在现实环境中的大部分行为表现。