实用笔记：大语言模型究竟如何工作：标记、Transformer与下一个标记

本指南将逐步构建从原始材料到可运行系统的完整流程，内容涉及《大语言模型究竟如何工作：标记、Transformer与下一个标记预测！》。重点在于可操作的步骤、明确的检查点，以及可直接放入代码库的代码，无需猜测其用途。 在概览阶段，应在修改代码之前明确输入参数、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。 建议使用小型、可测试的单元而非庞大的脚本。当某个步骤失败时，故障应指向单一责任点，而非复杂的流程链。

什么是大语言模型？

在完成“什么是大语言模型”这一阶段时，首先写下相关契约：所需的输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，并拒绝默许部分完成的情况。 缓存稳定的系统指令和工具结构。重复发送相同的前置信息是造成资源浪费的常见原因。

第一步：文本被转换为标记

在完成第一步的文本设计阶段时，首先需列出相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及代币或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 缓存稳定的系统指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。

"I" → token 1
"love" → token 2
"AI" → token 3

"unbelievable"

"un" + "believ" + "able"

第二步：代币转换为数字

在完成“步骤2：令牌转为阶段”时，首先需写明契约内容：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持透明可追溯。 应将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一处，以便操作人员无需查看整个系统结构即可进行审计。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。 在完成“步骤2：令牌转为阶段”时，首先需写明契约内容：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持透明可追溯。 相较于庞大的脚本，应优先选择小型且易于测试的单元。当某个步骤失败时，故障应能指向单一责任模块，而非复杂的流程链。

"I"       → [0.12, -0.45, 0.78, ...]
"love"    → [0.91,  0.13, -0.22, ...]
"AI"      → [0.31,  0.72,  0.04, ...]

步骤3：Transformer理解上下文

在将第三步视为可度量的流程环节时，Transformer的效果最佳。在扩大范围之前，先记录一份理想的输出样本、一个失败案例以及回滚说明。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，杜绝默许的半完成状态。 需为每轮对话及每次会话设定token预算。智能工具往往会过度扩展上下文；设置上限可避免演示过程变成意外的费用账单。

The dog chased the ball because it was excited.
 ↑                                      ↑
 └──────────── related ─────────────────┘

步骤4：预测下一个token

将第4步“预测阶段”视为可度量的指标来使用效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外账单。为每轮及每次会话设定令牌预算。智能工具往往会大量消耗上下文资源，设置上限可防止演示过程变成意外收费的源头。

mat       → 45%
floor     → 20%
chair     → 10%
table     → 5%
...

Read context
     ↓
Predict next token
     ↓
Add token to text
     ↓
Read updated context
     ↓
Predict next token
     ↓
Repeat...

那么人工智能是如何回答复杂问题的呢？

那么，当将 AI 阶段视为可度量的对象时，该如何使其发挥最佳作用呢？在扩大范围之前，先记录一份理想的操作日志、一个故障案例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放，这样操作人员无需查看整个系统结构即可进行审计。 为每轮对话和每次会话设定token预算。智能工具往往会过度扩展上下文，设置上限可以避免演示过程变成意外的费用账单。 那么，当将 AI 阶段视为可度量的对象时，该如何使其发挥最佳作用呢？在扩大范围之前，先记录一份理想的操作日志、一个故障案例以及回滚说明。 相比庞大的脚本，更应选择小型且可测试的单元。当某个步骤出现故障时，故障原因应能明确指向某个具体的责任模块，而非复杂的流程链条。

全貌

在“完整视图”阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 将此阶段视为输入与已验证输出之间的契约。为相关成果命名，定义成功判定标准，并拒绝默许的半完成状态。 当下一步操作是编写代码或调用工具时，优先选择具有架构验证的结构化输出，而非自由形式的文字描述。

Your text
   ↓
Tokenization
   ↓
Tokens
   ↓
Numbers / Embeddings
   ↓
Transformer
   ↓
Understand relationships + context
   ↓
Predict next token
   ↓
Add token to response
   ↓
Predict again
   ↓
Repeat until the answer is complete

需要记住的一件重要事项

在修改代码之前，有一件至关重要的事情需要做好：明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解这些成本可以避免在从演示环境过渡到共享环境时出现意外费用。当下一步操作是编写代码或调用工具时，应优先选择具有架构验证的结构化输出，而非自由形式的文字描述。

愉快编码

在“快乐编码”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 当下一步操作是编写代码或调用工具时，应优先使用具有架构验证的结构化输出，而非自由形式的文本。

运营检查清单

将“运营检查清单”阶段视为可衡量的指标会更有成效。在扩大范围之前，需记录一份最佳操作范例、一个故障案例以及回滚说明。 应同时记录正常流程和恢复流程。重试机制、人工审核环节以及死信处理都是产品的一部分，而非后续需要补充的内容。

每轮及每次会话的预算令牌数。智能工具会大量消耗上下文资源；设置上限可避免演示过程突然产生额外费用。

将状态与负责数据变更的组件放在一起。若将所有数据都存放在全局存储中，定时错误就更难被发现。

编写简短的操作手册：说明如何更换密钥、如何清空队列、以及如何回滚上一次的处理操作。

在功能结果旁记录处理时间以及令牌或查询成本。提前了解成本情况，可避免从演示环境过渡到共享环境时出现意外账单。

在推广该技术栈之前，先冻结版本，为关键流程保存标准操作记录，并确认回滚步骤。共享环境需要设置速率限制、租户验证机制，以及明确的密钥更换负责人。与其追求华丽的临时演示，不如注重扎实的可靠性。

c36dcb448406的批处理说明：不要将提供者密钥放入代码仓库，为每个会话设置令牌上限，并将转录内容存储在评估测试用例的旁边，以便后续模型更换时仍能保持可比性。