实用笔记：大语言模型究竟如何工作：从预测下一个词到

可将此内容视为《LLM究竟如何工作：从预测下一个词到编写代码》中理念的面向操作员的简化版本：清晰的阶段划分、有序的代码模块，以及能在交接过程中保留的恢复说明。在“概览”阶段，若能将其视为可量化的界面来使用效果最佳——在扩大范围之前，先记录一份理想的处理过程、一个故障案例以及对应的回滚说明。相比庞大的脚本，应优先选择小型且可测试的单元。当某一步骤出现故障时，故障原因应能指向某个具体的责任模块，而非复杂的流程链。

一切始于一个问题

在“一切始于一个”阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 将此阶段视为输入与已验证输出之间的契约。为相关成果命名，定义成功判定标准，并拒绝默许的半完成状态。 当下一步操作是编写代码或调用工具时，优先选择具有架构验证的结构化输出，而非自由形式的文字描述。

什么是令牌？

在“What Even Is a”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解这些成本可以避免在从演示环境过渡到共享环境时出现意外费用。当下一步操作是编写代码或调用工具时，应优先选择具有架构验证的结构化输出，而非自由形式的文字描述。

预测循环

在“预测循环”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 当下一步是代码执行或工具调用时，宜使用具有结构化格式且经过模式验证的输出，而非自由形式的文本。 在“预测循环”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。 相比冗长的脚本，更应采用小型且易于测试的单元。当某个步骤出现故障时，故障原因应能明确指向某个特定功能模块，而非整个复杂的流程。

P(next_token | "The", "cat", "sat", "on", "the")

P(token_i) = exp(logit_i) / Σⱼ exp(logit_j)

架构：Transformer

在处理“Transformer架构”阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合要求。 将此阶段视为输入与验证后输出之间的契约。为相关组件命名，定义成功检测标准，杜绝无声的半完成状态。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。

Token IDs → Embedding layer → [Attention + FFN] × N layers → Linear head → Softmax → P(next token)

自注意力机制：核心原理

在学习“自注意力核心机制”这一阶段时，首先列出相关规范：所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 缓存稳定的系统指令和工具结构。重复发送相同的开头信息是造成资源浪费的常见原因。

Q = XWᴬ_Q    (Query: what am I looking for?)
K = XWᴬ_K    (Key: what do I contain?)
V = XWᴬ_V    (Value: what do I contribute?)

score(i, j) = qᵢ · kⱼᵀ / √dₖ

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) · V

MultiHead(Q, K, V) = Concat(head₁, ..., headₕ) · W_O
headᵢ = Attention(QWᵢ_Q, KWᵢ_K, VWᵢ_V)

前馈网络

在处理前馈网络阶段时，首先需明确相关规范：所需的输入参数、成功信号以及部分故障时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审计。 缓存系统中稳定的指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。 在处理前馈网络阶段时，首先需明确相关规范：所需的输入参数、成功信号以及部分故障时的处理方式。这样的清单能确保后续的代码修改保持一致性。 相较于庞大的脚本，应优先使用小型且可测试的单元。当某个步骤出现故障时，故障点应能明确指向单一责任模块，而非复杂的流程链。

FFN(x) = max(0, xW₁ + b₁)W₂ + b₂

FFN(x) = (SiLU(xW_gate) ⊙ xW_up) · W_down

为何大语言模型会编写代码：预测论点

在将“为何大语言模型会编写代码”这一阶段视为可测量的工作面时，效果最佳。在扩大范围之前，先记录一份理想的输出样本、一个失败案例以及回滚说明。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，杜绝默默完成部分任务的情况。 需为每轮对话及每次会话设定token预算。智能工具往往会过度扩展上下文；设置上限可避免演示过程变成意外的费用账单。

P("(" | ..., "def", " quicksort") ≈ 1.0
P(":" | ..., "def", " quicksort", "(", "arr", ")") ≈ 1.0
P("return" | context inside function body) >> P("import" | same context)

具体示例：生成排序函数

将生成阶段的具体示例视为可测量的对象来处理效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外账单。为每轮对话和每次会话设定令牌预算。智能工具往往会大量扩展上下文，设置上限可防止演示过程变成意外收费的源头。

代码生成中的温度参数与采样策略

将“温度”与“采样”机制视为可测量的参数时，其在测试阶段的效果最佳。在扩大范围之前，应先记录一份理想的处理结果、一个故障案例以及回滚说明。 配置信息应置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放，以便操作人员无需查看全部代码结构即可进行审计。 为每轮对话和每次会话设定token预算。智能工具往往会过度扩展上下文，设置上限可避免演示过程变成意外的费用账单。 将“温度”与“采样”机制视为可测量的参数时，其在测试阶段的效果最佳。在扩大范围之前，应先记录一份理想的处理结果、一个故障案例以及回滚说明。 相比庞大的脚本，更应优先使用小型且可测试的单元。当某个步骤出现故障时，故障点应能明确指向单一责任模块，而非复杂的流程链。

规模优势：为何更大意味着不同

在“规模论证为何”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功判定标准，并拒绝默许的半完成状态。 当下一步操作是编写代码或调用工具时，应优先选择具有架构验证的结构化输出，而非自由形式的文字描述。

大语言模型固有的局限性

在“大语言模型无法做什么”这一阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。当下一步操作是编写代码或调用工具时，应优先选择具有结构化格式且经过模式验证的输出，而非自由形式的文字描述。

总结

在总结阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 当后续步骤为代码或工具调用时，宜使用具有架构验证的结构化输出，而非自由形式的文本。 在总结阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 相比庞大的脚本，更应采用小型且可测试的单元。当某个步骤失败时，故障原因应能明确指向单一责任模块，而非整个复杂的流程。

操作检查清单

在处理操作检查清单阶段时，首先写下合同细节：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。

同时记录正常流程和恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分，而非后续的优化内容。

缓存系统中稳定的指令和工具结构。重复发送相同的开头数据是导致资源浪费的常见原因。

尽量降低渲染成本，只有在经过测量后才会将耗时的计算操作放入缓存中。过早使用缓存可能会掩盖过时属性带来的错误。

只要预算允许，就在持续集成过程中使用测试数据而非真实的付费 API 来添加能够检测关键路径的冒烟测试。

在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在系统从演示环境切换到共享环境时出现意外账单。

在推广该技术栈之前，先冻结版本，为关键路径生成标准记录，并明确回滚步骤。共享环境需要设置速率限制、租户验证机制，以及明确的密钥轮换负责人。与其追求华丽的临时演示，不如注重扎实的可靠性。

关于9267285893fa的批注：请将提供商密钥存放在仓库之外，设定单次会话的令牌上限，并将记录与评估用文件一起保存，以便后续模型更换时保持数据可比性。