工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：PyTorch
基于印度民间故事训练小型GPT：分词器、掩码与损失函数
从零构建的900百万参数GPT：为何GPT-2的分词器无法处理民间故事中的词汇，BPE与因果掩码的运作原理，以及为何一个批次会产生4,096个下一个词元的损失值。
阅读约 16 分钟从下一个词预测到指令遵循：GPT模型的微调
预训练的GPT是如何学会遵循指令的：记录格式化、标签偏移、填充掩码、训练循环、评估限制以及向DPO偏好靠拢的过程。
阅读约 9 分钟残差连接详解：为何深度Transformer仍能进行训练
为什么堆叠层会破坏训练过程，x + F(x)跳过连接如何解决梯度流动问题，预层归一化模块是如何运用这些连接的，以及一个简短的PyTorch实现示例。
阅读约 4 分钟用PyTorch从零构建Transformer：注意力机制、编码器与解码器。
针对Transformer核心组件的逐步PyTorch代码实现：位置编码、缩放点积注意力与多头注意力机制、前馈层、编码器堆叠以及解码器基础结构。
阅读约 8 分钟嵌入层的工作原理：从文本到令牌ID再到大型语言模型中的向量
适合初学者的嵌入层入门介绍：分词、查找表、学习得到的向量、2.05亿参数的示例，以及使用nn.Embedding编写的简短PyTorch演示。
阅读约 5 分钟从零实现BPE分词器：为小型GPT上下文窗口生成更短的序列
用Python编写一个字节对编码分词器，在WikiText-2上对其进行训练，将合并结果保存为JSON格式，进而观察子词分词如何扩展GPT的上下文窗口。
阅读约 26 分钟在PyTorch中调试小型GPT：用于隔离各类故障的测试方法。
一种用于在PyTorch中调试字符级GPT的逐步工作流程，涵盖从令牌ID和目标偏移到梯度、NaN损失及检查点的处理。
阅读约 30 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。