工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：transformers
基于印度民间故事训练小型GPT：分词器、掩码与损失函数
从零构建的900百万参数GPT：为何GPT-2的分词器无法处理民间故事中的词汇，BPE与因果掩码的运作原理，以及为何一个批次会产生4,096个下一个词元的损失值。
阅读约 16 分钟Transformer的工作原理：从RNN瓶颈到注意力机制、智能体与上下文窗口
变压器结构详解：为何RNN发展停滞、标记与嵌入的工作原理、注意力机制、QKV、头单元、位置信息、块结构以及缩放因子与代理。
阅读约 40 分钟从下一个标记预测到可运行代码：大语言模型如何生成Python代码
依次解释令牌、softmax、温度参数、自注意力机制以及前馈层，并给出逐步排序示例，以及由预测结果衍生的严格限制条件。
阅读约 9 分钟从下一个词预测到指令遵循：GPT模型的微调
预训练的GPT是如何学会遵循指令的：记录格式化、标签偏移、填充掩码、训练循环、评估限制以及向DPO偏好靠拢的过程。
阅读约 9 分钟LLM内部：在MLX上使用纯Python实现Qwen3-0.6B的推理
使用MLX在约200行Python代码中逐步实现LLM推理功能：包括分词器、RMSNorm、RoPE、分组查询注意力、SwiGLU、KV缓存以及采样机制。
阅读约 13 分钟LoRA与QLoRA详解：无需100GB显存即可微调7B模型
为何全量微调需要80到100GB的显存，低秩适配器如何将可训练权重降至1.6%，如何选择秩值和目标层，以及QLoRA带来了什么优势。
阅读约 5 分钟GPT真正的含义，以及为何AI工程本质上仍属于工程领域。
拆解生成式预训练Transformer、注意力机制、拟合与预测的过程，了解为何优秀的AI成果依然依赖于常规的工程判断力以及更精准的问题设计。
阅读约 4 分钟从规则到变换器：自然语言处理如何学会处理上下文
自然语言处理简史：基于规则的系统、N-gram模型、马尔可夫模型、词向量、RNN、注意力机制、Transformer以及基于它们构建的大语言模型。
阅读约 7 分钟为什么变换器使用正弦和余弦进行位置编码
关于正弦位置编码的逐步解析，从注意力机制为何忽略词序到不同速度的时钟机制，还包括一个经过推导的12维示例及旋转操作。
阅读约 8 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。