工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：deep-learning
神经网络中的叠加现象：简化模型、SAE与特征融合
网络如何存储比维度更多的特征，干扰成本是什么，以及为什么稀疏自编码器能够融合数据无法区分的特征。
阅读约 19 分钟Transformer的工作原理：从RNN瓶颈到注意力机制、智能体与上下文窗口
变压器结构详解：为何RNN发展停滞、标记与嵌入的工作原理、注意力机制、QKV、头单元、位置信息、块结构以及缩放因子与代理。
阅读约 40 分钟人工智能如何读取并重建照片：20世纪80年代肖像背后的科学原理
视觉模型如何将像素转换为嵌入向量，以及生成式人工智能如何利用这些向量将照片重新风格化为80年代电影风格，同时存在在准确性、身份识别和检测方面的局限。
阅读约 9 分钟Transformer是如何逐步理解“猫坐在垫子上”这句话的
让一句话依次经过变换器层中的各个组件：标记、嵌入向量、位置信息、自注意力机制、残差连接、归一化处理以及前馈网络。
阅读约 6 分钟为什么变换器使用正弦和余弦进行位置编码
关于正弦位置编码的逐步解析，从注意力机制为何忽略词序到不同速度的时钟机制，还包括一个经过推导的12维示例及旋转操作。
阅读约 8 分钟残差连接详解：为何深度Transformer仍能进行训练
为什么堆叠层会破坏训练过程，x + F(x)跳过连接如何解决梯度流动问题，预层归一化模块是如何运用这些连接的，以及一个简短的PyTorch实现示例。
阅读约 4 分钟用PyTorch从零构建Transformer：注意力机制、编码器与解码器。
针对Transformer核心组件的逐步PyTorch代码实现：位置编码、缩放点积注意力与多头注意力机制、前馈层、编码器堆叠以及解码器基础结构。
阅读约 8 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。