工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：Tokenization
单独复制可行，组合使用则失败：通过孤立复制测试的标记在上下文中的脆弱性。
测试八种开放权重模型，筛选出那些单独复制时正确但置于上下文中会被丢弃或修改的标记，并对嵌入几何结构、任务保持性及工具使用情况进行检查。
阅读约 32 分钟从下一个标记预测到可运行代码：大语言模型如何生成Python代码
依次解释令牌、softmax、温度参数、自注意力机制以及前馈层，并给出逐步排序示例，以及由预测结果衍生的严格限制条件。
阅读约 9 分钟脆弱标记与无声替换：对某些幻觉的几何学解释
部分幻觉源于受损或脆弱的标记，在推理开始前就被替换为附近的标记。文中给出了示例、各模型的发生率以及一个简单测试。
阅读约 7 分钟从提示词到标记：大语言模型如何将文本转化为数字再转换回来
通过分词、嵌入、注意力机制、前馈层、softmax函数以及采样等步骤，了解模型究竟是如何选择下一个单词的。
阅读约 7 分钟分词是一种系统设计决策，而非预处理步骤。
字节级BPE是如何构建大语言模型所使用的词汇表的，为何不同语言的标记数量存在差异，它会引发哪些问题，以及在指责模型之前应衡量什么指标。
阅读约 9 分钟为什么印度语言在大型语言模型中需要更多标记，以及分词器是如何得到解决的。
同一句话在英语中需要5个标记，在泰米尔语中则需要34个。了解BPE训练数据是如何导致这一现象的，以及重新平衡和词汇量变化的情况，还有词汇扩展的原理。
阅读约 8 分钟嵌入层的工作原理：从文本到令牌ID再到大型语言模型中的向量
适合初学者的嵌入层入门介绍：分词、查找表、学习得到的向量、2.05亿参数的示例，以及使用nn.Embedding编写的简短PyTorch演示。
阅读约 5 分钟在8GB内存的笔记本电脑上从零开始训练小型大语言模型。
如何在配置一般的硬件上搭建用于训练Transformer的干净数据管道：BPE分词器、TinyStories、基于磁盘的词元以及下一个词元批量处理。
阅读约 5 分钟令牌预算与语义边界：正确实现RAG分块划分
了解分词与切分之间的区别、它们在RAG流程中的位置，以及如何根据语义拆分文档，同时使用真正的分词器来控制长度。
阅读约 11 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。