工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的原创文章，来自与我们操作层软件同一套工程实践。正文为英文。
标签：tokenization
《实用笔记》：故障令牌与脆弱令牌的对比
《实用笔记》操作指南：故障令牌与脆弱令牌的对比——适用于采用该模式的团队的合约、校验逻辑及可直接插入的代码片段。
6755 词阅读令牌预算与语义边界：正确实现RAG分块划分
了解分词与切分之间的区别、它们在RAG流程中的位置，以及如何根据语义拆分文档，同时使用真正的分词器来控制长度。
2515 词阅读为小型GPT从零开始构建字节对编码分词器
用Python实现一个字符级的BPE分词器，在WikiText-2上对其进行训练，保存并生成其指纹，然后使用更短、更密集的词元序列重新训练一个小型GPT。
6236 词阅读下一个标记循环：在接触智能体之前了解大语言模型的思维模型
通过简单的离线Python示例，了解令牌、上下文窗口、采样以及生成循环的工作原理，进而理解为何会有RAG、ReAct和LangGraph这些技术存在。
1218 词阅读
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
技术文先发英文，以保证代码与 API 名称准确。站点外壳提供全部九种语言。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。