工程笔记
写给真正
交付技术栈的人
关于 React、Node.js、TypeScript 与 AI 的文章。有译文正文时显示译文。没有时显示英文，并注明这一点。
标签：NLP
RAG存在的理由：参数化记忆、密集检索以及2020年的相关论文。
RAG存在的理由：参数化内存的局限性，BM25与嵌入技术如何推动密集检索的发展，以及论文中RAG-Sequence与RAG-Token各自的权衡之处。
阅读约 7 分钟代理人从未下达的审计订单确认：核对数值而非文字内容
如何为负责下真实订单的客服构建需求一致性评估器：按负责人划分结果，将标识符与工具输出结果进行比对。
阅读约 16 分钟生产型RAG的数据清洗：编码、OCR识别、去重及个人信息处理
如何将解析后的企业文档转换为可用于检索的文本：编码修复、模板与重复内容删除、高风险OCR标记处理、语言处理以及个人身份信息遮蔽。
阅读约 21 分钟检索增强生成如何减少大语言模型的幻觉：检索、嵌入技术与企业应用
为什么大语言模型会自信地给出错误答案，以及RAG如何让它们以当前数据为依据：两部分架构、嵌入技术、微调的权衡与局限。
阅读约 9 分钟从规则到变换器：自然语言处理如何学会处理上下文
自然语言处理简史：基于规则的系统、N-gram模型、马尔可夫模型、词向量、RNN、注意力机制、Transformer以及基于它们构建的大语言模型。
阅读约 7 分钟为什么变换器使用正弦和余弦进行位置编码
关于正弦位置编码的逐步解析，从注意力机制为何忽略词序到不同速度的时钟机制，还包括一个经过推导的12维示例及旋转操作。
阅读约 8 分钟用PyTorch从零构建Transformer：注意力机制、编码器与解码器。
针对Transformer核心组件的逐步PyTorch代码实现：位置编码、缩放点积注意力与多头注意力机制、前馈层、编码器堆叠以及解码器基础结构。
阅读约 8 分钟为什么印度语言在大型语言模型中需要更多标记，以及分词器是如何得到解决的。
同一句话在英语中需要5个标记，在泰米尔语中则需要34个。了解BPE训练数据是如何导致这一现象的，以及重新平衡和词汇量变化的情况，还有词汇扩展的原理。
阅读约 8 分钟Harness工程——可靠AI智能体的基础
以工程学作为可靠人工智能智能体的基础：什么是大语言模型，什么使其成为智能体，以及工程学在智能体循环过程中起到了什么作用。
阅读约 11 分钟
常见问题
关于这些文章
是。每篇都是为本站准备的英文原创改写。结构与代码跟随来源；正文重写并做过重合检查。
英文是来源。只有存在该语言的正文译文时才显示其他语言。缺失或空白的译文仍是英文，包括在本地化网址上。
草稿经编辑后进入发布队列。站点导入只收录新的或有变更的 slug，不会重复添加。
示例仅供说明。上线前请核对技术栈与许可。若需交付，请发来简报。