RAG存在的理由:参数化记忆、密集检索以及2020年的相关论文。
RAG存在的理由:参数化内存的局限性,BM25与嵌入技术如何推动密集检索的发展,以及论文中RAG-Sequence与RAG-Token各自的权衡之处。
来源: What Is RAG? The Story Behind Retrieval-Augmented Generation and Why It Changed AI Forever
构建RAG系统并没有唯一的正确方法。每个业务问题都需要适合其规模扩展的架构,而且每种检索策略都有其权衡之处,因此适用于客服机器人的设计可能在法律研究领域表现不佳。该领域发展速度也非常快。2020年检索增强生成技术首次出现时,语言模型的能力远不如现在。从那以后,推理、指令遵循、多模态理解、上下文窗口以及工具使用能力都得到了极大提升。RAG依然是实现可靠人工智能应用的核心技术,因为即便是最强大的模型也无法知晓所有信息或始终获取最新数据。从外部来源检索相关知识可以减少幻觉现象,让答案始终基于可信的信息来源。
如今,这项技术已应用于支持平台、企业聊天机器人、编程助手、法律研究工具、临床应用、金融系统以及内部知识辅助工具之中。即便如此,许多教程直接跳到向量数据库、嵌入模型或LangChain代码的内容,却从不探讨为何最初要发明RAG。要回答这个问题,需从最初的科研工作讲起,再深入探讨现代生产系统背后的工程理念,包括设计决策的依据、其成本以及这些决策是如何变化的。
模型的认知局限
当GPT风格的模型首次展现出惊人的语言理解能力时,许多人认为它们几乎可以回答任何问题。在某种程度上确实如此。通过大量数据集的训练,这些模型掌握了关于历史、科学、编程、数学和文学等方面的知识。但模型“知道”的所有内容都在训练过程中被压缩进了其参数中,一旦训练结束,这些知识便固定不变了。
人们的工作方式大致相似。专家们不会仅依赖记忆。遇到罕见疾病或新获批疗法的心脏病专家,会首先查阅当前的临床指南或医学文献。而当经验丰富的Python开发者被要求将大型应用程序迁移到Java时,他们并不一定了解所有可用于在不影响性能或用户体验的前提下完成迁移的Java框架及最佳实践。他们会阅读Java文档,根据应用程序的规模选择如Spring之类的框架,并在整个迁移过程中持续参考迁移指南和项目文档。相关技能本身是具备的,只是外部资料为准确解决问题提供了必要的背景信息。
语言模型也面临同样的问题。它们的通用知识相当丰富,但若询问训练数据截止日期之后的内容,比如某家公司的内部文件或某个组织最新的政策,它们就毫无依据可依。更糟糕的是,当人类会承认自己不确定时,模型却常常给出流畅、自信且事实错误的回复,这种现象现在被广泛称为幻觉。
每当出现新信息就重新训练也不现实,因为先进的模型需要巨大的计算资源、资金和时间。研究人员需要一种方法,让模型在回答问题时能够直接获取相关的外部信息,而无需重新训练。这一需求催生了检索增强生成技术,也为当今许多旨在在恰当时机为模型提供正确信息的上下文工程技术奠定了基础。
两种记忆类型
要理解为何RAG如此重要,不妨先区分两种记忆类型。参数记忆指的是存储在模型学习参数中的知识:包括训练过程中获得的模式、概念、语言能力以及事实。但它存在明显局限:
- 难以轻易更新。
- 内容可能已经过时。
- 罕见的事实容易被遗忘。
- 没有任何模型能够记住有史以来写过的所有文档。
RAG引入了非参数记忆:这类知识存储在模型外部,如文档、数据库或索引化的语料库中,模型在回答问题时会对这些资源进行检索。这样一来,模型就不必仅依赖数月前存储的信息,而是能在生成回复前按需获取相关内容。这个简单的理念彻底改变了人工智能系统处理不断变化的知识的方式。
语言模型出现之前的检索技术
信息检索的出现早于大型语言模型。搜索引擎长期以来一直面临类似的问题:在数以百万计的文档中,哪些文档与用户的查询最相关?早期的系统通过匹配词汇,并统计查询词在文档中出现的频率来进行判断。TF-IDF(词频-逆文档频率)通过给予重要词汇更高的权重、普通词汇更低的权重,对这一方法进行了改进。BM25后来成为排序领域的行业标准,它拥有更为精细的评分函数,能够同时考虑词频和文档长度,至今仍是许多实际搜索系统中的核心组成部分。
当文档中恰好出现精确的关键词时,这些方法表现良好。但当两段文字用不同的词汇表达相同含义时,这些方法就难以发挥作用,而这一缺陷也为语义检索的出现铺平了道路。
随着神经网络技术的进步,研究人员开始将文本表示为密集向量,即嵌入向量。嵌入向量是在高维空间中对单词、句子或文档的数值化表示,这个高维空间通常被称为嵌入空间或潜在空间。单独来看,每个数值意义不大,但它们共同构成了意义,因此含义相似的文本会彼此靠近,而无关的概念则相距较远。正因这种聚类特性,信息检索可以基于语义而非精确的关键词匹配来实现。
以一位询问如何提升神经网络性能的用户为例。通过嵌入技术,该查询仍能找到标题为“深度学习模型优化技术”的文档,尽管文中并未出现“神经网络”或“性能”这样的词汇。当查询和文档都被嵌入后,检索就变成了寻找与查询向量最接近的文档向量。这一理念正是2020年提出的密集段落检索(DPR)的基础。DPR在众多开放领域问答基准测试中证明了密集语义检索优于传统关键词检索,也因此成为实现RAG技术的关键组成部分之一。
从查找文档到回答问题
语义检索仅能完成任务的一半。人们需要的不是文档列表,而是答案,这就引出了开放领域问答。封闭领域系统从固定的知识库或数据集中获取答案,而开放领域问答系统则必须在回答之前搜索数百万份文档以找到有用信息。对于“谁获得了2024年诺贝尔物理学奖”这样的问题,系统会首先在海量资料中筛选出最相关的证据,然后再据此生成答案。
这便形成了一个两阶段的处理流程:
- 检索最相关的文档。
- 生成基于这些文档的答案。
这种“先检索再生成”的模式正是现代RAG技术的概念基础。2020年的论文《面向知识密集型自然语言处理任务的检索增强生成》通过将密集型检索器与序列生成模型整合到同一个端到端架构中,正式确立了这一模式。其核心思想很简单:不要让语言模型仅依靠自身内部参数来回答问题,应先获取最相关的外部文档,再以这些文档内容作为条件进行生成。检索并非取代语言模型,而是增强了它们的能力,提升了事实准确性,在知识密集型任务上取得了更好效果,而且只需更换文档集而无需重新训练模型,就能让知识保持更新。
RAG-Sequence与RAG-Token
该论文提出了两种检索策略。RAG-Sequence在生成开始前一次性获取固定数量的相关文档,这些文档在整个响应过程中保持不变。该方法计算效率高且实现简单,仍是目前大多数实际应用的RAG系统所采用的方式。
RAG-Token则更具动态性。模型在生成响应的不同部分时可以检索不同的文档,理论上这样就能在需要更多上下文时获取最新信息,从而给出更准确的答案。
想象一下撰写研究报告的场景。使用RAG-Sequence时,所有参考资料会在第一句话之前就被收集完毕。而使用RAG-Token时,作者在撰写报告过程中一旦遇到新问题,就必须暂停并去查找相关资料。第二种方法虽然更灵活,但需要更多的检索操作,消耗更多的计算资源,并会增加延迟。正因如此,大多数实际应用系统会选择更简单的RAG-Sequence设计,将精力集中在检索流程本身上,通过混合搜索、重排序、查询重写和元数据过滤等方式来提升效率。
原始设计的不足之处
尽管这种架构具有革命性,但一旦在实际环境中应用,就暴露出了诸多缺陷:
- 生成质量受检索质量的限制。
- 不合理的文本分割会降低检索精度。
- 上下文窗口限制了可输入的内容量。
- 密集检索有时会遗漏重要的精确匹配项。
- 检索在生成之前进行,这增加了延迟。
- 对结构化数据、表格数据及多模态数据的支持较为有限。
这些问题推动了多年的后续研究,过去五年更是彻底改变了RAG技术。语言模型的能力大幅提升,嵌入模型不断改进,向量数据库也日趋成熟。混合搜索结合了词汇检索与语义检索,而交叉编码器重排机制则进一步优化了文档选择。新型系统还加入了元数据过滤、查询重写、上下文压缩、自适应检索以及智能工作流等功能,研究人员还提出了GraphRAG、Self-RAG、Corrective RAG(CRAG)、RAPTOR以及多模态检索等新方法。这些改进弥补了早期流程中的诸多缺陷,但没有任何一种能替代其中最核心的“先检索”步骤。
如今的实用架构与2020年那种简单的流程大相径庭,但它们仍遵循着相同的根本原则:在生成答案之前先检索出相关知识。
思维方式的转变
最值得注意的一点是,RAG并非主要让语言模型变得更聪明,而是改变了人们使用它们的方式。人们不再期望模型记住日益增多的知识,而是将外部信息视为需要在时检索的内容。这种转变使得构建更准确、更可靠且能应对不断变化信息的系统成为可能。
了解RAG的起源不仅仅是为了学习历史,它还能解释为什么现代系统会是现在的样子,以及为什么某些架构决策在投入实际应用后如此重要。了解最初设计动机的团队能够判断哪些新技术真正解决了问题,哪些只是增加了复杂性。
相关阅读
- 从基础原理理解RAG:检索增强生成技术究竟如何运作 — 从基础原理出发介绍检索增强生成技术:其存在的意义、与微调技术的对比、发展历程、离线与在线处理流程以及常见故障模式。
- 实用指南:什么是检索增强生成(RAG)?实战案例 — 针对“实用指南:什么是检索增强生成(RAG)?实战案例”内容的详细操作指南:包括相关契约、验证方法,以及供采用该技术的团队直接使用的代码模板。