从原型到生产级RAG:混合搜索、智能体与评估机制。
.NET环境中生产级RAG的参考架构:分块处理、混合检索与图检索、重排序、查询规划、类型化输出以及持续评估。
经过五步操作后,许多RAG原型似乎就已经完成:加载文档、计算嵌入向量、保存向量、获取若干文本片段、向模型发送提示词。仅此而已便足以证明该概念的可行性。问题往往出现在后续阶段——当语料库规模扩大、查询结果不再可预测、某个答案需要参考多个来源,或者有人要求提供数据来证明检索效果正在提升时。通过.NET和Blazor应用程序展示的这一参考架构涵盖了实际生产环境中的额外需求。它从数据导入与分块开始,接着是结合关键词、向量及图结构信号的检索过程、重新排序、负责规划查询的智能体、结构化输出,以及持续不断的评估机制。
第一张图表将原型与生产环境所需的检索、排序、信息关联及评估阶段进行了对比。
向模型提供数据的三种方式
模型会依据其训练数据以及你在查询时提供的信息来给出回答。内部报告、合同、支持工单、政策文件和项目文档只有在该应用能够找到相关内容并将其纳入模型上下文时才有用。在数据量尚不足以填满单次提示词的范围时这很简单,此时通常有三种处理方法。
最简单的方法是使用上下文窗口:提取文件中的文本,将其粘贴到提示词中然后提出查询。这种方法适用于内容量较小且任务持续时间较短的场景,但一旦需要反复传输相同的大量内容,或者应用必须搜索大量文档,就会变得效率低下。
第二种方法是项目或会话检索。应用会保留一小部分可用数据以供重复的语义查询,这种方式适合与某个项目、工作区或当前会话绑定的助手使用。
第三种是检索增强生成,简称RAG。该应用会提前构建索引,之后每个问题只需检索相关段落,而无需将整个语料库传递给模型。微软对RAG的概述也是这样描述的:当有查询出现时,检索层会提供相关数据,模型因此无需重新训练。
接下来的图表从范围、生命周期以及每种方法能处理的可检索数据量等方面对这三种技术进行了比较。
检索实际上涉及的内容
大多数相关技术都隐藏在“检索”这个词背后。当用户知道确切的术语时,词汇搜索最为有效:产品代码、客户姓名和政策编号等都能通过关键词匹配得到良好结果。而向量搜索则用于满足不同的需求,即找出用不同词语表达相同含义的段落。其原理很简单:嵌入模型将文本转换为数值向量,查询语句也会经过同一个模型处理,随后搜索层会返回最接近的向量。
如何将内容转换为向量则是更难决定的问题。整个长文档的单一嵌入往往过于粗糙,无法实现精确检索。实际应用中,处理流程会将文档拆分成更小、独立的片段,同时让这些片段之间有一定重叠,以避免因拼接处丢失上下文,并保留源文档的元数据,以便追溯每个被检索出的片段来源。
因此,数据摄取是一个流程,而非单一的 API 调用。每个文件都会被解析、标准化、分割、嵌入并建立索引,根据设计不同,这一流程还可能提取元数据、字段、实体及关联关系。
下图展示了从源文件到文本提取、分块、嵌入、元数据提取以及可搜索索引的整个过程。
提前做好一个选择会带来后续好处:保留足够的元数据,以便每个答案都能标明其来源。一个成熟的 RAG 系统应能让用户跟随任意陈述追溯到对应的文档及相关内容。
混合检索策略
向量搜索虽然有用,但对不同查询的适用效果并不一致。当表述方式发生变化时,语义相似度能起到辅助作用。对于名称、日期、代码、缩写以及行业术语而言,精确的关键词匹配依然具有价值。当答案取决于实体之间的关联而非段落之间的相似度时,图检索能提供另一种判断依据。因此,检索工作最好被视为多种策略的结合,而非单一的搜索操作。
关键词搜索提升了词汇层面的精确度,而向量搜索则增强了语义层面的召回能力。混合搜索会将多种排序方法结合使用,并合并它们的结果列表。Azure AI Search采用互反排名融合(RRF)技术来实现结果合并,整合并行搜索的排序输出。图检索则更进一步:系统利用提取出的实体与关系在内容之间建立关联,从而帮助处理那些答案分散在多份文档中的查询。
之后,语义重排序器可以依据查询对候选结果重新评分,将最合适的结果置于顶部。这一阶段非常重要,因为仅合并排序后的列表并无法判断哪个结果是最佳答案。
下图展示了关键词搜索、向量搜索和图检索如何通过RRF技术进行合并以及重新排序,之后才将选定的内容片段传递给模型。
查询规划
固定流程假设一次搜索就足够了,但这与许多实际问题相悖。试想用户会询问旧政策与新政策有何不同,以及这对承包商意味着什么。实际上这需要完成多项任务:找到两份文档,从两份文档中提取相关内容,权衡各种证据,最后撰写综合报告。
智能检索将这种规划环节纳入检索工作流程中。智能体首先分析请求,将其拆分为具体的子查询,利用对话历史作为上下文,同时进行多轮搜索,对结果重新排序,再将所有证据整合成一份有依据的回复。其架构上的区别在于,检索不再是一次行为始终如一的简单查找,而是由应用决定需要多少次搜索以及在生成回复之前必须收集哪些证据。
下图展示了该规划流程:将一个复杂问题拆解为多个并行检索任务,再将各任务获取的证据整合为带引用依据的答案。
评估
即便检索效果不佳,RAG系统仍能生成较为完善的答案,因此仅靠偶尔的手动抽查无法作为唯一的质量控制手段。通过三个独立的问题有助于进行有效评估:
- 检索质量:搜索结果是否包含与查询相关的信息片段?
- 依据充分性:这些信息片段是否能够支撑生成的答案?
- 相关性:最终答案是否回应了原始问题?
这些方法可以区分不同类型的故障。检索效果差的问题无法仅通过重写答案来解决,有依据的答案仍可能偏离要点,而相关答案也可能包含无依据的陈述。Microsoft Foundry提供了用于评估这些RAG系统质量维度的工具。
下图展示了这三种指标如何衡量RAG响应中的不同故障点。
在生产环境中,评估会持续进行:系统会收集各项评分,一旦分数低于预期阈值就会触发警报。这样一来,质量检查就不再是一次性测试,而是成为应用可观测性的一部分。
整合各组成部分
由于职责划分明确,该系统更易于理解。其中存在三种处理流程:
- 离线流程:通过解析来源文本、将其分块并嵌入向量、添加元数据或实体关系,最后将所有内容写入检索索引
- 在线流程:处理请求时,规划器决定搜索内容,检索系统会运用相应的策略,对候选结果进行合并与重新排序,最终将选定的证据传递给模型
微软的RAG解决方案设计与评估指南将这些内容划分为不同的设计问题,这是一种便于组织开发的思路。
接下来是涵盖离线数据摄取、在线检索与生成以及持续评估的端到端流程。
这种划分也解释了为何实际部署的工作量会超出原型所显示的范围。系统中需要处理文档解析、索引构建、向量和词汇搜索、图结构关联、排序、模型调用、引用管理、评估以及用户界面等功能。虽然托管服务或平台可以提供其中部分功能,但各项职责依然存在,只是由其他团队负责。
以财务报表为实例的演示
要在应用程序中运用该架构,财务报表是很好的素材。它们包含篇幅较长的文档、精确的数字以及反复出现的术语,一旦出现错误数字会立刻显现出来。
该应用程序共有四层结构。Blazor Server前端使用Telerik UI for Blazor来实现聊天、图表、网格及布局功能;它调用Nuclia .NET SDK进行数据检索,而RAG服务则负责数据的导入、混合检索与图检索、重新排序以及评估工作。
这四层结构在图中分别表示为:Blazor Server、Telerik UI、Nuclia SDK以及RAG服务。
这些财务相关的PDF文件经过处理后,其可搜索内容与结构化字段便可以被提取出来。这样一来,数据就经过了双重验证:一方面可通过自然语言查询进行常规检索,另一方面则为用于用户界面的数据提供结构化输出。当查询财年净销售额时,系统会返回数值并附上数据来源。对于财务类问题而言,引用信息与问题句子本身一样重要,因为它能直接指引用户找到相关文件。
该应用依赖于SDK的AskAsync流程,其便利之处在于响应内容不仅可以只是文本。在发送请求时还会附带一个名为ChartAugmentedAnswer的C#类型对象。SDK会将其转换为JSON格式,检索模块在回复时会依据该格式进行处理,最终返回的JSON数据会被反序列化为对应的C#类型对象。
该图展示了从 C# 类型到模式、再获取证据、最后对图表数据进行类型标注的路径。
这样就去掉了一个脆弱的环节——无需再解析文本来推断哪些数据应出现在图表中。文本与结构化值会以同一个对象的形式返回,图表组件可直接与之绑定。
选择合适的层级
规模较小、生命周期短暂的源数据可仅通过上下文窗口处理。而对于包含直接事实查询的较大数据集,则以传统的 RAG 作为基础方案:良好的分块处理、向量搜索与关键词搜索、引用功能以及评估机制。对于多部分构成的对话式查询或依赖源数据之间关联的查询,则需要通过查询规划与智能检索来解决。当查询涉及实体关系时,图检索能发挥作用,但它会增加复杂性,因此仅凭可用性并不足以成为采用它的理由。
托管平台也是如此。它们减少了团队需要维护的检索相关组件,而自行构建服务则能让团队对索引、编排、排序和集成拥有更多控制权。究竟该选择哪种方式,取决于团队希望掌控的层面。
有一件事刻不容缓:评估。一旦用户开始依赖这些答案,就必须有一种可重复的方法来确保检索和生成功能仍能按预期运行。
一个原型证明了检索功能是可行的。但实际应用中需要证明更复杂的情况:即便数据、问题及用户都在变化,正确的证据仍能持续出现。只要明确分工,这一点就能实现。应当建立规范的数据接入流程,保留引用信息与源文件元数据;在单一信号不足以满足需求时结合多种检索方法;在生成结果前重新排序;当一个问题需要多次搜索时提前规划查询方案;同时监控检索的质量、准确性与相关性,这样变化就能通过数据体现,而非仅凭直觉判断。合理的开发顺序是:先从能够解决当前问题的最简单检索模式开始,只有当应用显示出对更高层次功能的需要时再逐步添加。这样得到的结果才更易于解释、测试和优化。
相关阅读
- 不要调试大语言模型,而要调试整个处理流程:RAG系统故障的实战思维模型 —— 当RAG机器人给出错误答案时,模型很少是问题所在。需通过数据摄取、检索、生成、评估及智能代理循环等环节来定位故障所在。
- 实战笔记:RAG中向量搜索的局限性——余弦相似度及其应用 —— 详细介绍了《实战笔记:RAG中向量搜索的局限性——余弦相似度及其应用》的内容,包括相关契约、检查项以及可供采用该模式的团队直接使用的代码片段。