首页 / 文章

RAG如何让大语言模型使用您的私有数据:分块、向量与提示词

通过一个简单的 Node.js 示例、三种常见的故障模式以及 RAG 与微调的对比表格,全面了解从数据获取到查询的检索增强生成流程。

发布者:REACTAPP.TOP阅读约 8 分钟1766 词

来源: RAG Explained: How Applications Give AI Access to Their Own Data

语言模型能够编写代码、解释复杂主题并撰写文章,但一旦涉及隐私内容就会陷入困境。若向通用模型询问内部产品路线图、客户数据库或昨天的支持工单,它要么承认不知情,要么更糟糕的是编造出看似可信的谎言。这种虚假的自信被称为幻觉。

人们普遍认为,要让模型处理隐私数据就需要进行微调,即在自定义数据集上重新训练其权重。但对于生产环境中的普通数据访问而言,微调通常并非合适的选择——它成本高昂、更新缓慢,且无法有效杜绝幻觉现象。生产应用通常采用检索增强生成技术(RAG),该技术可在需要时直接调用外部数据而无需重新训练。如果说微调相当于学生需要数周时间学习,那么RAG则如同有正确页面已翻开的开卷考试。

名称中的三个词

  • 检索指的是在自身的数据库或文档存储中查找与问题相关的段落。
  • 增强指的是将那些段落直接粘贴到提示词上下文中。
  • 生成指的是将经过增强的提示词发送给大语言模型,由其根据检索到的信息进行回答。

如果没有RAG,流程会更为简单:

Without RAG:
[User Question] ──> [LLM] ──> [Answer based on generic training data]

在RAG中,搜索步骤位于中间:

With RAG:
[User Question] ──> [Search Engine / Vector DB]
                          │
                          └──> [Relevant Documents]
                                     │
[User Question] + [Relevant Documents] ──> [LLM] ──> [Factual Answer]

由于原始资料会随提示一起传递,模型无需再从冻结的参数中调取事实。

为何团队选择它

在现有系统中添加人工智能功能时会遇到三个障碍:

  • 知识截止时间。训练数据仅涵盖特定日期之前的内容,因此模型无法知晓今天早上的情况或两秒前API返回的信息。
  • 隐私问题。公共模型无法读取内部维基、Notion工作区或MongoDB数据库中的内容。
  • 可审计性。基于记忆生成的答案无法追溯到原始记录。而使用RAG则可以明确知道哪些内容被纳入了提示,从而便于引用。

一个常见的误解是认为微调能够教授新事实。实际上微调只是调整语气、风格或输出格式,而事实知识检索才是RAG的功能所在。

两个阶段

生产系统包含一个预处理阶段,用于提前准备文件,以及一个查询阶段,用于实时为用户提供服务。预处理阶段在离线状态下运行:

1. Ingestion Pipeline (Offline / Background):
[Raw Documents] ──> [Chunking] ──> [Embedding Model] ──> [Vector Database]

查询路径在请求时执行:

2. Query Pipeline (Runtime):
[User Question] ──> [Embedding Model] ──> [Vector Search in DB]
                                                  │
                                                  ▼
[User Question] + [Top Matching Chunks] ──> [LLM] ──> [Final Answer]

分块

300页的PDF文件无法通过单次查询处理完毕。大型文档会被分割成若干称为“块”的片段,通常每段包含200到800个单词。一个块的大小应足以围绕一个主题展开,同时又足够大以保留其上下文信息。

嵌入

计算机无法理解文字含义,而像SQL中的LIKE '%refund%'这样的关键词匹配方式在人们使用同义词时就会失效。因此,每个块都会经过嵌入模型处理,该模型会输出一组浮点数,即一个可能包含1,536个元素的向量。这些向量将语义映射到几何空间中,含义相似的短语,如“如何取消?”与“终止账户的步骤”,会出现在彼此靠近的位置,而无关的短语如“如何制作酸面团面包”则会位于较远的位置。

这些向量会存储在 Pinecone、Qdrant、Milvus 或带有 pgvector 扩展的 PostgreSQL 等向量数据库中,与原始文本并存。

检索与提示

当有问题出现时,服务器会使用相同的模型对问题进行嵌入处理。数据库会计算问题向量与每个存储向量之间的角度(余弦相似度),并返回最接近的三个到五个向量片段。随后应用程序会将这些片段插入系统提示中,指示大语言模型仅使用这些内容来回答问题。

一个简小的实际示例

假设有一家软件公司希望借助助手来回答其内部退款政策相关的问题。导入文件以 OpenAI 客户端导入语句开头:

// ingest.js
import { OpenAI } from "openai";

并创建客户端:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

真正的应用程序会从 Markdown 或 CMS 加载文档,而这个示例则直接硬编码了几个文档:

// In a real application, you would load these from Markdown files or a CMS
const documents = [
  {
    id: "doc_1",
    text: "Enterprise customers can request a full refund within 30 days of contract signing. Contact enterprise-support@example.com."
  },
  {
    id: "doc_2",
    text: "Monthly self-serve subscriptions are non-refundable once the billing cycle begins. Users can cancel anytime to avoid future charges."
  },
  {
    id: "doc_3",
    text: "Custom engineering work and onboarding packages are strictly non-refundable once the kickoff meeting has taken place."
  }
];

辅助工具可将文本转换为嵌入向量:

async function createEmbedding(text) {
  const response = await openai.embeddings.create({
    model: "text-embedding-3-small",
    input: text,
  });
  return response.data[0].embedding;
}

另一种方法是通过嵌入每份文档来构建知识库:

export async function buildKnowledgeBase() {
  const embeddedDocs = [];
  for (const doc of documents) {
    const vector = await createEmbedding(doc.text);
    embeddedDocs.push({ ...doc, vector });
  }
  return embeddedDocs;
}

在实际应用中,向量数据库能够在毫秒级时间内完成对数百万条记录的距离计算。而在演示中,余弦相似度则可以手动计算:

// search.js
function cosineSimilarity(vecA, vecB) {
  let dotProduct = 0;
  let normA = 0;
  let normB = 0;
  for (let i = 0; i < vecA.length; i++) {
    dotProduct += vecA[i] * vecB[i];
    normA += vecA[i] * vecA[i];
    normB += vecB[i] * vecB[i];
  }
  return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
}

选出的最佳匹配项:

export function findTopMatches(queryVector, knowledgeBase, topK = 2) {
  return knowledgeBase
    .map(doc => ({
      ...doc,
      score: cosineSimilarity(queryVector, doc.vector)
    }))
    .sort((a, b) => b.score - a.score)
    .slice(0, topK);
}

接下来,有一个文件将查询、搜索结果以及大语言模型连接在一起,首先是从导入部分开始的:

// answer.js
import { OpenAI } from "openai";
import { createEmbedding, buildKnowledgeBase } from "./ingest.js";
import { findTopMatches } from "./search.js";

然后客户端再次发送:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

主要功能首先嵌入用户的问题:

async function askKnowledgeBase(userQuestion, knowledgeBase) {
  // 1. Convert user question into an embedding
  const questionVector = await createEmbedding(userQuestion);

然后获取最顶层的块:

  // 2. Retrieve top matching chunks
  const matches = findTopMatches(questionVector, knowledgeBase, 1);
  const contextText = matches.map(m => m.text).join("\n---\n");

然后构建一个增强型提示词:

  // 3. Augment prompt with retrieved context
  const systemPrompt = `
You are a helpful customer service assistant.
Answer the user's question using ONLY the context provided below.
If the context does not contain the answer, say "I do not have enough information to answer that."

最终以注入的上下文结束:

Context:
${contextText}
`;

最终生成答案:

  // 4. Generate answer
  const completion = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      { role: "system", content: systemPrompt },
      { role: "user", content: userQuestion }
    ],
    temperature: 0.2, // Low temperature minimizes creative liberties
  });

返回模型的文本:

  return completion.choices[0].message.content;
}

使用示例如下,涉及企业交易后退款的问题:

// Example usage:
const knowledgeBase = await buildKnowledgeBase();
const answer = await askKnowledgeBase("I signed an enterprise deal 2 weeks ago, can I get my money back?", knowledgeBase);
console.log(answer);
// Output: Yes, enterprise customers can request a full refund within 30 days of contract signing. You can email enterprise-support@example.com to initiate the process.

该回复并非来自模型的一般训练权重,而是从运行时注入的短代码片段中获取的精确答案。

三种常见错误

简短的脚本让RAG看起来很简单,但实际系统往往会因三种重复出现的问题而失效。

按固定长度分割文本。每500个字符切割一次会导致单词、句子和表格被拆分。如果描述关键信息的句子被分成两段,两段都会失去原有含义。解决办法是按照段落、标题或Markdown章节等自然分隔符进行分块,并设置一定的重叠部分,例如500个标记的块之间共享50个标记。

仅依赖向量搜索。向量搜索能够理解概念,但对精确字符串的处理能力较差。搜索如INV-2026-09这样的发票编号时,可能会返回仅外观相似的发票。解决办法是采用混合搜索:将BM25之类的关键词搜索或全文搜索与向量搜索结合,并使用互反排名融合(RRF)等方法对结果得分进行整合。

过度填充提示词。上下文窗口规模持续扩大,但发送50个片段会降低搜索质量。模型最擅长回忆提示词开头或结尾的内容,而中间部分往往容易被忽略。只需提取最可靠的前三到五个片段即可。如果需要查看更多文档,可在主大型语言模型之前运行Cohere Rerank这类轻量级重排模型。

RAG还是微调

维度 RAG 微调
主要目标 提供真实且会变化的数据 教授特定的风格、方言或严格的语法规范
更新速度 即时,通过编辑数据库记录即可完成 较慢,需要新的数据并重新进行训练
幻觉风险 较低,受所提供上下文限制 中等至较高
引用功能 内置,因为可知道数据块标识 无法实现,事实信息会融入权重中
维护成本 存储费用及常规API调用成本 高昂的GPU训练及托管成本

当数据每天、每周或每小时都在变化时,微调已不切实际,而RAG正是为处理动态知识而设计的架构。

入门指南

使用大语言模型进行构建时,最困难的部分在于事实依据的确立,而非模型的智能水平。RAG技术将静态的基础模型与私有的、会变化的数据相连接,再通过将优秀的检索层与增强型提示词相结合,就能把不可预测的文本生成器转变为能够提供可验证答案的系统。一个合理的起点是:先选择合适的向量存储库,将文档拆分成合理的片段,并在指责大语言模型给出糟糕答案之前,确认检索功能确实找到了正确的上下文。

相关阅读

  • GraphRAG还是普通RAG?图形技术何时有用,何时又过于昂贵 — GraphRAG在多步骤推理和总结方面优于传统RAG,但在简单查询方面表现较差且成本更高。文中提供了基准测试数据以及关于何时使用每种技术的简要指南。