Главная / Статьи

Как RAG позволяет большой языковой модели использовать ваши личные данные: фрагменты, векторы, промпты

Понимание процесса генерации с использованием усиления через поиск от загрузки данных до выполнения запроса, с простым примером на Node.js, тремя распространёнными способами сбоев и таблицей сравнения RAG и тонкой настройки.

Издатель: REACTAPP.TOP8 мин чтения1766 слов

Источники: RAG Explained: How Applications Give AI Access to Their Own Data

Модели языка пишут код, объясняют сложные темы и составляют эссе, однако они теряются, сталкиваясь с чем-либо конфиденциальным. Если спросить стандартную модель о внутренней стратегии развития продукта, базе данных клиентов или вчерашних заявках на поддержку, она либо признаёт своё незнание, либо, что ещё хуже, создаёт убедительную выдумку. Такая ложная уверенность называется галлюцинацией.

Распространённое заблуждение заключается в том, что обучение модели конфиденциальным данным означает финтюнинг — переобучение её весов на специальных наборах данных. Для простого доступа к данным в производственных условиях финтюнинг обычно является неправильным решением: он стоит дорого, обновляется медленно и не гарантирует предотвращения галлюцинаций. Вместо этого в производственных приложениях используется технология генерации с усилением на основе поиска (RAG), которая предоставляет внешние данные по запросу без необходимости переобучения. Если финтюнинг — это недели обучения студента, то RAG — это экзамен с открытой книгой, где нужная страница уже открыта.

Три элемента в названии

  • Retrieval означает поиск в собственной базе данных или хранилище документов фрагментов, связанных с вопросом.
  • Augmented означает вставку этих фрагментов непосредственно в контекст запроса.
  • Generation означает отправку расширенного запроса в LLM, который отвечает на основе найденных фактов.

Без технологии RAG процесс проще:

Without RAG:
[User Question] ──> [LLM] ──> [Answer based on generic training data]

При использовании RAG поиск выполняется на промежуточном этапе:

With RAG:
[User Question] ──> [Search Engine / Vector DB]
                          │
                          └──> [Relevant Documents]
                                     │
[User Question] + [Relevant Documents] ──> [LLM] ──> [Factual Answer]

Поскольку исходный материал передается вместе с запросом, модели больше не нужно вспоминать факты из своих зафиксированных параметров.

Почему команды выбирают его

При добавлении ИИ-функций в существующие системы возникают три препятствия:

  • Предел знаний. Данные для обучения заканчиваются в определённую дату, поэтому модель не может знать, что произошло сегодня утром или что вернула API две секунды назад.
  • Конфиденциальность. Общедоступные модели не могут читать внутренние вики, рабочие пространства Notion или базы данных MongoDB.
  • Возможность аудита. Ответ, сгенерированный на основе памяти, невозможно отследить до исходной записи. С помощью RAG вы точно знаете, какой фрагмент попал в запрос, поэтому цитирование становится простым.

Частым заблуждением является мнение, что тонкая настройка модели позволяет изучать новые факты. На самом деле она корректирует тон, стиль или формат вывода. Для извлечения фактических знаний именно предназначен RAG.

Два этапа

Система обработки данных включает этап загрузки, на котором файлы готовятся заранее, и этап запросов, обеспечивающий обслуживание пользователей в реальном времени. Этап загрузки выполняется офлайн:

1. Ingestion Pipeline (Offline / Background):
[Raw Documents] ──> [Chunking] ──> [Embedding Model] ──> [Vector Database]

Путь запроса обрабатывается в момент запроса:

2. Query Pipeline (Runtime):
[User Question] ──> [Embedding Model] ──> [Vector Search in DB]
                                                  │
                                                  ▼
[User Question] + [Top Matching Chunks] ──> [LLM] ──> [Final Answer]

Разбиение на части

300-страничный PDF невозможно обработать за один запрос. Большие документы делятся на фрагменты, называемые частями, обычно содержащими от 200 до 800 слов. Часть должна быть достаточно маленькой, чтобы охватывать одну идею, но достаточно большой, чтобы сохранять свой контекст.

Встраивание

Компьютеры не понимают слов, и поиск по ключевым словам, такой как SQL LIKE '%refund%', теряет эффективность при использовании синонимов. Поэтому каждая часть проходит через модель встраивания, которая возвращает список чисел с плавающей точкой — вектор из примерно 1 536 элементов. Эти векторы помещают смысл в геометрическое пространство. Фразы с похожим значением, такие как «Как отменить?» и «Шаги для закрытия аккаунта», находятся рядом друг с другом, в то время как не связанные между собой фразы, например «Как испечь хлеб из закваски», находятся далеко друг от друга.

Векторы хранятся рядом с исходным текстом в базе данных векторов, такой как Pinecone, Qdrant, Milvus или PostgreSQL с расширением pgvector.

Поиск и формулировка запросов

При поступлении вопроса сервер встраивает его с помощью той же модели. База данных измеряет угол между вектором вопроса и каждым сохраненным вектором (косинусное сходство) и возвращает от трех до пяти наиболее близких фрагментов. Затем приложение вставляет их в системный промпт и указывает ЯИИ ответить, используя исключительно этот материал.

Небольшой рабочий пример

Представьте компанию по разработке программного обеспечения, которая хочет, чтобы ассистент отвечал на вопросы, связанные с ее внутренней политикой возврата средств. Файл с данными начинается с импорта клиента OpenAI:

// ingest.js
import { OpenAI } from "openai";

и создаёт клиента:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

Настоящее приложение загружало бы документы из Markdown или CMS, а в этом примере несколько документов заданы в виде жестко закодированных значений:

// In a real application, you would load these from Markdown files or a CMS
const documents = [
  {
    id: "doc_1",
    text: "Enterprise customers can request a full refund within 30 days of contract signing. Contact enterprise-support@example.com."
  },
  {
    id: "doc_2",
    text: "Monthly self-serve subscriptions are non-refundable once the billing cycle begins. Users can cancel anytime to avoid future charges."
  },
  {
    id: "doc_3",
    text: "Custom engineering work and onboarding packages are strictly non-refundable once the kickoff meeting has taken place."
  }
];

Помощник преобразует текст в эмбеддинг:

async function createEmbedding(text) {
  const response = await openai.embeddings.create({
    model: "text-embedding-3-small",
    input: text,
  });
  return response.data[0].embedding;
}

Другой подход заключается в создании базы знаний путем включения каждого документа:

export async function buildKnowledgeBase() {
  const embeddedDocs = [];
  for (const doc of documents) {
    const vector = await createEmbedding(doc.text);
    embeddedDocs.push({ ...doc, vector });
  }
  return embeddedDocs;
}

В реальных условиях векторная база данных вычисляет расстояние между миллионами строк за доли секунды. Для демонстрации коэффициент косинусного сходства можно рассчитать вручную:

// search.js
function cosineSimilarity(vecA, vecB) {
  let dotProduct = 0;
  let normA = 0;
  let normB = 0;
  for (let i = 0; i < vecA.length; i++) {
    dotProduct += vecA[i] * vecB[i];
    normA += vecA[i] * vecA[i];
    normB += vecB[i] * vecB[i];
  }
  return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
}

и выбраны наиболее подходящие варианты:

export function findTopMatches(queryVector, knowledgeBase, topK = 2) {
  return knowledgeBase
    .map(doc => ({
      ...doc,
      score: cosineSimilarity(queryVector, doc.vector)
    }))
    .sort((a, b) => b.score - a.score)
    .slice(0, topK);
}

Далее один файл связывает запрос, результаты поиска и LLM, начиная с импортов:

// answer.js
import { OpenAI } from "openai";
import { createEmbedding, buildKnowledgeBase } from "./ingest.js";
import { findTopMatches } from "./search.js";

Затем снова клиент:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

Основная функция сначала вставляет вопрос пользователя:

async function askKnowledgeBase(userQuestion, knowledgeBase) {
  // 1. Convert user question into an embedding
  const questionVector = await createEmbedding(userQuestion);

затем извлекает основные фрагменты:

  // 2. Retrieve top matching chunks
  const matches = findTopMatches(questionVector, knowledgeBase, 1);
  const contextText = matches.map(m => m.text).join("\n---\n");

затем формирует дополненный промпт:

  // 3. Augment prompt with retrieved context
  const systemPrompt = `
You are a helpful customer service assistant.
Answer the user's question using ONLY the context provided below.
If the context does not contain the answer, say "I do not have enough information to answer that."

что заканчивается вставленным контекстом:

Context:
${contextText}
`;

и в конце генерирует ответ:

  // 4. Generate answer
  const completion = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      { role: "system", content: systemPrompt },
      { role: "user", content: userQuestion }
    ],
    temperature: 0.2, // Low temperature minimizes creative liberties
  });

Возвращаем текст модели:

  return completion.choices[0].message.content;
}

Пример использования: вопрос о возврате денег после сделки с предприятием:

// Example usage:
const knowledgeBase = await buildKnowledgeBase();
const answer = await askKnowledgeBase("I signed an enterprise deal 2 weeks ago, can I get my money back?", knowledgeBase);
console.log(answer);
// Output: Yes, enterprise customers can request a full refund within 30 days of contract signing. You can email enterprise-support@example.com to initiate the process.

Ответ был получен не из общих весов обучения модели. Модель извлекла точный ответ из небольшого фрагмента, введенного во время выполнения.

Три распространенных ошибки

Короткий скрипт создает впечатление простоты использования технологии RAG, но реальные системы допускают ошибки тремя типичными способами.

Разделение текста на фиксированные части. Разделение на участки по 500 символов приводит к разрыву слов, предложений и таблиц. Если предложение, содержащее важную информацию, распадается на два фрагмента, оба теряют свой смысл. Решением является разделение по естественным границам — абзацам, заголовкам или разделам в формате Markdown, а также добавление перекрытия между участками, например, использование фрагментов по 500 токенов, имеющих общие 50 токенов.

Опора исключительно на векторы. Поиск по векторам понимает концепции, но плохо справляется с точными строками. Поиск по номеру счета-фактуры вида INV-2026-09 может вернуть счета-фактуры, которые лишь внешне похожи. Решением является гибридный поиск: сочетание поиска по ключевым словам, такому как BM25, или поиска полного текста с поиском по векторам, а также объединение оценок с использованием метода вроде Reciprocal Rank Fusion (RRF).

Чрезмерное заполнение промпта. Окна контекста продолжают увеличиваться, но отправка 50 фрагментов снижает качество. Модели лучше всего вспоминают информацию, находящуюся в самом начале или в конце промпта, а информация из середины часто теряется. Выбирайте только три–пять наиболее достоверных фрагментов. Если необходимо изучить больше документов, используйте легкий инструмент переоценки, такой как Cohere Rerank, перед основной большой языковой моделью.

RAG или тонкая настройка

<语存储和常规的API调用
Аспект RAG Тонкая настройка
Основная цель Предоставление фактических, изменяющихся данных Обучение определенному стилю, диалекту или строгой синтаксису
Обновления Мгновенные, путем редактирования записей в базе данных Медленные, требуют новых данных и повторного обучения
Риск галлюцинаций Низкий, ограничен предоставленным контекстом Средний до высокого
Цитирование Встроено, поскольку известен ID фрагмента Невозможно, факты смешиваются с весами
Затраты на обслуживаниеВысокие затраты на обучение с использованием GPU и хостинг

Когда данные меняются ежедневно, еженедельно или ежечасно, финтунинг становится нецелесообразным, и именно архитектура RAG предназначена для работы с динамическими знаниями.

Начало работы

Самая сложная часть работы с большими языковыми моделями — это обеспечение фактической основы, а не интеллект модели. Технология RAG связывает статическую базовую модель с приватными, постоянно меняющимися данными, а сочетание качественного слоя поиска с дополненным запросом превращает непредсказуемый генератор текста в систему, способную давать проверяемые ответы. Разумный старт: выберите хранилище векторов, разделите документы на логические части и убедитесь, что механизм поиска действительно находит нужный контекст, прежде чем винить большую языковую модель в плохом ответе.

Связанные материалы

  • GraphRAG или обычный RAG? Где графы полезны, а где они слишком дороги — GraphRAG может превзойти стандартный RAG в задачах многоэтапного рассуждения и составления кратких изложений, но уступает в простых поисках и стоит дороже. Просмотрите цифры тестов и краткое руководство по выбору подхода в зависимости от ситуации.