Головна / Статті

Як RAG дозволяє ШІ отримувати ваші приватні дані: фрагменти, вектори, запити

Зрозумійте процес генерації з підсиленням за допомогою пошуку від отримання даних до формування запиту, з невеликим прикладом на Node.js, трьома поширеними способами збою та таблицею порівняння RAG та фінтюнінгу.

Видавець: REACTAPP.TOP8 хв читання1766 слів

Джерела: RAG Explained: How Applications Give AI Access to Their Own Data

Моделі мови пишуть код, пояснюють складні теми та складають есе, проте вони зазнають труднощів із будь-якою приватною інформацією. Якщо запитати стандартну модель про внутрішню стратегію розвитку продукту, базу даних клієнтів чи вчорашні заявки на підтримку, вона або визнає свою некомпетентність, або, що гірше, створює переконливу брехню. Ця хибна впевненість називається галюцинацією.

Поширеною помилкою є думка, що навчання моделі приватних даних означає її доробку, тобто повторне навчання її ваг на спеціальних наборах даних. Для звичайного доступу до даних у продакшені доробок зазвичай є неправильним вибором – він коштує дорого, працює повільно та не гарантує усунення галюцинацій. У продакшен-додатках замість цього використовується технологія retrieval-augmented generation (RAG), яка надає зовнішні дані за запитом без необхідності повторного навчання. Якщо доробок – це тижні навчання студента, то RAG – це іспит із відкритою книгою, де потрібна сторінка вже перегорнута.

Три етапи в назві

  • Retrieval означає пошук у власній базі даних чи сховищі документів уривків, пов’язаних із запитанням.
  • Augmented означає вставку цих уривків безпосередньо в контекст запиту.
  • Generation означає надсилання розширеного запиту до LLM, який відповідає на основі знайдених фактів.

Без RAG процес є коротшим:

Without RAG:
[User Question] ──> [LLM] ──> [Answer based on generic training data]

За допомогою RAG пошуковий крок знаходиться посередині:

With RAG:
[User Question] ──> [Search Engine / Vector DB]
                          │
                          └──> [Relevant Documents]
                                     │
[User Question] + [Relevant Documents] ──> [LLM] ──> [Factual Answer]

Оскільки вихідний матеріал надсилається разом із запитом, моделі більше не потрібно згадувати факти зі своїх зафіксованих параметрів.

Чому команди обирають його

Під час додавання функцій ШІ до існуючих систем виникають три перешкоди:

  • Кінець періоду знань. Дані для навчання закінчуються у певну дату, тому модель не може знати, що сталося сьогодні вранці чи що повернула API дві секунди тому.
  • Приватність. Публічні моделі не можуть читати внутрішню вікі, робочий простір Notion чи базу даних MongoDB.
  • Підзвітність. Відповідь, створена на основі пам’яті, неможливо прив’язати до вихідного запису. За допомогою RAG ви точно знаєте, який фрагмент потрапив у запит, тому цитування є простим.

Поширеним хибним уявленням є те, що фінтунінг навчає модель новим фактам. Насправді він коригує тон, стиль чи формат вихідних даних. Для отримання фактичних знань існує RAG.

Два етапи

Система обробки даних має етап імпорту, який заздалегідь підготовлює файли, та етап запитів, який надає послуги користувачеві в реальному часі. Імпорт відбувається офлайн:

1. Ingestion Pipeline (Offline / Background):
[Raw Documents] ──> [Chunking] ──> [Embedding Model] ──> [Vector Database]

Шлях запиту виконується під час отримання запиту:

2. Query Pipeline (Runtime):
[User Question] ──> [Embedding Model] ──> [Vector Search in DB]
                                                  │
                                                  ▼
[User Question] + [Top Matching Chunks] ──> [LLM] ──> [Final Answer]

Чанкінг

300-сторінковий PDF не можна обробити за один запит. Великі документи розділяються на фрагменти, які називаються чанками, зазвичай на 200–800 слів. Чанк має бути достатньо малим, щоб охоплювати одну ідею, але достатньо великим, щоб зберігати свій контекст.

Ембеддинг

Комп’ютери не розуміють слів, і пошук за ключовими словами, наприклад SQL LIKE '%refund%', припиняє працювати, коли люди використовують синоніми. Тому кожен чанк проходить через модель ембеддингу, яка повертає список чисел з плаваючою комою — вектор із приблизно 1 536 елементів. Ці вектори розміщують значення у геометричному просторі. Фрази з схожим значенням, такі як „Як скасувати?“ та „Кроки для закриття облікового запису“, знаходяться близько одна до одної, тоді як несуміжні фрази, наприклад „Як спекти хліб з дріжджами“, — далеко одна від одної.

Вектори зберігаються поруч із оригінальним текстом у базі даних векторів, такій як Pinecone, Qdrant, Milvus або PostgreSQL із розширенням pgvector.

Отримання та формулювання запитів

Коли надходить запит, сервер інтегрує його за допомогою того самого моделювання. База даних вимірює кут між вектором запиту та кожним збереженим вектором (косинусова схожість) та повертає три–п’ять найближчих фрагментів. Потім додаток вставляє їх у системний запит та дає вказівку ШІ на відповідь, використовуючи лише ці матеріали.

Невеликий приклад роботи

Уявіть компанію з програмного забезпечення, яка хоче, щоб асистент відповідав на запитання щодо її внутрішньої політики повернення грошей. Файл імпорту починається з імпорту клієнта OpenAI:

// ingest.js
import { OpenAI } from "openai";

і створює клієнта:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

Справжній додаток завантажуватиме документи з Markdown або CMS, тоді як у цьому зразку кілька документів вказані як жорсткі коди:

// In a real application, you would load these from Markdown files or a CMS
const documents = [
  {
    id: "doc_1",
    text: "Enterprise customers can request a full refund within 30 days of contract signing. Contact enterprise-support@example.com."
  },
  {
    id: "doc_2",
    text: "Monthly self-serve subscriptions are non-refundable once the billing cycle begins. Users can cancel anytime to avoid future charges."
  },
  {
    id: "doc_3",
    text: "Custom engineering work and onboarding packages are strictly non-refundable once the kickoff meeting has taken place."
  }
];

Допоміжний інструмент перетворює текст на ембеддинг:

async function createEmbedding(text) {
  const response = await openai.embeddings.create({
    model: "text-embedding-3-small",
    input: text,
  });
  return response.data[0].embedding;
}

Інший створює базу знань, вбудовуючи кожен документ:

export async function buildKnowledgeBase() {
  const embeddedDocs = [];
  for (const doc of documents) {
    const vector = await createEmbedding(doc.text);
    embeddedDocs.push({ ...doc, vector });
  }
  return embeddedDocs;
}

У реальних умовах база даних векторів виконує обчислення відстані для мільйонів рядків протягом кількох мілісекунд. Для демонстрації косинусову схожість можна обчислити вручну:

// search.js
function cosineSimilarity(vecA, vecB) {
  let dotProduct = 0;
  let normA = 0;
  let normB = 0;
  for (let i = 0; i < vecA.length; i++) {
    dotProduct += vecA[i] * vecB[i];
    normA += vecA[i] * vecA[i];
    normB += vecB[i] * vecB[i];
  }
  return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
}

і вибрані найкращі результати пошуку:

export function findTopMatches(queryVector, knowledgeBase, topK = 2) {
  return knowledgeBase
    .map(doc => ({
      ...doc,
      score: cosineSimilarity(queryVector, doc.vector)
    }))
    .sort((a, b) => b.score - a.score)
    .slice(0, topK);
}

Далі один файл поєднує запит, результати пошуку та LLM, починаючи з імпортів:

// answer.js
import { OpenAI } from "openai";
import { createEmbedding, buildKnowledgeBase } from "./ingest.js";
import { findTopMatches } from "./search.js";

тоді клієнт знову:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

Основна функція спочатку вбудовує запит користувача:

async function askKnowledgeBase(userQuestion, knowledgeBase) {
  // 1. Convert user question into an embedding
  const questionVector = await createEmbedding(userQuestion);

потім отримує найвищі фрагменти:

  // 2. Retrieve top matching chunks
  const matches = findTopMatches(questionVector, knowledgeBase, 1);
  const contextText = matches.map(m => m.text).join("\n---\n");

потім створює розширений запит:

  // 3. Augment prompt with retrieved context
  const systemPrompt = `
You are a helpful customer service assistant.
Answer the user's question using ONLY the context provided below.
If the context does not contain the answer, say "I do not have enough information to answer that."

що закінчується вставленим контекстом:

Context:
${contextText}
`;

і нарешті генерує відповідь:

  // 4. Generate answer
  const completion = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      { role: "system", content: systemPrompt },
      { role: "user", content: userQuestion }
    ],
    temperature: 0.2, // Low temperature minimizes creative liberties
  });

Повернення тексту моделі:

  return completion.choices[0].message.content;
}

Приклад використання виглядає так, з запитанням щодо отримання грошей назад після ділової угоди:

// Example usage:
const knowledgeBase = await buildKnowledgeBase();
const answer = await askKnowledgeBase("I signed an enterprise deal 2 weeks ago, can I get my money back?", knowledgeBase);
console.log(answer);
// Output: Yes, enterprise customers can request a full refund within 30 days of contract signing. You can email enterprise-support@example.com to initiate the process.

Відповідь не була отримана з загальних ваг навчання моделі. Вона взяла точну відповідь із невеликого фрагмента, введеного під час виконання.

Три поширені помилки

Короткий скрипт створює враження, що RAG — це просто, але реальні системи зазнають невдач трьома постійними способами.

Розділення тексту на фіксовану довжину. Розрізання кожних 500 символів розщеплює слова, речення та таблиці. Якщо речення, що описує важливу умову, розділяється на два фрагменти, обидва втрачають свій сенс. Рішенням є розділення за природними межами, такими як абзаци, заголовки чи розділи Markdown, а також додавання перекриття, наприклад, фрагменти довжиною 500 токенів, які мають 50 спільних токенів.

Залежність лише від векторів. Пошук за векторами розуміє концепції, але погано справляється з точними рядками тексту. Пошук номера рахунку-фактури на кшталт INV-2026-09 може повернути рахунки-фактури, які лише схожі на нього. Рішенням є гібридний пошук: поєднати пошук за ключовими словами, такими як BM25, або пошук повного тексту з пошуком за векторами, та об’єднати оцінки за допомогою методу на кшталт Reciprocal Rank Fusion (RRF).

Надмірне наповнення запиту. Вікна контексту постійно збільшуються, але надсилання 50 фрагментів погіршує якість. Моделі найкраще запам’ятовують матеріал на самому початку чи в кінці запиту, а середня частина часто залишається непоміченою. Візьміть лише три-п’ять найбільш достовірних фрагментів. Якщо потрібно переглянути більше документів, спочатку використайте легкий інструмент для переоцінки, такий як Cohere Rerank, перед основною моделлю LLM.

RAG чи налаштування під конкретні завдання

<> Зберігання та звичайні виклики API
Вимір RAG Налаштування під конкретні завдання
Основна мета Надання фактичних, змінюваних даних Навчання певному стилю, діалекту чи суворій синтаксиці
Оновлення Миттєві, шляхом редагування записів у базі даних Повільні, потребують нових даних та повторного навчання
Ризик галюцинацій Низький, обмежений наданим контекстом Середній до високого
Цитування Вбудовані, оскільки відомий ID фрагмента Неможливі, факти зливаються з вагами
Витрати на підтримкуВисокі витрати на навчання та хостинг GPU

Коли дані змінюються щодня, щотижня чи щогодини, детальна налаштуваність є непрактичною, тому RAG — це архітектура, створена для динамічних знань.

Початок роботи

Складною частиною роботи з ШІ на основі великих мовних моделей є забезпечення фактичної достовірності, а не інтелекту моделі. Технологія RAG поєднує статичну базову модель із приватними, змінними даними, а поєднання ефективного шару пошуку з доповненими запитами перетворює непередбачуваний генератор тексту на систему, яка надає перевірені відповіді. Розумний початок: оберіть сховище векторів, розділіть документи на логічні частини та переконайтеся, що процес пошуку справді знаходить потрібний контекст, перш ніж звинувачувати ШІ у поганій відповіді.

Пов’язана література

  • GraphRAG чи звичайний RAG? Де графи допомагають, а де вони занадто дорогі — GraphRAG може перевершити стандартний RAG у багатоетапному міркуванні та створенні резюме, але поступається у простих пошуках та коштує дорожче. Дивіться показники тестування та короткий посібник щодо вибору кожного з варіантів.