Галоўная / Артыкулы

Як RAG дае LLM вашы прыватныя даны: фрагменты, вектары, запросы

З’ясавайце, як функціонуе генераванне з падчыненнем на адказы, ад момента прыема дадзейнаў да выканання запыткаў, за дапамогою простаг прыклада на Node.js, трох прычын частых абыектаў і табелі, якая параганяе RAG і настройкі модэля.

Выдавец: REACTAPP.TOP8 хв чытання1766 слоў

Крыніцы: RAG Explained: How Applications Give AI Access to Their Own Data

Мадэлі мовы пішчыць код, адказваюць на складныя пытанні і складаюць эсэі, але не можу працаваць з прыватнымі дадзеннямі. Калі запытаць стандартную мадэль пра внутрэні план развіцця продукту, базу дадзеных кліентаў чы скаргі кліяў з учора, яна або з’явіць сваю некантэкстуальнасць, або, што горш, створыць правдопадобную брэхню. Такая фальшывая абыцякласць называецца галюцынацыяй.

Паўзучая думка заключаецца у тым, што навучэнне мадэлі прыватным дадзенням значыць ўточнэнне ўстановак, тое ўсуненне ў яе вагі на спецыяльных наборах дадзеных. Для простага доступу да дадзеных у працэсе вырабоцтва ўточнэнне ўстановак зазвычай ёсць неправільным выборам. Ён коштае многа, абнаўленні вядуцца медленна і не можа надзеязліва запобегчы галюцынацыям. У прыкладных програмах заместа гэтага вікорыстоўваецца метод генеравання з дапамогай пошуку дадзеных (RAG), які падае званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя званыя зв

Тры якорныя словы ў назве

  • Retrieval означае пошук у вашай сабе базе дадзеных або сховішчы дакументаў паўтак, якія стосуюцца запітання.
  • Augmented означае прыклеўкі тых паўтакаў адразу ў кантэкст запіту.
  • Generation означае адправку расшырэнага запіту да LLM, якая дае адпаведзь на аднойшыя факты.

Без RAG працэс ўскораны:

Without RAG:
[User Question] ──> [LLM] ──> [Answer based on generic training data]

У RAG шаг пошуку знаходзіцца ў серэдзіне:

With RAG:
[User Question] ──> [Search Engine / Vector DB]
                          │
                          └──> [Relevant Documents]
                                     │
[User Question] + [Relevant Documents] ──> [LLM] ──> [Factual Answer]

Пакалькі, што выхадны матэрыял прадаецца разам з запітам, модэлю больш не трэба прыгадваць факты з яго зафіксаваных параметраў.

Чаму команды выбіраюць яго

Пры дадаванні функцый ШЫ да існуючых сістэм выступаюць тры пераканстанні:

  • Канец кантэксту знанняў. Даныя для навчання заканчваюцца на пэўную дату, таму модэль не можа ведаць, што адбылося сьвечара або што вернула API два секунды тымчасов.
  • Прыватнасць. Публічныя модэлі не можу чытаць внутрашнюі вікі, працоўны простор Notion чы базу дадзеных MongoDB.
  • Магчымасць аўдыту. Адказ, створаны на адной з памяці, не можа быць прыязначаны да конкрэтнага выхаднага дакумента. З RAG вы точна ведаеце, які фрагмент прадаўся ў запіт, таму цітаты ўтвараюцца лёгка.

Частыя хыбныя уявленні — гэта тое, што фін-налашчэнне навучае новым фактам. На самай працы яно налаштоввае тон, стыль чы фармат выхадных даных. Адзыскванне фактычных знанняў — гэта тое, для чаго і існуе RAG.

Два этапы

Сістэма адміністрування мае этап практычнага запісу, які загадзя падготавлівае файлы, і этап запітаў, які аддае ўсё неабходнае корыстніку у рэальны час. Этап практычнага запісу працюе паавтономна:

1. Ingestion Pipeline (Offline / Background):
[Raw Documents] ──> [Chunking] ──> [Embedding Model] ──> [Vector Database]

Шлях запіту выконваецца пад час запытку:

2. Query Pipeline (Runtime):
[User Question] ──> [Embedding Model] ──> [Vector Search in DB]
                                                  │
                                                  ▼
[User Question] + [Top Matching Chunks] ──> [LLM] ──> [Final Answer]

Разбіўка на часткі

300-сторанковы PDF не можна апрацуе за аднай запіту. Большыя документы дзеляцца на часткі, якія называюцца чанкамі, зазвычай на 200–800 слоў. Кожная чанка павінна быць достатньяя маленькая, каб адпрацоўваць адну ідэю, але достатньяя вялікая, каб зберагчы свой кантэкст.

Вбудовванне

Камп’ютары не розумеюць слоў, і падбіранне ключоўых слоў, такое як SQL LIKE '%refund%', перастае працаваць, калі людзі вжываюць сінонімы. Таму кожная чанка проходзіць праз мадэль вбудоввання, якая вяртае спіс чысоў з плаваючай каляскай — вектар з прыблізна 1 536 элементамі. Што дапамагае размістыць значэння ў геаметрычным прасторэ. Фразы з аднаковым значэннем, такія як «Як анулюваць?» і «Крокі для закрыцця аблікватуры», знаходзяцца блізка адзін да другога, а несупаўзнаныя, такія як «Як запекць хлеб з закваскай», — далека адзін ад другога.

Вектары зберагаюцца па боку адноразовага тэксту ў базе дадзеных вектараў, такіх як Pinecone, Qdrant, Milvus або PostgreSQL з расшырэннем pgvector.

Адзысканне і стварэнне запыткаў

Калі прыходзіць запыт, сервер уключае яго за дапамогою таго ж модэлю. База дадзеных вылічае куточак межаў запытовага вектара і кожнага ззябранага вектара (косінусава схожасць) і вяртае тры-пяць найбліжэйшых фрагментаў. Прыкладнае програма пасля чаго вставляе іх у сістэмны запыт і прабуджае LLM да адпаведзення, выкорыстоўваючы толькі гэты матэрыял.

Маленькі прыклад работы

Уявіце сабе компанію з програмнага забезпечэння, якая хочаць, каб асістэнт адпавядаў на запыткі, адносныя да ўсероўнічанай політыкі вярнення грошаў. Файл з дадзенымі дакументамі пачынаецца імпортам кліента OpenAI:

// ingest.js
import { OpenAI } from "openai";

і стварае кліента:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

Рэальныя прыклады дапраўляюць дакументы з Markdown або CMS, а ў гэтым прыкладзе калькуюцца калькамі калякі дакументы:

// In a real application, you would load these from Markdown files or a CMS
const documents = [
  {
    id: "doc_1",
    text: "Enterprise customers can request a full refund within 30 days of contract signing. Contact enterprise-support@example.com."
  },
  {
    id: "doc_2",
    text: "Monthly self-serve subscriptions are non-refundable once the billing cycle begins. Users can cancel anytime to avoid future charges."
  },
  {
    id: "doc_3",
    text: "Custom engineering work and onboarding packages are strictly non-refundable once the kickoff meeting has taken place."
  }
];

Памочны програма ператвараець тэкст у эмбедынг:

async function createEmbedding(text) {
  const response = await openai.embeddings.create({
    model: "text-embedding-3-small",
    input: text,
  });
  return response.data[0].embedding;
}

Іншы стварае базу знання, уключаючы кожны документ:

export async function buildKnowledgeBase() {
  const embeddedDocs = [];
  for (const doc of documents) {
    const vector = await createEmbedding(doc.text);
    embeddedDocs.push({ ...doc, vector });
  }
  return embeddedDocs;
}

У працэйнай супэрвізіі база дадзэнайў вектараў выконвае вычысленні аб’ектаў аддаленасці для мільйонав рэядоў за каліксекунды. Для дэманстрацыі косінусава сэмабільнасць можа быць вычысленая вручную:

// search.js
function cosineSimilarity(vecA, vecB) {
  let dotProduct = 0;
  let normA = 0;
  let normB = 0;
  for (let i = 0; i < vecA.length; i++) {
    dotProduct += vecA[i] * vecB[i];
    normA += vecA[i] * vecA[i];
    normB += vecB[i] * vecB[i];
  }
  return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
}

і выбраны найлепшыя падходы:

export function findTopMatches(queryVector, knowledgeBase, topK = 2) {
  return knowledgeBase
    .map(doc => ({
      ...doc,
      score: cosineSimilarity(queryVector, doc.vector)
    }))
    .sort((a, b) => b.score - a.score)
    .slice(0, topK);
}

Далей адзін файл спаюе запіт, рэзультаты пошуку і LLM, пачынаючы з імпорта:

// answer.js
import { OpenAI } from "openai";
import { createEmbedding, buildKnowledgeBase } from "./ingest.js";
import { findTopMatches } from "./search.js";

Потым зноў кліент:

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

Галоўная функцыя спачатку уключае запіт корыстніка:

async function askKnowledgeBase(userQuestion, knowledgeBase) {
  // 1. Convert user question into an embedding
  const questionVector = await createEmbedding(userQuestion);

потым адаптуюць самыя важлівыя часткі:

  // 2. Retrieve top matching chunks
  const matches = findTopMatches(questionVector, knowledgeBase, 1);
  const contextText = matches.map(m => m.text).join("\n---\n");

потым ствараець расшырэны прапан:

  // 3. Augment prompt with retrieved context
  const systemPrompt = `
You are a helpful customer service assistant.
Answer the user's question using ONLY the context provided below.
If the context does not contain the answer, say "I do not have enough information to answer that."

які заканчываюцца дадзеным кантэкстам:

Context:
${contextText}
`;

і нарэшце ствараець адказ:

  // 4. Generate answer
  const completion = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      { role: "system", content: systemPrompt },
      { role: "user", content: userQuestion }
    ],
    temperature: 0.2, // Low temperature minimizes creative liberties
  });

Вернуць тэкст модэлі:

  return completion.choices[0].message.content;
}

Аплікацыя выглядае так, з пытаннем пра падзячынку грошаў пасля дзейнаўскага супакоўвання:

// Example usage:
const knowledgeBase = await buildKnowledgeBase();
const answer = await askKnowledgeBase("I signed an enterprise deal 2 weeks ago, can I get my money back?", knowledgeBase);
console.log(answer);
// Output: Yes, enterprise customers can request a full refund within 30 days of contract signing. You can email enterprise-support@example.com to initiate the process.

Адказ не быў атрыманы з загальных вагаў навчання модэлі. Точны адказ быў запрашаны з маленькага фрагмента, які быў даданы пад час выканання.

Тры распашчастыя памылкі

Короткі скрыпт стварае вражанне, што RAG — гэта простае рашэння, але рэальныя сістэмы выконваюцься некорэктна трохма частаў.

Раздзелэнне тэксту на фіксаваныя часткі. Разрэзанне кожных 500 сімвалаў прыводзіць да розлучэння слоў, рэчэй і табліцаў. Калі рэчь, якая выказвае важны стан, раздзеляецца на два фрагмента, кожны з іх тырчыць свой сэнс. Рашэннем ёсць раздзелэнне па прыродных межах, такіх як параграфы, загаловкі або секцыі Markdown, а таксама дадаць перакрыцце, напрыклад, фрагментаў па 500 токенаў, якія будуць дзеліць 50 токенаў.

Апоўнай залежнасць ад вектараў. Пошук на адзеце вектараў розумеяць концэпцыі, але паслаба справляецца з точнымі строкамі. Пошук за номерам квітанціі на кшталт INV-2026-09 можа вернуць квітанціі, які толькі выглядаюць сэродніма. Рашэннем являецца гібрыдны пошук: сумаваць пошук за ключоўымі словамі, такімі як BM25, або пошук па цэлым тэксту з пошукам на адзеце вектараў, і з’едынаць рэйтынгі за дапамогою метода на кшталт Reciprocal Rank Fusion (RRF).

Перадача занадта большай колькасці інфармацыі. Акна кантэксту продовжвае растаць, але адправка 50 частак паслабляе якасць. Мадэлі найлепа запам’ячаюць матэрыял на самым пачатку або канцы прыказа, а сэрэдзіна часта трапляецца забутай. Адзначыце толькі тры-пяць найболей надзеяных частак. Калі трэба пераглядзець больш дакументаў, запрацаваце лёгкі рэранкер, такі як Cohere Rerank, прычымо да главнага LLM.

RAG або настройка

<>Зберожча і звычныя вызовы API
Вымір RAG Настройка
Галоўная мета Падача фактычных, змінных дадзеных Навучэнне пэўнаму стылю, дыялекту або строгай сынтаксі
Абнаўленні Мгновенна, праз рэдагаванне запісаў базы дадзеных Памедзліва, трэбуюць новых дадзеных і паўторнага навучэння
Рызык галюцінацый Нізкі, обмежаны паданым кантэкстам Серэднія да высокіх
Цітаты Вбудованыя, так як вядомы ID чака Немагчымыя, факты зліваюцца з вагамі
Косты адтрыманняВысокія косты навучэння на GPU і хоставання

Калі дадзеныя зміняюцца ў дзень, ў тыдзень або ў гадзіну, тонкая наладка ёсць непрактычной, і RAG — гэта архітэктура, створаная для дынамічных знанняў.

Пачатак работы

Складнай часткай практыкі стварэння працэй з LLM-амі ёсць фактычная адказальна база, а не інтэлігэнція самага модэлю. RAG спаўнае статычны базовы модэль з прыватнымі, зміннымі дадзеннямі, а сумешчанне хорашага шару адшукання з дапаможным запітам ператварае непрадбачальны генератор тэксту ў сістэму, якая дае пераканальныя адказы. Розумны пачатак: выберыце хранілнік вектараў, раздзеліце дакументы на логічныя часткі і пераканайцеся, што адшуканне справды знаходзіць правы кантэкст, перш чым звычайваць LLM за паслабны адказ.

Спадневаная літэратура

  • GraphRAG чы простае RAG? Дзе дапамагаюць графы, а дзе яны занадта дорогі — GraphRAG можа перамагаць стандартнае RAG у багатыядэрным аналізе і стварэнні апূরкненняў, але прасцягаецца пад час простых пошукоў і коштае больш. Пазірце цыфры тэстаў і кароткія вядомасці пра тое, калі варыта выкарыстоўваць кожнае з іх.