Jak RAG umożliwia modelowi LLM dostęp do twoich prywatnych danych: kawałki danych, wektory, prompty
Zrozum generowanie wzbogacone pobieraniem danych od etapu ich przyjmowania po wyszukiwanie, przy użyciu prostego przykładu w Node.js, trzech powszechnych sposobów awarii oraz tabeli porównującej RAG z dopasowywaniem modeli.
Źródła: RAG Explained: How Applications Give AI Access to Their Own Data
Modele językowe piszą kod, wyjaśniają trudne tematy i opracowują esejów, ale zawodzą, gdy chodzi o informacje prywatne. Zadaj modelowi ogólnemu pytania dotyczące wewnętrznego planu rozwoju produktu, bazy danych klientów lub wczorajszych zgłoszeń obsługi – albo przyzna on brak wiedzy, albo, co gorsza, stworzy wiarygodną fałszywą informację. Ta fałszywa pewność siebie nazywana jest halucynacją.
Powszechnym założeniem jest, że nauczanie modelu danych prywatnych oznacza fine-tuning, czyli ponowne szkolenie jego wag na dostosowanych zestawach danych. W przypadku zwykłego dostępu do danych w środowisku produkcyjnym fine-tuning jest zazwyczaj niewłaściwym rozwiązaniem – jest kosztowny, wymaga długiego czasu na aktualizacje i nie zapobiega w sposób niezawodny halucynacjom. Zamiast tego aplikacje produkcyjne wykorzystują metodę generacji wzbogaconej o wyszukiwanie danych (RAG), która dostarcza dane z zewnątrz w momencie żądania bez konieczności ponownego szkolenia modelu. Jeśli fine-tuning to tygodnie nauki dla ucznia, to RAG to egzamin z otwartą książką, w którym właściwa strona jest już przewrócona.
Trzy słowa w nazwie
- Retrieval oznacza wyszukiwanie w własnej bazie danych lub magazynie dokumentów fragmentów związanych z pytaniem.
- Augmented oznacza wklejanie tych fragmentów bezpośrednio do kontekstu zapytania.
- Generation oznacza wysłanie rozszerzonego zapytania do LLM, które odpowiada na podstawie odnalezionych faktów.
Bez RAG proces jest prostszy:
Without RAG:
[User Question] ──> [LLM] ──> [Answer based on generic training data]
W przypadku RAG krok wyszukiwania znajduje się pośrodku:
With RAG:
[User Question] ──> [Search Engine / Vector DB]
│
└──> [Relevant Documents]
│
[User Question] + [Relevant Documents] ──> [LLM] ──> [Factual Answer]
Ponieważ materiał źródłowy jest przekazywany wraz z promptem, model nie musi już przywoływać faktów ze swoich zamrożonych parametrów.
Dlaczego zespoły go wybierają
Przy dodawaniu funkcji AI do istniejących systemów pojawiają się trzy przeszkody:
- Granica wiedzy. Dane treningowe kończą się w określonej dacie, więc model nie może wiedzieć, co wydarzyło się dziś rano ani co zwróciła API dwa sekundy temu.
- Prywatność. Modele publiczne nie mogą czytać wewnętrznej wiki, przestrzeni roboczej Notion ani bazy danych MongoDB.
- Możliwość audytu. Odpowiedź wygenerowana na podstawie pamięci nie może być powiązana z żadnym źródłowym rekordem. Dzięki RAG dokładnie wiadomo, który fragment trafił do promptu, więc cytowanie jest proste.
Częstym błędem jest przekonanie, że dopasowywanie modelu uczy go nowych faktów. W rzeczywistości dostosowuje ono ton, styl lub format wyjścia. Do odzyskiwania faktów służy właśnie RAG.
Dwie fazy
System produkcyjny składa się z fazy pobierania, która przygotowuje pliki z wyprzedzeniem, oraz fazy zapytań, która obsługuje użytkownika w czasie rzeczywistym. Faza pobierania przebiega offline:
1. Ingestion Pipeline (Offline / Background):
[Raw Documents] ──> [Chunking] ──> [Embedding Model] ──> [Vector Database]
Ścieżka zapytania jest wykonywana w momencie żądania:
2. Query Pipeline (Runtime):
[User Question] ──> [Embedding Model] ──> [Vector Search in DB]
│
▼
[User Question] + [Top Matching Chunks] ──> [LLM] ──> [Final Answer]
Podział na fragmenty
300-stronicowy plik PDF nie może zostać przetworzony za pomocą jednego zapytania. Duże dokumenty są dzielone na segmenty zwane fragmentami, zazwyczaj zawierające od 200 do 800 słów. Fragment powinien być na tyle mały, by koncentrować się na jednej koncepcji, a na tyle duży, by zachować swój kontekst.
Wbudowywanie
Komputery nie rozumieją słów, a dopasowywanie słów kluczowych, takie jak SQL LIKE '%refund%', zawodzi, gdy ludzie używają synonimów. Dlatego każdy fragment przechodzi przez model wbudowywania, który zwraca listę liczb zmiennoprzecinkowych, wektor składający się być może z 1 536 elementów. Te wektory umieszczają znaczenie w przestrzeni geometrycznej. Wyrażenia o podobnym znaczeniu, takie jak „Jak anulować?” i „Kroki do zamknięcia konta”, znajdują się blisko siebie, natomiast te niespowiązane, jak „Jak upiec chleb żytni”, są daleko od siebie.
Wektory są przechowywane obok oryginalnego tekstu w bazie danych wektorowej takiej jak Pinecone, Qdrant, Milvus lub PostgreSQL z rozszerzeniem pgvector.
Pobieranie i formułowanie zapytań
Gdy nadchodzi pytanie, serwer włącza je do modelu za pomocą tego samego modelu. Baza danych mierzy kąt pomiędzy wektorem pytania a każdym przechowywanym wektorem (podobieństwo kosinowe) i zwraca trzy do pięciu najbliższych fragmentów. Następnie aplikacja wstawia je do promptu systemowego i poleca modelowi LLM udzielenie odpowiedzi wykorzystując wyłącznie te dane.
Niewielki przykład działania
Załóżmy firmę oprogramowania, która chce mieć asystenta odpowiadającego na pytania dotyczące jej wewnętrznej polityki zwrotów. Plik do importu zaczyna się od importu klienta OpenAI:
// ingest.js
import { OpenAI } from "openai";
i tworzy klienta:
const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });
Prawdziwa aplikacja ładowałaby dokumenty z Markdown lub CMS, natomiast ten przykład zawiera kilka z nich jako stałe wartości:
// In a real application, you would load these from Markdown files or a CMS
const documents = [
{
id: "doc_1",
text: "Enterprise customers can request a full refund within 30 days of contract signing. Contact enterprise-support@example.com."
},
{
id: "doc_2",
text: "Monthly self-serve subscriptions are non-refundable once the billing cycle begins. Users can cancel anytime to avoid future charges."
},
{
id: "doc_3",
text: "Custom engineering work and onboarding packages are strictly non-refundable once the kickoff meeting has taken place."
}
];
Pomocnik przekształca tekst w embedding:
async function createEmbedding(text) {
const response = await openai.embeddings.create({
model: "text-embedding-3-small",
input: text,
});
return response.data[0].embedding;
}
Ktoś inny buduje bazę wiedzy, włączając każdy dokument:
export async function buildKnowledgeBase() {
const embeddedDocs = [];
for (const doc of documents) {
const vector = await createEmbedding(doc.text);
embeddedDocs.push({ ...doc, vector });
}
return embeddedDocs;
}
W środowisku produkcyjnym baza danych wektorowych oblicza odległości pomiędzy milionami wierszy w ułamku sekundy. Do celów demonstracyjnych podobieństwo kosinowe można obliczyć ręcznie:
// search.js
function cosineSimilarity(vecA, vecB) {
let dotProduct = 0;
let normA = 0;
let normB = 0;
for (let i = 0; i < vecA.length; i++) {
dotProduct += vecA[i] * vecB[i];
normA += vecA[i] * vecA[i];
normB += vecB[i] * vecB[i];
}
return dotProduct / (Math.sqrt(normA) * Math.sqrt(normB));
}
a wybrane najlepsze dopasowania:
export function findTopMatches(queryVector, knowledgeBase, topK = 2) {
return knowledgeBase
.map(doc => ({
...doc,
score: cosineSimilarity(queryVector, doc.vector)
}))
.sort((a, b) => b.score - a.score)
.slice(0, topK);
}
Następnie jeden plik łączy zapytanie, wyniki wyszukiwania oraz LLM, począwszy od importów:
// answer.js
import { OpenAI } from "openai";
import { createEmbedding, buildKnowledgeBase } from "./ingest.js";
import { findTopMatches } from "./search.js";
potem znowu klient:
const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });
Główna funkcja najpierw wstawia pytanie użytkownika:
async function askKnowledgeBase(userQuestion, knowledgeBase) {
// 1. Convert user question into an embedding
const questionVector = await createEmbedding(userQuestion);
następnie pobiera najważniejsze fragmenty:
// 2. Retrieve top matching chunks
const matches = findTopMatches(questionVector, knowledgeBase, 1);
const contextText = matches.map(m => m.text).join("\n---\n");
następnie tworzy rozszerzony prompt:
// 3. Augment prompt with retrieved context
const systemPrompt = `
You are a helpful customer service assistant.
Answer the user's question using ONLY the context provided below.
If the context does not contain the answer, say "I do not have enough information to answer that."
które kończy się wstrzykniętym kontekstem:
Context:
${contextText}
`;
i w końcu generuje odpowiedź:
// 4. Generate answer
const completion = await openai.chat.completions.create({
model: "gpt-4o-mini",
messages: [
{ role: "system", content: systemPrompt },
{ role: "user", content: userQuestion }
],
temperature: 0.2, // Low temperature minimizes creative liberties
});
zwrot tekstu modelu:
return completion.choices[0].message.content;
}
Przykład użycia wygląda tak, z pytaniem dotyczącym zwrotu pieniędzy po umowie biznesowej:
// Example usage:
const knowledgeBase = await buildKnowledgeBase();
const answer = await askKnowledgeBase("I signed an enterprise deal 2 weeks ago, can I get my money back?", knowledgeBase);
console.log(answer);
// Output: Yes, enterprise customers can request a full refund within 30 days of contract signing. You can email enterprise-support@example.com to initiate the process.
Odpowiedź nie pochodziła z ogólnych wag szkoleniowych modelu. Pobrano dokładną odpowiedź z krótkiego fragmentu wstrzykniętego w czasie wykonywania.
Trzy powszechne błędy
Krótki skrypt sprawia wrażenie, że RAG jest proste w użyciu, ale rzeczywiste systemy zawodzą na trzy powtarzające się sposoby.
Dzielenie tekstu na określoną długość. Dzielenie co 500 znaków rozdziela słowa, zdania i tabele. Jeśli zdanie opisujące ważną informację zostanie podzielone na dwa fragmenty, oba tracą swój sens. Rozwiązaniem jest dzielenie tekstu według naturalnych granic, takich jak akapity, nagłówki lub sekcje Markdown, oraz dodanie nakładania się fragmentów, na przykład fragmenty o długości 500 tokenów, które dzielą 50 tokenów.
Zaufanie wyłącznie do wektorów. Szukanie wektorowe rozumie pojęcia, ale słabo radzi sobie z dokładnymi ciągami znaków. Poszukiwanie numeru faktury typu INV-2026-09 może zwrócić faktury, które tylko wyglądają podobnie. Rozwiązaniem jest szukanie hybrydowe: połączenie wyszukiwania słów kluczowych, takiego jak BM25, lub pełnego tekstu z wyszukiwaniem wektorowym, oraz połączenie wyników za pomocą metody takiej jak Reciprocal Rank Fusion (RRF).
Nadmierna ilość informacji w promptzie. Okna kontekstowe stale się powiększają, ale wysyłanie 50 fragmentów obniża jakość. Modele najlepiej przypominają sobie materiał na samym początku lub na końcu promptu, a informacje z jego środka często giną. Pobierz tylko trzy do pięciu najbardziej wiarygodnych fragmentów. Jeśli konieczne jest przeanalizowanie większej liczby dokumentów, uruchom lżejszy narzędzie do ponownego rankowania, takie jak Cohere Rerank, przed głównym modelem LLM.
RAG czy dopasowanie szczegółowe
| Wymiar | RAG | Dopasowanie szczegółowe |
|---|---|---|
| Główny cel | Dostarczanie faktualnych, zmieniających się danych | Nauka określonego stylu, dialektu lub ścisłej składni |
| Aktualizacje | Błyskawiczne, poprzez edycję rekordów w bazie danych | Powolne, wymagają nowych danych i ponownego szkolenia |
| Ryzyko halucynacji | Niskie, ograniczone dostarczonym kontekstem | Średnie do wysokiego |
| Cytaty | Wbudowane, ponieważ znany jest identyfikator fragmentu | Niemogące się zrealizować, fakty łączą się z wagami |
| Koszt utrzymania | Przechowywanie i zwykłe wywołania API | |
| Wysokie koszty szkolenia i hostingu GPU |
Gdy dane zmieniają się codziennie, tygodniowo lub co godzinę, drobne dostosowywania są nieracjonalne, a RAG to architektura stworzona do dynamicznego zarządzania wiedzą.
Pierwsze kroki
Trudnym aspektem budowania z użyciem modeli językowych jest umocowanie w faktach, a nie inteligencja modelu. RAG łączy statyczny model bazowy z prywatnymi, zmieniającymi się danymi, a połączenie dobrego warstwy wyszukiwania z wzbogaconym promptem przekształca nieprzewidywalnego generatora tekstu w system, który dostarcza weryfikowalnych odpowiedzi. Rozsądny początek to: wybór magazynu wektorowego, podział dokumentów na sensowne fragmenty oraz sprawdzenie, czy wyszukiwanie rzeczywiście znajduje odpowiedni kontekst, zanim obwinimy model językowy za słabą odpowiedź.
Literatura pokrewna
- Wprowadzanie agentów do produkcji za pomocą Foundry Agent Service i Agent Framework — Jak agent do przygotowań sprzedażowych przechodzi od kodu lokalnego do zainstalowania w chmurze, z ograniczeniami tożsamościowymi, w środowisku izolowanym i monitorowanym, opublikowane w Microsoft 365 i oparte na danych biznesowych.
- GraphRAG czy zwykły RAG? Gdzie grafy są przydatne, a gdzie są zbyt drogie — GraphRAG może przewyższyć standardowy RAG pod względem wieloetapowego rozumowania i tworzenia streszczeń, ale ustępuje w prostych zapytaniach i jest droższy. Zobacz dane z testów porównawczych oraz krótki przewodnik dotyczący sytuacji, w których należy użyć każdego z nich.