30 pytań do rozmowy na temat RAG i baz danych wektorowych z zwięzłymi odpowiedziami

Te trzydzieści pytań pojawia się wielokrotnie podczas rozmów kwalifikacyjnych zespołów na stanowiska związane z generowaniem wzbogaconym o wyszukiwanie informacji oraz wyszukiwaniem wektorowym. Odpowiedzi są sformułowane w sposób, w jaki mógłby je podać silny kandydat: krótko, z określeniem kompromisu oraz nazwą metryki.

Podstawy

1. Czym jest RAG w jednym zdaniu?

To wzorzec, w którym system pobiera dowody z zewnętrznego źródła wiedzy w momencie zadawania pytania i umieszcza je przed modelem, zanim ten cokolwiek napisze. Zwykła ścieżka obejmuje przetwarzanie zapytania, wyszukiwanie, ponowne sortowanie i tworzenie kontekstu, a następnie generowanie treści oraz końcową weryfikację. Pozwala to organizacji korzystać z prywatnych, aktualnych i cytowalnych materiałów bez konieczności ponownego szkolenia modelu. Jednak wyszukiwanie nie gwarantuje prawdy, dlatego nadal konieczne jest sprawdzanie źródeł, cytowań, uprawnień oraz jakości odpowiedzi.

2. Kiedy RAG ma sens?

Wybierz tę metodę, gdy odpowiedzi zależą od dokumentów prywatnych, informacji często zmieniających się, dużych zbiorów danych, udokumentowanych dowodów lub zasad dostępu dostosowanych do poszczególnych użytkowników i najemców. Zazwyczaj nie jest ona potrzebna do streszczania tekstu, który użytkownik już wkleił, do dokładnych obliczeń, do zmiany stylu pisania ani do strukturyzowanych danych w czasie rzeczywistym, które API lub baza danych mogą bezpośrednio zwrócić.

3. W czym różnią się RAG, dopasowywanie modelu i promptowanie z długim kontekstem?

RAG dostarcza wiedzę w momencie wyciągania wniosków. Dopasowywanie modelu zmienia zachowanie nauczone przez model. Promptowanie z długim kontekstem umieszcza więcej tekstu źródłowego bezpośrednio w promptzie.

• Wybierz RAG, gdy wiedza się zmienia, jest prywatna lub wymaga cytowania.
• Wybierz dopasowywanie modelu, gdy chodzi o zachowanie, ton, format lub specjalistyczne zadanie.
• Wybierz promptowanie z długim kontekstem, gdy korpus danych jest wystarczająco duży, a zadanie wymaga porównania wszystkich jego elementów.

Wybierz narzędzia lub API do dostępu do aktualnych danych transakcyjnych.

Dobrze ze sobą współpracują: dostrojony model może pobierać dokumenty polisy za pomocą RAG oraz sprawdzać aktualne dane konta poprzez wywołanie API.

4. Czy baza danych wektorowych to to samo co system RAG?

Nie, to pojedynczy element składowy. Przechowuje embeddingi, odpowiada na zapytania o podobieństwo, filtrowa na podstawie metadanych i zajmuje się utrzymaniem indeksu. Funkcjonalny system produkcyjny wymaga o wiele więcej: analizy dokumentów, dzielenia ich na fragmenty, kontroli dostępu, hybrydowego wyszukiwania, ponownego sortowania, kompletowania promptów, generowania treści, cytowania, oceny, monitorowania oraz obsługi usuwania danych. Gdy system RAG zawodzi, przyczyną jest częściej niedbale przygotowane korpusy danych lub brak oceny, a nie wybór bazy danych.

5. W czym różnią się gęste, leksykalne i rzadkie metody wyszukiwania?

Metoda gęstej wyszukiwania porównuje embeddingi i dobrze radzi sobie z parafrazami oraz pojęciami, ale może przeoczyć dokładne identyfikatory. Wyszukiwanie leksykalne, takie jak BM25, ocenia terminy pod kątem częstotliwości i rzadkości, co sprawia, że doskonale sprawdza się przy nazwach, kodach produktów, komunikatach o błędach i żargonie. Rzadka wyszukiwanka neuronalna, np. SPLADE, uczy się ekspansji terminów, jednocześnie utrzymując odwrotny indeks. Silna baza wyjściowa do produkcji zazwyczaj łączy wyniki leksykalne i gęste.

6. Dlaczego zachować BM25 w zestawie narzędzi do wyszukiwania semantycznego?

Jest doskonały przy dokładnych słowach, rzadkich terminach, akronimach, kodach błędów, cytatach prawniczych oraz identyfikatorach produktów, które embeddingi mogą przedstawiać słabo. Jest również tani i przejrzysty. Ponieważ obie metody mają tendencję do awarii przy różnych zapytaniach, ich połączenie zwykle poprawia stopień odnalezienia.

7. Bi-encoder kontra cross-encoder?

Bi-encoder embeduje zapytanie oraz każdy dokument osobno, dzięki czemu wektory dokumentów mogą być obliczone z wyprzedzeniem i wyszukiwane wśród milionów rekordów. Cross-encoder czyta zapytanie i dokument razem, co pozwala na dokładniejsze ocenienie trafności, ale wymaga osobnego przetworzenia każdego kandydata. Standardowy projekt wykorzystuje bi-encodera dla szerokiego zakresu wyników oraz cross-encodera w celu ponownego sortowania wyników dla lepszej precyzji.

8. Kosinus, iloczyn skalarny czy odległość euklidesowa?

Kosinus porównuje kąt pomiędzy wektorami, iloczyn skalarny bierze pod uwagę zgodność kierunków i wielkość wektorów, natomiast odległość euklidesowa mierzy odległość w linii prostej. Gdy embeddingi są znormalizowane według metryki L2, kosinus i iloczyn skalarny dają identyczne wyniki sortowania. Należy kierować się celem treningowym modelu embeddingów oraz jego opisem, ponieważ nieodpowiednia metryka może znacząco pogorszyć efektywność wyszukiwania.

Wyszukiwanie wektorowe i odzyskiwanie informacji

9. Czym jest przybliżone wyszukiwanie najbliższych sąsiadów?

ANN znajduje wektory najbliższe zapytaniu bez konieczności porównywania ich ze wszystkimi przechowywanymi wektorami. Redukuje opóźnienia i koszty w dużych skali, ale może pominąć niektóre prawdziwe sąsiednie wektory, dlatego należy sprawdzić stopień odzyskiwania wyników w porównaniu z wyszukiwaniem dokładnym. Kluczowym kompromisem jest szybkość i koszt wobec możliwej straty dokładności wyników.

10. Jak porównują się metody Flat, HNSW, IVF oraz kwantyzacja?

• Flat: porównuje wszystko i zapewnia dokładne wyniki, ale jest kosztowny w dużych skali.
• HNSW: korzysta z grafu do nawigacji w celu uzyskania wysokiego stopnia odzyskiwania wyników i niskich opóźnień, ale wymaga dodatkowej pamięci.
• IVF: grupuje wektory w podziale według środków masowych i przeszukuje tylko niektóre z nich; zwiększenie wartości nprobe poprawia stopień odzyskiwania wyników, ale zwiększa opóźnienia.
• Kwantyzacja iloczynowa lub skalarna: kompresuje wektory w celu zaoszczędzenia pamięci i przestrzeni przechowywania, ale powoduje spadek dokładności.

Wybierz według wielkości korpusu, filtrów, pamięci, wzorca aktualizacji, równoczesności oraz poziomu dokładności, jakiego potrzebujesz.

11. Co to jest wyszukiwanie hybrydowe i dlaczego je używać?

Łączy ono wyniki gęste z wynikami leksykalnymi lub rzadkimi. Zgodności semantyczne pochodzą z bazy embeddingów, a dokładne terminy z haseł kluczowych; listy te są łączone za pomocą fuzji rankingu wzajemnego, ważonych ocen lub fuzji ocen znormalizowanych. Największe korzyści przynosi to w przypadku danych korporacyjnych, które łączą pojęcia w języku potocznym z numerami spraw, kodami polityk, identyfikatorami części oraz komunikatami o błędach.

12. Co to jest fuzja rankingu wzajemnego?

RRF łączy uszeregowane listy na podstawie pozycji, a nie surowych ocen. Każdy dokument otrzymuje dla każdej listy wartość 1 podzieloną przez (k plus jego pozycja w rankingu), a wszystkie te wartości są sumowane. Ponieważ oceny gęste i leksykalne odnoszą się do różnych skali, ich bezpośrednie dodawanie jest niewiarygodne. RRF unika konieczności kalibracji i nagradza dokumenty, które uzyskały wysokie ranki w kilku narzędziach wyszukiwania.

13. Dlaczego ponownie uszeregowywać?

Narzędzia wyszukiwania pierwszego etapu optymalizują się pod kątem szybkości i dokładności, dlatego ich listy kandydatów zawierają słabe dopasowania. Narzędzie do ponownego uszeregowywania stosuje dokładniejszy model do ograniczonej liczby dokumentów i wysuwa najlepsze przykłady na czoło, co poprawia precyzję kontekstową i pozwala uniknąć dodawania nieistotnego tekstu. Należy dostosować liczbę kandydatów w zależności od wskaźnika Recall@k, czasu reakcji narzędzia do ponownego uszeregowywania, kosztów oraz wydajności przy kluczowych typach zapytań.

14. Co robi maksymalna marginalna istotność?

MMR balansuje między istotnością a redundancją przy wyborze fragmentów: mniej więcej jest to wynik oceny istotności ważonyj lambda minus dopełnienie wartości lambda pomnożonej przez podobieństwo do już wybranych fragmentów. Bez tego system może zwrócić kilka niemal identycznych fragmentów z jednej sekcji. Poprawia to pokrycie, gdy wyniki są powtarzalne, ale zbyt duża różnorodność skutkuje mniejszą liczbą istotnych fragmentów.

15. Dlaczego filtry metadanych mogą pogorszyć jakość ANN?

Jeśli najpierw przeprowadzana jest wyszukiwanie za pomocą ANN, a filtry stosowane są później, wiele najlepszych kandydatów może zostać odrzuconych ze względu na przynależność do niewłaściwego użytkownika, produktu, przedziału dat lub wersji dokumentu, co skutkuje mniejszą liczbą wyników niż prośbione. Rozwiązania obejmują zintegrowane lub uprzednio przefiltrowane wyszukiwanie, indeksy metadanych, nadmierne próbkowanie kandydatów, podział na grupy według użytkowników, wyszukiwanie iteracyjne oraz wyszukiwanie dokładne w przypadku bardzo selektywnych filtrów. Filtry autoryzacyjne muszą być realizowane jako zaufane ograniczenia wyszukiwania, a nie jako zwykłe instrukcje.

Przygotowanie danych

16. Jak wybiera się strategię dzielenia na fragmenty?

Decyduj poprzez eksperymenty, kierując się strukturą dokumentu oraz sposobem, w jaki ludzie wyszukują informacje. Małe fragmenty zapewniają dokładne dopasowanie, ale tracą kontekst, natomiast duże fragmenty zachowują kontekst, jednak osłabiają reprezentacje danych, zwiększają koszty i ukrywają dowody. Menu obejmuje metody dzielenia na fragmenty oparte na stałych tokenach, rekurencyjne, uwzględniające strukturę, semantyczne, oparte na oknie zdaniowym oraz rodzicielsko-dziecięce. Porównaj je dla różnych typów dokumentów pod kątem dokładności wyszukiwania, tego, czy granice dzielą pomysły na pół, stopnia duplikacji, wielkości kontekstu oraz jakości ostatecznych odpowiedzi.

17. Czym jest wyszukiwanie rodzicielsko-dziecięce?

Małe fragmenty typu „dziecko” są indeksowane w celu dokładnego dopasowania, ale model otrzymuje większą sekcję rodzicielską. Jeśli jeden akapit z dokumentu polityki odpowiada kryteriom, system zwraca otaczającą go sekcję wraz z jej definicjami, wyjątkami i warunkami. Dzięki temu osiąga się równowagę pomiędzy dokładnością a kompletnością, pod warunkiem, że rozszerzenie nie przekroczy limitu, aby nie przepełnić okna kontekstowego.

18. Co to jest pobieranie kontekstowe i późne dzielenie na fragmenty?

Pobieranie kontekstowe wzbogaca każdy fragment o specyficzny dla dokumentu kontekst, takiego jak tytuł, ścieżka sekcji lub krótkie wyjaśnienie, przed jego umieszczeniem w strukturze. Późne dzielenie na fragmenty najpierw koduje dłuższy odcinek dokumentu, a następnie łączy reprezentacje tokenów w embeddy fragmentów, dzięki czemu lokalne fragmenty zachowują informacje z szerszego tekstu. Oba podejścia pomagają w przypadku niejednoznacznych fragmentów, ale zwiększają złożoność przetwarzania, dlatego należy je sprawdzić w porównaniu z prostszymi rozwiązaniami bazowymi.

19. Co zawiera solidny pipeline przetwarzania danych?

1. Zbieraj dokumenty oraz rejestruj informacje o ich właścicielu, klasyfikacji, uprawnieniach dostępu i okresie przechowywania.
2. Analizuj tekst, nagłówki, tabele, strony oraz układ.
3. Usuń szumy pochodzące z OCR oraz powtarzające się elementy standardowe.
4. Wyciągaj fragmenty uwzględniające strukturę dokumentu.
5. Dodaj metadane, informacje o pochodzeniu oraz powiązania rodzic-dziecko.
6. Generowanie gęstych embeddingów oraz rzadkich reprezentacji.
7. Operacje insert/upsert z deterministycznymi identyfikatorami.
8. Weryfikacja liczb, checksumów, uprawnień dostępu, operacji usuwania oraz mechanizmów sprawdzania poprawności odzyskiwania danych.
9. Wersjonowanie parsera, narzędzia do dzielenia na fragmenty, modelu embeddingów oraz procesu generowania indeksu.

Musi on również obsługiwać aktualizacje, ponowną obróbkę danych, cofanie zmian oraz weryfikowane usuwanie.

20. Jak należy radzić sobie z trudnymi plikami PDF i tabelami?

Analizuj pliki PDF powstałe w formie cyfrowej za pomocą narzędzia rozumiejącego układ strony, aby nagłówki, kolumny, kolejność czytania, opisy, tabele oraz numery stron pozostawały ze sobą powiązane. Skany wymagają OCR z wartościami pewności, a czasami również ram określających obszar lub obrazów stron. Zachowaj nagłówki każdej tabeli, jednostki miary, identyfikator, współrzędne strony oraz komórek. W przypadku pytań numerycznych odzyskaj strukturę tabeli i oblicz wynik w sposób deterministyczny. Poprawa parsera często przynosi większe korzyści niż zamiana modelu embeddingów.

Zaawansowane wzorce

21. Czym są przepisywanie zapytań, pobieranie danych z wielu zapytań i HyDE?

Przepisywanie zamienia niejasne lub potoczne pytanie na takie, które nadaje się do wyszukiwania. Metoda wielu zapytań generuje kilka wariantów i łączy wyniki w celu poprawy dokładności. HyDE tworzy hipotetyczną odpowiedź i włącza ją, aby zamknąć lukę pomiędzy pytaniem a dowodami. Wszystkie te metody powodują opóźnienia, wzrost kosztów, duplikację oraz powstawanie dodatkowych założeń, dlatego oryginalne zapytanie powinno zazwyczaj pozostać w użyciu.

22. W czym różnią się Self-RAG, CRAG, RAPTOR i GraphRAG?

• Self-RAG: model decyduje, czy pobrać dane, i analizuje to, co otrzymał.
• CRAG: ocenia jakość pobranych danych i wywołuje korekty, takie jak przepisywanie zapytania lub zmiana źródeł.
• RAPTOR: grupuje fragmenty informacji w hierarchię streszczeń, dzięki czemu pobieranie danych może odbywać się na różnych poziomach szczegółowości.

GraphRAG: wydobywa entity oraz ich relacje w postaci grafu, przeznaczony do pytań, które obejmują kilka dokumentów lub całe korpus.

Należy je stosować tylko wtedy, gdy ocena wykazuje konkretny brak skuteczności standardowych metod. GraphRAG jest uzasadniony, gdy pytania o charakterze relacyjnym lub dotyczące całego korpusu nie mogą zostać odpowiednio rozwiązane za pomocą hybrydowego wyszukiwania w połączeniu z dekompozycją zapytania.

23. Czym jest agentic RAG?

Model wybiera spośród zdefiniowanego zestawu narzędzi do wyszukiwania informacji i rozumowania: wyszukiwanie w dokumentach, odczytywanie konkretnego pliku, SQL, API lub graf wiedzy. Wersja produkcyjna wymaga narzędzi o określonym typie i uprawnieniach, limitów dotyczących wyszukiwania i tokenów, ograniczeń liczby kroków, zasad zatrzymywania się i odrzucania zapytań, autoryzacji przy każdej granicy narzędzia, pełnych rejestrów działań, testów możliwych do powtórzenia oraz zatwierdzenia przez człowieka w przypadku decyzji o znaczących konsekwencjach. Ocena musi ocenić zarówno ostateczną odpowiedź, jak i ścieżkę wyboru narzędzi.

Ocena i diagnostyka

24. Która miara jest najważniejsza?

Candidate Recall@k: udział zapytań, których wymagane dowody znajdują się w uzyskanej grupie, obliczany jako liczba istotnych elementów znajdujących się w pierwszych k elementach podzielona przez wszystkie istotne elementy. Jeśli dowód jest brakujący, ani system ponownego rankowania, ani generator nie mogą go odzyskać. Następnie ocenia się ranking za pomocą MRR lub nDCG, a potem precyzję kontekstową, poprawność, wierność, jakość cytatu, opóźnienie i koszt.

25. MRR kontra nDCG?

Średnia odwrotna pozycja wynosi 1 dla pozycji pierwszego istotnego wyniku, więc nadaje się do przypadków, gdy wystarczy jeden dobry fragment. nDCG ocenia cały ranking i umożliwia ocenę stopnia istotności, co pasuje do sytuacji, gdy kilka fragmentów ma różną użyteczność. Używaj MRR do oceny wydajności przy pierwszym trafieniu, a nDCG, gdy ważny jest porządek między kilkoma wynikami.

26. Jak ocenia się jakość odpowiedzi?

Oceniaj funkcję wyszukiwania i generowania oddzielnie. W przypadku wyszukiwania śledź wskaźniki Recall@k, Precision@k, MRR lub nDCG, a także sprawdzaj poprawność i aktualność wersji. W przypadku generowania sprawdzaj poprawność, wierność dostarczonym dowodom, kompletność, obecność odnośników, odpowiednie odrzucenie nieodpowiednich propozycji oraz zgodność z zasadami. Dodaj informacje o opóźnieniach end-to-end, kosztach, akceptacji użytkowników oraz wynikach w przypadku zadań o wysokim ryzyku.

27. Co to jest testowanie w kontekście orakula?

Pomijaj etap wyszukiwania i dostarczaj generatorowi dobrze znane, poprawne dowody. Jeśli generator dobrze odpowiada na podstawie tych dowodów, ale zawodzi w całym procesie, sprawdź etapy wyszukiwania, filtrowania, ponownego sortowania lub budowania kontekstu. Jeśli nadal zawodzi, sprawdź treść zapytania, proces rozumowania, proces generowania lub weryfikację. To jeden z najszybszych sposobów na odróżnienie błędów w funkcji wyszukiwania od błędów generatora.

28. Jak zdiagnozować wysoką wierność przy niskiej poprawności?

„Wierne” oznacza, że odpowiedź odpowiada podanemu kontekstowi, natomiast „nieprawidłowe” oznacza, że kontekst był niekompletny, nieistotny, przestarzały lub niewystarczający. Porównaj kolejno: dowody w formie złota wobec wybranych kandydatów, kandydatów wobec ponownie uporządkowanych wyników, ponownie uporządkowanych wyników wobec końcowego kontekstu, końcową generację wobec wyniku uzyskanego przy użyciu kontekstu orakula, a na koniec wersje źródłowe, filtry oraz sprzeczne dokumenty. Typowymi przyczynami są niska skuteczność odzyskiwania informacji, słaba klasyfikacja, przestarzałe dowody, brak wyjątków, agresywne kompresowanie kontekstu lub błędna odpowiedź referencyjna.

Bezpieczne uruchamianie w dużych skali

29. Jak zapewnić bezpieczeństwo systemowi RAG wielu użytkowników?

Ustalaj tożsamość najemców i użytkowników na podstawie zaufanych metod uwierzytelniania, a nigdy na podstawie wprowadzanych danych. Przydatne środki kontroli to filtry ACL wprowadzane przez system przechowywania danych, indeksy lub partycje skierowane do konkretnych najemców, pamięci cache świadome zasad ACL, role usługowe z minimalnymi uprawnieniami, szyfrowanie i logi audytowe, testy izolacji między najemcami, wykrywanie prób wstrzykiwania danych, listy dopuszczalnych źródeł z kontrolami pochodzenia oraz weryfikowana procedura usuwania na całym etapie. Traktuj pobrany treść jako niewiarygodną, ponieważ dokumenty mogą zawierać szkodliwe instrukcje.

30. Jak zaprojektowałbyś platformę na dużą skalę?

Najpierw określ objętość dokumentów, częstotliwość zapytań, liczbę najemców, częstotliwość aktualizacji, standardy SLA dotyczące usuwania, opóźnienia, potrzeby cytowania, cele bezpieczeństwa i jakości. Następnie podziel projekt na poszczególne elementy:

• Przyjmowanie danych: łączniki, analiza, dzielenie na fragmenty, wzbogacanie, włączanie danych, tworzenie indeksów, synchronizacja i usuwanie.
• Zapytanie: autoryzacja, routowanie, hybrydowe wyszukiwanie, filtrowanie ACL, fuzja, ponowna klasyfikacja, budowa kontekstu, generowanie, weryfikacja oraz odrzucenie.
• Ocena: ztagowane zbiory danych, eksperymenty offline, testy regresji, przegląd przez ludzi oraz mechanizmy wypuszczania produktów.
• Obserwowalność: ślady każdego żądania, to, co zostało znalezione, które wersje modeli i indeksów je obsłużyły, a także wskaźniki opóźnienia, użycia tokenów, kosztów, świeżości, jakości i bezpieczeństwa.
• Kontrola: integracja użytkowników, konfiguracja, kwoty, wersje produktów, wybór modeli oraz polityki.

Aby zapewnić odporność, należy dodać deterministyczne ID, indeksy w wersjach za aliasami, migracje umożliwiające działanie dwóch indeksów równocześnie, mechanizmy ochronne przed awariami, ograniczone obciążenia, cache, wersje testowe typu canary, funkcje cofania zmian oraz wyraźne cele SLO. Użycie GraphRAG lub mechanizmów agencyjnych do wyszukiwania danych powinno być odłożone do momentu, gdy zmierzone problemy staną się uzasadnieniem dla ich zastosowania.