30 Interviewfragen zu RAG und Vektordatenbanken mit prägnanten Antworten

Diese dreißig Fragen tauchen immer wieder auf, wenn Teams für Positionen im Bereich retrieval-augmented generation und Vektorsuche vorsprechen. Die Antworten sind so formuliert, wie sie ein starker Kandidat geben würde: kurz, mit Angabe des Kompromisses und des verwendeten Messmaßes.

Die Grundlagen

1. Was ist RAG in einem Satz?

Es handelt sich um ein Verfahren, bei dem das System zum Zeitpunkt der Frage Beweismittel aus einer externen Wissensquelle abruft und diese dem Modell vorlegen lässt, bevor dieses etwas erstellt. Der übliche Ablauf umfasst die Abfrageverarbeitung, die Informationsabrufung, die Neubewertung sowie den Aufbau des Kontexts, gefolgt von der Erstellung des Ergebnisses und einer abschließenden Überprüfung. Dadurch kann eine Organisation private, aktuelle und zitierfähige Materialien nutzen, ohne ein Modell neu trainieren zu müssen. Die Informationsabrufung garantiert jedoch keine Wahrheit, weshalb Grundlagen, Zitate, Genehmigungen sowie die Qualität der Antworten weiterhin überprüft werden müssen.

2. Wann macht RAG Sinn?

Wählen Sie diese Methode, wenn Antworten von privaten Dokumenten, häufig wechselnden Informationen, umfangreichen Sammlungen, nachvollziehbaren Beweismitteln oder benutzer- und Mieterbezogenen Zugriffsregeln abhängen. Sie ist in der Regel nicht notwendig, um Texte zusammenzufassen, die der Benutzer bereits eingefügt hat, für genaue Berechnungen, um den Schreibstil zu ändern oder für strukturierte Daten in Echtzeit, die eine API oder eine Datenbank direkt zurückgeben kann.

3. Wie unterscheiden sich RAG, Feintuning und Long-Context-Prompting?

RAG stellt Wissen zum Zeitpunkt der Inferenz bereit. Durch Feintuning wird das gelernte Verhalten des Modells geändert. Beim Long-Context-Prompting werden weitere Quelltexte direkt in den Prompt eingefügt.

• Wählen Sie RAG für Wissen, das sich ändert, privat ist oder zitiert werden muss.
• Wählen Sie Feintuning für das Verhalten, den Ton, das Format oder eine spezialisierte Aufgabe.
• Wählen Sie Long Context, wenn das Korpus ausreicht und die Aufgabe einen Vergleich über das gesamte Korpus erfordert.

Wählen Sie Tools oder APIs für Echtzeit-Transaktionsdaten aus.

Sie ergänzen sich gut: Ein optimiertes Modell kann Policiedokumente über RAG abrufen und Echtzeit-Kontoinformationen über eine API-Anfrage einsehen.

4. Ist eine Vektordatenbank dasselbe wie ein RAG-System?

Nein, sie ist nur ein einzelner Baustein. Sie speichert Embeddings, beantwortet Ähnlichkeitsabfragen, filtert anhand von Metadaten und kümmert sich um die Instandhaltung des Index. Ein funktionsfähiges Produktionsystem benötigt dazu noch viel mehr: Dokumentenparsing, Aufteilung in Blöcke, Zugriffskontrolle, hybride Suchmethoden, Neubewertung, Erstellung von Prompts, Generierung, Zitierungen, Bewertung, Überwachung und Handhabung der Löschung. Wenn ein RAG-System enttäuscht, liegt die Ursache meist in einer nachlässigen Vorbereitung des Korpus oder im Fehlen einer Bewertung und nicht in der Wahl der Datenbank.

5. Inwiefern unterscheiden sich dichte, lexikalische und spärliche Suchmethoden?

Dichte Suchverfahren vergleichen Embeddings und bewältigen Paraphrasen sowie Konzepte gut, können aber genaue Identifikatoren übersehen. Lexikalische Suchverfahren wie BM25 bewerten Begriffe nach Häufigkeit und Seltenheit und eignen sich hervorragend für Namen, Produktnummern, Fehlermeldungen und Fachjargon. Spärliche neuronale Suchverfahren wie SPLADE lernen Begriffsausdehnungen, während gleichzeitig ein invertierter Index aufrechterhalten wird. Eine starke Produktionsbasis kombiniert in der Regel lexikalische und dichte Suchergebnisse.

6. Warum sollte BM25 in einem semantischen Suchstack verwendet werden?

Es ist hervorragend bei exakten Wörtern, seltenen Begriffen, Akronymen, Fehlercodes, rechtlichen Zitaten und Produktschlagworten, die von Embeddings oft ungenau dargestellt werden. Zudem ist es kostengünstig und transparent. Da die beiden Methoden bei unterschiedlichen Abfragen tendenziell versagen, verbessert ihre Kombination in der Regel die Trefferquote.

7. Bi-Encoder gegen Cross-Encoder?

Ein Bi-Encoder embeddet die Abfrage sowie jedes Dokument separat, sodass Dokumentvektoren im Voraus berechnet und in Millionen von Datensätzen gesucht werden können. Ein Cross-Encoder liest Abfrage und Dokument gemeinsam, was eine genauere Bewertung der Relevanz ermöglicht, aber für jeden Kandidaten einen zusätzlichen Durchlauf erfordert. Das Standarddesign verwendet einen Bi-Encoder für eine breite Abdeckung sowie einen Cross-Encoder zur Nachrangierung zur Steigerung der Präzision.

8. Kosinus, Skalarprodukt oder euklidische Distanz?

Der Kosinus vergleicht den Winkel zwischen Vektoren, das Skalarprodukt berücksichtigt Ausrichtung und Größe, während die euklidische Distanz die Entfernung in gerader Linie misst. Wenn die Embeddings L2-normalisiert sind, ergeben Kosinus und Skalarprodukt identische Rangfolgen. Befolgen Sie das Trainingsziel des Embedding-Modells sowie die dazugehörige Modellbeschreibung, da eine nicht passende Metrik die Suchleistung erheblich beeinträchtigen kann.

Vektor-Suche und -abruf

9. Was ist die annähernde Nachbarnsuche?

ANN findet Vektoren, die voraussichtlich am nächsten am Abfragedatenpunkt liegen, ohne jeden gespeicherten Vektor vergleichen zu müssen. Dadurch wird die Latenz und der Aufwand bei großen Datenmengen reduziert, doch es können einige echte Nachbarn übersehen werden, weshalb die Trefferquote im Vergleich zu einer exakten Suche gemessen werden sollte. Der zentrale Kompromiss besteht zwischen Geschwindigkeit und Kosten einerseits sowie möglichen Verlusten bei der Trefferquote andererseits.

10. Wie vergleichen sich Flat, HNSW, IVF und Quantisierung?

• Flat: Vergleicht alles und ist dabei exakt, erfordert aber bei großen Datenmengen viel Rechenzeit.
• HNSW: Nutzt ein navigierbares Graphenmodell für eine hohe Trefferquote und geringe Latenz, auf Kosten zusätzlicher Speicherkapazität.
• IVF: Gruppiert Vektoren in Zentroidenteilungen und durchsucht nur einige davon; eine Erhöhung von nprobe verbessert die Trefferquote, erhöht aber auch die Latenz.
• Produkt- oder skalare Quantisierung: Komprimiert Vektoren, um Speicher und Lagerräume zu sparen, was jedoch zu einem messbaren Verlust an Genauigkeit führt.

Wählen Sie nach Größe des Korpus, Filtern, Speicherbedarf, Aktualisierungsmodus, Konkurrenzfähigkeit sowie dem gewünschten Recall aus.

11. Was ist eine hybride Suche und warum wird sie verwendet?

Sie kombiniert dichte Ergebnisse mit lexikalischen oder spärlichen Ergebnissen. Semantische Übereinstimmungen stammen aus dem Bereich der Embeddings, während genaue Termini aus dem Bereich der Schlüsselwörter stammen. Die Listen werden durch rekursive Rangfusion, gewichtete Scores oder normierte Scores zusammengeführt. Der Vorteil ist besonders groß bei Unternehmensdaten, die Alltagssprachkonzepte mit Fallnummern, Richtliniencodes, Teilenummern und Fehlermeldungen mischen.

12. Was ist rekursive Rangfusion?

RRF fügt gerankte Listen mithilfe der Positionen und nicht der Rohwerte zusammen. Jedes Dokument erhält für jede Liste den Wert 1 geteilt durch (k plus seine Rangnummer), und diese Werte werden addiert. Da dichte und lexikalische Werte auf unterschiedlichen Skalen liegen, ist eine direkte Addition unzuverlässig. RRF umgeht die Kalibrierung und belohnt Dokumente, die von mehreren Suchalgorithmen hoch gerankt wurden.

13. Warum neu ranken?

Die Suchalgorithmen der ersten Stufe optimieren auf Geschwindigkeit und Vollständigkeit, wodurch ihre Kandidatenlisten schwache Treffer enthalten. Ein Neuranker wendet ein genaueres Modell auf eine begrenzte Auswahl an und bringt die besten Ergebnisse an die Spitze, was die Kontextgenauigkeit verbessert und den Generierer vor irrelevantem Text schützt. Passen Sie die Anzahl der Kandidaten anhand von Recall@k, der Latenz des Neurankers, den Kosten sowie der Leistung bei wichtigen Abfruchtypen an.

14. Was bewirkt die maximale marginale Relevanz?

MMR abwägt bei der Auswahl von Abschnitten Relevanz gegen Redundanz: grob gesagt ist es ein durch Lambda gewichteter Relevanzwert minus das Komplement von Lambda multipliziert mit der Ähnlichkeit zu bereits ausgewählten Inhalten. Ohne diese Methode könnte das System mehrere nahezu identische Abschnitte aus einem Bereich zurückgeben. Sie verbessert die Abdeckung, wenn die Ergebnisse repetitiv sind, doch zu viel Vielfalt führt zu weniger relevanten Abschnitten.

15. Warum können Metadatenfilter die Qualität von ANN beeinträchtigen?

Falls die ANN-Suche zuerst ausgeführt wird und anschließend Filter angewendet werden, können viele der besten Kandidaten wegen Zugehörigkeit zum falschen Mieter, Produkt, Zeitraum oder Dokumentversion verworfen werden, wodurch weniger Ergebnisse als gewünscht übrig bleiben. Lösungen umfassen integrierte oder vorab gefilterte Suchfunktionen, Metadatenindizes, Überproben der Kandidaten, tenantbezogene Partitionierung, iterative Suche sowie präzise Suche bei sehr selektiven Filtern. Autorisierungsfilter müssen als zuverlässige Suchbeschränkungen durchgesetzt werden und nicht als allgemeine Anweisungen hinterlassen werden.

Datenvorbereitung

16. Wie wählt man eine Chunking-Strategie aus?

Entscheiden Sie durch Experimente, geleitet von der Dokumentstruktur und der Art und Weise, wie Nutzer nach Informationen suchen. Kleine Teilbereiche ergeben eine präzise Übereinstimmung, verlieren jedoch den Kontext, während größere Bereiche zwar den Kontext beibehalten, die Embeddings schwächen, die Kosten erhöhen und Beweise verbergen. Zum Angebot gehören feste-Token-Methoden, rekursive Ansätze, strukturbewusste Verfahren, semantische Ansätze, Satzfenster-Methoden sowie Eltern-Kind-Strukturen. Vergleichen Sie diese je nach Dokumenttyp hinsichtlich der Retrieval-Rate, der Frage, ob Grenzen Ideen in zwei Teile teilen, der Doppelungen, der Größe des Kontexts sowie der Qualität der Endantworten.

17. Was ist Retrieval in Eltern-Kind-Strukturen?

Kleine Kind-Bereiche werden zur präzisen Übereinstimmung indiziert, doch das Modell erhält den größeren Eltern-Bereich. Wenn ein Absatz einer Richtlinie übereinstimmt, gibt das System den umliegenden Bereich mit seinen Definitionen, Ausnahmen und Bedingungen zurück. Dadurch wird Präzision mit Vollständigkeit abgewogen, sofern die Erweiterung begrenzt wird, damit der Kontextfenster nicht überflutet wird.

18. Was sind kontextbasierte Abrufverfahren und spätes Chunking?

Kontextbasierte Abrufverfahren bereichern jeden Chunk mit dokumentsspezifischem Kontext wie Titel, Abschnittspfad oder einer kurzen Erklärung, bevor er eingebettet wird. Beim späten Chunking wird zunächst ein längerer Abschnitt des Dokuments kodiert und anschließend werden die Tokenrepräsentationen zu Chunk-Embeddings zusammengefasst, sodass lokale Chunks Informationen aus dem umfassenderen Text beibehalten. Beide Methoden helfen bei unklaren Chunks, erhöhen aber die Komplexität der Verarbeitung, weshalb sie anhand einfacherer Baselines überprüft werden sollten.

19. Was enthält ein solides Verarbeitungspipeline?

1. Sammeln von Dokumenten sowie Erfassung von Eigentumsrechten, Klassifizierungen, ACLs und Aufbewahrungsfristen.
2. Auswertung von Text, Überschriften, Tabellen, Seiten und Layout.
3. Beseitigung von OCR-Fehlern und wiederholten Standardtexten.
4. Ausschneiden von strukturbezogenen Chunks.
5. Hinzufügen von Metadaten, Herkunftsangaben sowie Eltern-Kind-Verknüpfungen.
6. Erstellen Sie dichte Embeddings und spärliche Repräsentationen.
7. Führen Sie Upsert-Operationen mit deterministischen Identifikatoren durch.
8. Überprüfen Sie Zahlen, Checksummen, ACLs, Löschvorgänge sowie Retrieval-Canaries.
9. Versionieren Sie den Parser, den Chunker, das Embedding-Modell sowie die Indexerstellung.

Es muss außerdem Updates, Neuverarbeitungen, Rollbacks sowie überprüfte Löschvorgänge handhaben können.

20. Wie sollten komplexe PDFs und Tabellen behandelt werden?

Analysieren Sie digitale PDFs mithilfe eines layoutbewussten Tools, damit Überschriften, Spalten, Lesereihenfolge, Bildunterschriften, Tabellen und Seitenzahlen weiterhin miteinander verbunden bleiben. Scans benötigen OCR mit Zuverlässigkeitswerten sowie manchmal Rahmenboxen oder Seitenbilder. Bewahren Sie die Überschriften, Einheiten, Identifikatoren sowie Seiten- und Zellkoordinaten jeder Tabelle auf. Bei numerischen Fragen sollten Sie die Tabellengestruktur abrufen und das Ergebnis deterministisch berechnen. Die Verbesserung des Parsers bringt oft mehr Vorteile als der Austausch des Embedding-Modells.

Fortgeschrittene Muster

21. Was sind Abfragen umschreiben, Mehr-Abfrage-Auswertung und HyDE?

Durch das Umformulieren wird eine vage oder gesprochene Frage in eine für die Suche geeignete umgewandelt. Die Mehr-Abfrage-Auswertung erzeugt mehrere Varianten und fügt die Ergebnisse zusammen, um die Trefferquote zu erhöhen. HyDE erstellt eine hypothetische Antwort und integriert diese, um die Lücke zwischen Frage und Beweismitteln zu überbrücken. Alle drei Methoden führen zu Verzögerungen, Kosten, Duplikaten sowie erzeugten Annahmen, weshalb die ursprüngliche Abfrage in der Regel beibehalten werden sollte.

22. Inwiefern unterscheiden sich Self-RAG, CRAG, RAPTOR und GraphRAG?

• Self-RAG: Das Modell entscheidet selbst, ob es Daten abrufen soll, und reflektiert anschließend über das Erhaltene.
• CRAG: Es bewertet die Qualität der abgerufenen Daten und löst Korrekturen wie Umformulieren oder Wechsel der Quellen aus.
• RAPTOR: Es gruppiert die Datenblöcke in einer Hierarchie von Zusammenfassungen, sodass die Suche auf verschiedenen Detailstufen erfolgen kann.

GraphRAG: Extrahiert Entitäten und ihre Beziehungen in ein Graphen, wobei es sich auf Fragen richtet, die zwischen Dokumenten wechseln oder das gesamte Korpus umfassen.

Verwenden Sie sie nur dann, wenn die Bewertung ein spezifisches Ausfallmuster aufzeigt. GraphRAG ist sinnvoll, wenn relationale oder korpusweite Fragen nicht zuverlässig durch hybride Suchverfahren in Kombination mit Abfragedekomposition beantwortet werden können.

23. Was ist agentic RAG?

Das Modell wählt aus einer Reihe kontrollierter Tools für die Suche und das Reasoning aus: Dokumentensuche, Lesen eines bestimmten Dateiformats, SQL, APIs oder ein Wissensgraphen. Eine Produktionsversion benötigt typisierte, berechtigte Tools, Budgets für Suchvorgänge und Token, Schrittlimits, Stopps- und Ablehnungsregeln, Autorisierung an jeder Tool-Grenze, vollständige Protokolle der Abläufe, wiederholbare Tests sowie menschliche Genehmigung für folgenschwere Aktionen. Die Bewertung muss sowohl die endgültige Antwort als auch den Weg der gewählten Tools bewerten.

Bewertung und Diagnose

24. Welche Metrik kommt zuerst?

Kandidaten-Rückrufrate@k: Der Anteil der Abfragen, bei denen das erforderliche Beweismaterial in der zurückgegebenen Menge vorhanden ist, berechnet als Anzahl der relevanten Elemente in den ersten k Ergebnissen geteilt durch die Gesamtzahl aller relevanten Elemente. Wenn das Beweismaterial fehlt, können weder der Neurankierer noch der Generierer es wiederherstellen. Danach wird die Rangliste mit MRR oder nDCG bewertet, gefolgt von Präzision, Korrektheit, Treue, Qualität der Zitate, Latenzzeit und Kosten im Kontext.

25. MRR gegenüber nDCG?

Der mittlere umgekehrte Rangwert beträgt 1 für den Rang des ersten relevanten Ergebnisses und eignet sich daher für Fälle, in denen ein gutes Dokument ausreicht. nDCG bewertet die gesamte Rangliste und berücksichtigt unterschiedliche Grade der Relevanz, was bei Situationen geeignet ist, in denen mehrere Dokumente unterschiedliche Nützlichkeit aufweisen. Verwenden Sie MRR für die Leistung beim ersten Treffer und nDCG, wenn die Reihenfolge der Ergebnisse wichtig ist.

26. Wie bewertet man die Qualität der Antworten?

Bewerten Sie das Abrufen und Erzeugen getrennt voneinander. Bei der Informationsbeschaffung verfolgen Sie Recall@k, Precision@k, MRR oder nDCG sowie die Richtigkeit und Aktualität der Versionen. Bei der Erzeugung prüfen Sie die Richtigkeit, die Treue zu den vorliegenden Informationen, Vollständigkeit, die Verfügbarkeit von Zitaten, angemessene Ablehnungsstrategien sowie die Einhaltung der Richtlinien. Fügen Sie außerdem die End-to-End-Latenz, die Kosten, die Akzeptanz durch die Nutzer sowie die Ergebnisse bei hochriskanten Fällen hinzu.

27. Was ist das Oracle-Context-Testing?

Überspringen Sie das Abrufen und geben Sie dem Erzeuger bereits korrekte Informationen. Wenn es mit diesen Informationen gut antwortet, aber im gesamten Prozessversuch versagt, vermuten Sie Probleme beim Abrufen, Filtern, Neuranking oder beim Aufbau des Kontexts. Versagt es weiterhin, liegt das Problem wahrscheinlich im Prompt, bei der Argumentation, bei der Erzeugung oder bei der Überprüfung. Dies ist eine der schnellsten Methoden, um Fehler beim Informationsabrufen von Fehlern beim Erzeuger zu unterscheiden.

28. Wie diagnostiziert man hohe Treue bei geringer Richtigkeit?

„Treue“ bedeutet, dass die Antwort zum bereitgestellten Kontext passt, während „falsch“ darauf hindeutet, dass der Kontext unvollständig, irrelevant, veraltet oder unzureichend war. Vergleichen Sie nacheinander: Gold-Belege mit den abgerufenen Kandidaten, Kandidaten mit den neu rangierten Ergebnissen, die neu rangierten Ergebnisse mit dem endgültigen Kontext, die endgültige Generierung mit einem Ausführungsvorgang im Oracle-Kontext sowie schließlich die Quellversionen, Filter und widersprüchlichen Dokumente. Typische Ursachen sind geringe Erinnerungsfähigkeit, schlechte Rangierung, veraltete Belege, fehlende Ausnahmen, aggressive Kontextkompression oder eine fehlerhafte Referenzantwort.

Sicheres Ausführen in großem Maßstab

29. Wie halten Sie ein multi-tenant RAG-System sicher?

Erhalten Sie die Identität von Mieter:innen und Benutzer:innen aus zuverlässigen Authentifizierungsverfahren und niemals aus Eingaben. Nützliche Kontrollmechanismen umfassen von dem Datenlagern durchgesetzte ACL-Filter, mieterbezogene Indizes oder Partitionen, ACL-konforme Caches, Servicerollen mit minimalem Berechtigungsgrad, Verschlüsselung und Audit-Logs, Tests zur Isolation zwischen Mieter:innen, Erkennung von Eingabenspritzungen, Quellen-Allowlists mit Herkunftskontrollen sowie eine vollständig überprüfte Löschung. Behandeln Sie das abgerufene Inhalte als unzuverlässig, da Dokumente bösartige Anweisungen enthalten können.

30. Wie würden Sie eine großskalige Plattform entwerfen?

Beginnen Sie damit, das Dokumentenvolumen, die Abfragenrate, die Mieter:innen, die Aktualisierungsfrequenz, die SLA für Löschungen, die Latenzzeit, die Zitieranforderungen sowie die Sicherheits- und Qualitätsziele klarzustellen. Teilen Sie den Entwurf anschließend in verschiedene Bereiche auf:

• Eingabeverarbeitung: Verbindungen, Parsing, Aufteilung in Blöcke, Erweiterung der Daten, Einbetten, Indexierung, Abgleich und Löschung.
• Abfrage: Authentifizierung, Routing, hybride Abrufmethode, ACL-Filterung, Fusion, Neubewertung der Rangliste, Zusammenstellung des Kontexts, Erstellung, Überprüfung und Ablehnung.
• Bewertung: gelabelte Datensätze, Offline-Experimente, Regressionstests, menschliche Überprüfung sowie Freigabekriterien.
• Beobachtbarkeit: Spuren jeder Anfrage, was abgerufen wurde, welche Modell- und Indexversionen verwendet wurden, sowie Signale zu Latenz, Tokenverbrauch, Kosten, Aktualität, Qualität und Sicherheit.
• Kontrolle: Onboarding neuer Nutzer, Konfiguration, Quoten, Veröffentlichungen, Modellauswahl und Richtlinien.

Zur Widerstandsfähigkeit sollten deterministische IDs, versionierte Indizes hinter Aliasen, Migrationsprozesse, die zwei Indizes nebeneinander laufen lassen, Circuit Breaker, begrenzte Arbeitslasten, Caching, Canary Releases, Rollbacks sowie explizite SLOs hinzugefügt werden. GraphRAG oder agentebasierte Abrufmethoden sollten erst dann eingesetzt werden, wenn gemessene Ausfallraten dies rechtfertigen.