Wenn RAG bei einer Ähnlichkeit von 0,89 das falsche Dokument abruft: Nähe versus Relevanz.

Eine vertraute Szene bei der retrieval-augmented generation: Blöcke werden eingebettet und indiziert, ein Benutzer stellt eine Frage, die Abfrage wird eingebettet, die Kosinusähnlichkeit wählt die top-k Blöcke aus, diese werden in den Prompt aufgenommen und das LLM gibt eine Antwort. Der beste Block erzielte eine Bewertung von 0,89, was auf Zuverlässigkeit hindeutet, doch die Antwort ist dennoch falsch.

Jeder, der bereits mehr als ein RAG-System in Betrieb genommen hat, kennt dieses Problem. Es tritt so häufig auf, dass weder Anpassungen bei der Blöckenaufteilung noch Änderungen der Einbettungsmethoden Abhilfe schaffen. Die wichtige Frage ist daher, ob das System die Relevanz misst oder nur die geometrische Nähe.

In einer im August 2026 in der Zeitschrift Symmetry veröffentlichten Übersicht zur RAG-Technologie wird diese Spannung als eine von vier strukturellen Widersprüchen im Bereich bezeichnet und als geometrisch-semantische Diskrepanz bezeichnet. Es ist hilfreich, genau zu definieren, was dieser Begriff bedeutet. Er besagt nicht, dass die Vektorabfrage fehlerhaft ist, und es handelt sich auch nicht um einen bewiesenen Satz darüber, was Geometrie leisten kann. Es ist vielmehr eine Bezeichnung für eine Einschränkung, die in empirischen Untersuchungen bei sehr unterschiedlichen Suchkonfigurationen auftritt.

Kurzfassung des Ablaufs

Ohne die Hilfsmittel besteht RAG aus zwei miteinander verbundenen Schritten.

• Zur Indizierung werden Dokumente in Blöcke aufgeteilt, jeder Block wird mit einem Encoder in einen dichten Vektor umgewandelt, und die Vektoren werden in einen Index wie FAISS oder HNSW eingefügt.
• Zur Abfrage wird die Frage mit demselben Encoder eingebettet, die Ähnlichkeit zu jedem Blockvektor wird berechnet, die top-k Ergebnisse werden ausgewählt und dem LLM als Kontext übergeben.

Eine tragende Annahme hält das Ganze zusammen: Die Entfernung im Vektorraum spiegelt die semantische Relevanz in der Sprache wider. Texte mit ähnlicher Bedeutung sollten nah beieinander liegen, während Texte mit unterschiedlicher Bedeutung weit voneinander entfernt sind.

Meistens gilt diese Annahme gut genug, um nützlich zu sein – deshalb funktioniert die dichte Suche überhaupt. Probleme treten an den Rändern auf, und in der Praxis kommen diese Ränder häufiger vor, als man erwarten würde. Immer dann, wenn ein Suchalgorithmus etwas hoch einstuft, beantwortet er damit, ob der Abschnitt im Vektorraum nah liegt – nicht, ob der Abschnitt die Frage beantwortet. In der Regel stimmen beide Antworten überein; die interessanten Fälle sind jene, in denen das nicht der Fall ist.

Ähnlichkeit ist keine Relevanz

Die Kosinusähnlichkeit misst, inwieweit zwei Vektoren in dieselbe Richtung zeigen. Sie misst nicht direkt, ob ein Abschnitt die Frage beantwortet. Die beiden Vektoren überschneiden sich ausreichend, damit eine dichte Extraktion tatsächlich nützlich ist, doch es handelt sich um unterschiedliche Konzepte, und ein erheblicher Anteil an Fehlern bei der Extraktion entsteht durch diese Lücke.

Diese Beobachtung ist alt. Die 2020 veröffentlichte Arbeit, die DPR vorstellte, liefert ein aufschlussreiches Paar von Zahlen. Der dichte Dual-Encoder-Extraktor erreichte eine Genauigkeit von 78,4 Prozent bei den Natural Questions im Top-20-Bereich, fiel dann auf 63,2 Prozent bei SQuAD, während eine einfache BM25-Methode 68,8 Prozent erreichte. Die Autoren schrieben dies einem Trainingsverteilungsverzerrung zu: Die SQuAD-Fragen weisen ungewöhnlich viele Wörter mit ihren Antwortabschnitten auf, ein Muster, das ein lexikalischer Abgleicher besser ausnutzen kann als ein auf breiteren Daten trainierter dichter Encoder.

Ein einzelner Datensatz reicht nicht aus, um ein universelles Gesetz zu begründen. Er zeigt jedoch konkret, dass semantische Ähnlichkeit und lexikalische Präzision bei derselben Messgröße und derselben Suchmaschine auseinanderdriften können. Die Übersicht „Symmetry“ generalisiert dieses Muster: Ein Mechanismus, der auf ähnliche Bedeutungen abgestimmt ist, ist nicht automatisch auch auf das entscheidende Wort abgestimmt – und umgekehrt gilt dasselbe. Ob dies auf alle Suchszenarien zutrifft, sollte am besten als arbeitshafter Hypothese betrachtet werden. Sie stimmt jedoch mit vielen Erfahrungen aus der Praxis überein.

Wo die Geometrie kippt

Eine Ebene tiefer liegt das geometrische Problem selbst. Dichte Suchmappen übertragen Text in einen kontinuierlichen Vektorraum, meist euclidisch, da Dot-Produkt und Kosinusähnlichkeit davon ausgehen. Der euclidische Raum eignet sich gut dazu, anhand bestimmter Dimensionen zu beurteilen, ob zwei Dinge ähnlich sind. Mit mindestens drei Mustern, die in echtem Text ständig auftauchen, kommt er hingegen weniger gut zurecht.

• Hierarchie. Ein Hund ist ein Säugetier, das wiederum ein Tier ist. Ein flaches Vektorraum verfügt nicht über ein eigenes Konzept der Inklusion „ist-ein“, und die Annäherung eines Baums anhand von Geradentfernungen führt zu größeren Verzerrungen, je tiefer die Hierarchie geht.
• Synonymie versus Nahe-Synonymie. „Günstig“ und „billig“ sollten nah beieinander liegen. „Günstig“ und „schlecht hergestellt“ sollten eigentlich nicht nah beieinander liegen, doch sie treten in Trainingstexten so häufig gemeinsam auf, dass ihre Vektoren näher platziert werden können, als es allein die Bedeutung rechtfertigen würde.
• Zeit. Der CEO eines Unternehmens ist je nach Zeitpunkt, zu dem der Satz geschrieben wurde, eine andere Person. Ein statisches Embedding verfügt nicht über einen Achsenwert für Fakten, die verfallen, es sei denn, etwas weiter oben kodiert sie.

Eine in der Literatur vorgeschlagene Lösung ist der Einsatz hyperbolischer Räume anstelle von euklidischen. Die Entfernungen wachsen dort exponentiell nach außen, wodurch baumartige Hierarchien mit geringerer Verzerrung dargestellt werden können und sich natürlicher auf mehrere Ebenen übertragen lassen. Hyperbolische, dichte Suchmethoden weisen eine bessere Generalisierung bei Aufgaben mit konzeptionellen Hierarchien auf. Es handelt sich jedoch um einen Kompromiss und keine echte Lösung: Die Rechekosten steigen, die entsprechenden Werkzeuge sind weitaus weniger ausgereift, und die Hierarchie ist nur eines von drei möglichen Mustern. Ein Korpus, das von Synonymien oder zeitlichen Veränderungen dominiert wird, kann daher durch einen Wechsel der Geometrie keinen Vorteil erlangen.

Das ist es, worauf die Diskrepanz tatsächlich hindeutet: Verschiedene geometrische Annahmen beeinflussen gegenseitig, welche semantischen Beziehungen gut dargestellt werden können. Wählt man die euklidische Geometrie, leidet in der Regel die Hierarchie. Wählt man hingegen die hyperbolische Geometrie, sind die Kosten in Form von Rechenaufwand und unzureichenden Werkzeugen zu tragen, während Synonymie und Zeitaspekte weiterhin unberücksichtigt bleiben. Unabhängig von der gewählten Struktur entscheidet die Wahl implizit darüber, welche Beziehungen der Suchmechanismus gut handhaben kann und welche er eher falsch bewerten wird.

Ein Beispiel mit Dokumentation

Stellen Sie sich eine Produktdokumentation sowie die Frage vor: Wie setze ich meinen API-Schlüssel zurück?

Der Retriever liefert einen Abschnitt mit dem Titel „Wie man das Passwort eines Kontos zurücksetzt“ mit einer Kosinusähnlichkeit von 0,87. Das ist hoch, da Begriffe wie „Zurücksetzen“, „API-Schlüssel“ und „Passwort“ alle in dem engen Bereich der Authentifizierung und Kontoverwaltung angesiedelt sind. Der Abschnitt zur Rotation des API-Schlüssels befindet sich in einem anderen Bereich, verwendet weniger allgemeines Vokabular und erzielt eine Wertung von 0,81.

Zuerst wurde das falsche Dokument zurückgegeben, dessen Wertung jeden naiven Relevanzschwellenwert überschreitet. Der Embedding-Raum erkannte korrekt, dass beide Themen die Kontosicherheit betreffen. Er hatte jedoch keine Möglichkeit, den spezifischen Ablauf für eines der Themen vom spezifischen Ablauf für das andere zu unterscheiden, da beide zu einem semantischen Cluster gehören.

Das gleiche Muster gilt für Vertragsklauseln, die sich durch eine einzige Verneinung unterscheiden, für Anweisungen zur Dosierung, die je nach Patientengruppe variieren, sowie für finanzielle Bedingungen, die je nach Haushaltsjahr unterschiedlich sind. Jedes Mal spiegelt die Ähnlichkeit der Vektoren ein gemeinsames Thema wider, sagt aber nichts darüber aus, ob die Antwort übereinstimmt.

Retrieval rangiert Kandidaten, fällt aber kein Urteil

Viele RAG-Pipelines gehen stillschweigend davon aus, dass das beste Ergebnis aus den Top-1 oder Top-k die Antwort darauf ist, wo sich die Information befindet. Besser wäre es, es als Kandidaten zu betrachten, der erst noch einen Platz im Prompt verdienen muss.

Ein Retriever, der bei einer Anfrage zu einem API-Schlüssel die Passwortseite zurückgibt, hat nicht unbedingt bei seiner Aufgabe versagt. Streng genommen handelt es sich dabei um eine kostengünstige Erstuntersuchung: Eine enorme Menge an Ergebnissen wird auf eine Handvoll plausibler Kandidaten reduziert. Der Schwachpunkt liegt in einer Architektur, die das erste Ergebnis als gültige Antwort hinnimmt und es nicht weiter prüft. Die Kette muss nicht unbedingt aus Abfrage, Retriever, Top-1 und LLM bestehen; es kann genauso gut eine Abfrage, anschließend ein kostengünstiger Retriever mit hoher Trefferquote, danach eine Menge an Kandidaten, danach ein langsamerer, präziserer Reranker, danach der beste Kandidat und schließlich das LLM sein.

Der Fehler bei der Informationsbeschaffung und der Fehler bei der Erstellung sind miteinander verbunden, aber getrennt voneinander, und ihre Verwechslung lässt die Diskrepanz schlimmer erscheinen, als sie tatsächlich ist. Ein Ein-Schuss-top-1-Verfahren kann sich nicht erholen, sobald die Rangliste fehlerhaft ist. Ein Verfahren, das die Informationsbeschaffung als Erstellung von Kandidaten behandelt und die eigentliche Relevanzbeurteilung einer zweiten Stufe überlässt, hat die Chance, solche knappen Fälle zu erkennen – Dokumente, die im Vektorraum nahe genug sind, um wie Gewinner auszusehen, aber inhaltlich so fehlerhaft sind, dass es eine Rolle spielt.

Warum Produktionseinheiten darauf achten

Es handelt sich dabei nicht um eine rein akademische Betrachtung. Die Lücke zwischen Nähe und Relevanz führt zu konkreten und kostspieligen Fehlern.

• Stilles Verstärken von Halluzinationen. Der LLM kann nicht erkennen, dass ein Textabschnitt zwar zum Thema gehört, aber falsch ist. Er erstellt eine flüssige, selbstsichere Antwort aus der falschen Quelle – und selbstsichere, falsche Antworten sind bei fast allen nachgelagerten Anwendungen schlimmer als das Eingeständnis, nichts zu wissen.
• Niedrigere Genauigkeit bei hierarchischen Korpora. Sowohl Beispiele aus der Praxis als auch Literatur deuten darauf hin, dass je tiefer und strukturierter eine Wissensbasis ist – mit verschachtelten Richtlinien, versionierten Spezifikationen oder Organisationsstrukturen – desto schwieriger fällt eine flache Vektorabfrage. Die Überprüfung schlägt einen formalen Diagnoseansatz vor, der misst, wie stark die Genauigkeit mit zunehmender Hierarchietiefe abnimmt. Dieser wird als nützliche Metrik vorgestellt und nicht als feste Kurve; außerdem lässt er sich besser am jeweiligen Korpus messen, als angenommen wird.

Im Evaluationsset unsichtbar, bis Kosten anfallen. Standardisierte Benchmarks wie Recall@k bei allgemeinen Frage-Paarungen betonen nicht in dem Maße hierarchische oder nahe-synonyme Unterschiede wie ein echtes Domänenkorpus. Zunächst werden die internen Tests bestanden, anschließend taucht in der dritten Produktionswoche eine Variante des Problems „Passwort gegen API-Schlüssel“ auf.

Abmilderungsmaßnahmen

Das bedeutet keineswegs, dass die dichte Suche kaputt ist. Es bedeutet vielmehr, dass die Suche mit einem einzigen Mechanismus für echte Korpora unzureichend spezifiziert ist. Diese Abmilderungsmaßnahmen sind grob nach dem Umfang der erforderlichen Architektur geordnet.

Hybride Suche, lexikalisch plus dicht. Führen Sie BM25 und dichte Suche parallel durch und fügen Sie die Ergebniswerte zusammen – beispielsweise mithilfe der rekursiven Rangfusion, einer gängigen und einfachen Methode. Dadurch wird der Blindpunkt durch lexikale Überschneidungen direkt behoben, während das Embedding-Modell unberührt bleibt.

# Minimal hybrid retrieval sketch: dense + BM25 fused via RRF
from rank_bm25 import BM25Okapi
import numpy as np

def reciprocal_rank_fusion(dense_ranked_ids, bm25_ranked_ids, k=60):
    scores = {}
    for rank, doc_id in enumerate(dense_ranked_ids):
        scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank + 1)
    for rank, doc_id in enumerate(bm25_ranked_ids):
        scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank + 1)
    return sorted(scores.items(), key=lambda x: -x[1])# dense_ranked_ids  = [doc_id, ...] from your vector store's top-k search
# bm25_ranked_ids   = [doc_id, ...] from bm25.get_top_n(query_tokens, doc_ids, n=k)
fused = reciprocal_rank_fusion(dense_ranked_ids, bm25_ranked_ids)

Cross-Encoder-Umrankung. Verwenden Sie dichte Suche zur kostengünstigen Erstellung von 50 bis 100 Kandidaten mit hoher Trefferquote, um diese anschließend mit einem Cross-Encoder umzuranken, der sowohl auf die Anfrage als auch auf das Dokument achtet. Dies kostet pro Paar mehr, ist aber bei thematisch ähnlichen, faktisch falschen Fällen deutlich besser, da er nicht von einem einzigen festen Vektor pro Text abhängt.

Umformulierung oder Aufteilung der Anfrage. RQ-RAG ist ein Beispiel dafür: Das System wird darauf trainiert, vage oder mehrteilige Fragen vor jeder Suche umzudrücken. Dies hilft, wenn die Unstimmigkeit auf einer ungenügend spezifizierten Frage beruht und nicht auf einer unpraktischen Struktur im Korpus.

Strukturbewusste Suche im GraphRAG-Stil. Für wirklich hierarchische oder relationale Materialien wie Organisationsstrukturen, Klauselabhängigkeiten oder Produkttaxonomien sollte diese Struktur explizit als Graph dargestellt werden, anstatt sie in einen flachen Raum zu zwingen. Mit der Geometrie wird nicht mehr gekämpft, sie wird vermieden.

Für den jeweiligen Bereich angepasste Embeddings. Der Encoder wird anhand von harten Negativbeispielen aus dem eigenen Korpus der Organisation feinabgestimmt – also anhand von nahezu synonymen Paaren, die inhaltlich ähnlich sind, aber als Antworten falsch sind. Die Ergebnisse zeigen eine messbare Verringerung der Lücke, allerdings keine vollständige Beseitigung derselben.

Jeder dieser Ansätze behebt ein spezifisches Problem, doch keiner löst das zugrunde liegende Widerspruchssystem, was ehrlich zugegeben werden sollte.

Die größere Forschungsfrage

Falls unterschiedliche Geometrien unterschiedliche Dinge gut darstellen können, stellt sich die natürliche Frage, ob sich die Form des Darstellungsraums an die Abfrage oder das Korpus anpassen könnte, anstatt im Voraus festgelegt zu sein.

Die Übersichtsarbeit „Symmetry“ weist in diese Richtung und formuliert dies als Bruch der Symmetrie: Die Wahl zwischen euklidischer, hyperbolischer oder gemischter Metrik bedeutet, welche semantische Symmetrie aufgegeben wird. Die vorgeschlagene Richtung ist das lernende hybride geometrische Raumkonzept, bei dem ein System seine Metrikstruktur je nach der in jedem Punkt des Korpus kodierten Beziehung anpasst und sich nicht auf eine globale Geometrie für den gesamten Index festlegt. Dies ist eine in einer Übersichtsarbeit vorgeschlagene Richtung, keine bereits verfügbare Technik mit entsprechenden Benchmarks. Es handelt sich um eine Hypothese, die im Auge behalten werden sollte, aber noch nicht um eine Grundlage, auf der weitergebaut werden kann.

Was sich nützlich ändert, ist die zu stellende Frage. Anstelle davon, welches Embedding-Modell am besten ist, lautet die Frage nun, welche Form die semantischen Beziehungen in den Daten tatsächlich annehmen, und ob die Abrufarchitektur über Mechanismen verfügt, um diese Form darzustellen.

Was man mitnehmen sollte

In der Praxis stimmen hohe Kosinusähnlichkeiten und korrekter Datenauswahlprozess in der Regel so gut überein, dass der Unterschied unsichtbar bleibt. Die Entwicklungsanstrengungen sollten auf die Fälle gerichtet sein, in denen sich die beiden Werte unbemerkt voneinander entfernen – bei Vektoren, die aufgrund eines gemeinsamen Themas und nicht einer gemeinsamen Antwort nahe beieinander liegen.

Ein besseres Embedding-Modell wird das Problem nicht lösen, genauso wenig wie eine einzelne Architektur. Ein flacher geometrischer Raum, unabhängig von der gewählten Variante, enthält eine implizite Annahme darüber, welche Beziehungen im Korpus am wichtigsten sind – und genau deshalb gibt es hybride Suchverfahren, Neuranking-Methoden sowie strukturbewusste Indexierung: Niemand kann diese Annahme ohne Risiko aufstellen. Embedding-Modelle sind nicht schlecht. Von einem geometrischen Raum wurde erwartet, dass er semantische Schlussfolgerungen zieht, wofür er nie vollständig entwickelt wurde, und er leistet beeindruckende Arbeit – bis zu dem Moment, in dem er versagt.