Startseite / Artikel

Warum RAG die Seite mit der Antwort übersehen kann: Brot, Hefe und Vektoren

Die Ähnlichkeitssuche in RAG kann Seiten zum richtigen Thema liefern, dennoch die mit der Antwort übersehen. Warum Tabellen und Top-k die Situation verschlimmern und was man zuerst testen sollte.

Verlag: REACTAPP.TOP7 Min. Lesezeit1695 Wörter

Quellen: RAG Doesn’t Retrieve What You Think It Retrieves

Stellen Sie sich ein Brot vor, das aus dem Ofen flach und fest herauskommt. Sie fragen einen KI-Assistenten, der Ihr gesamtes Kochbuch verarbeitet hat, warum das so ist. Die Antwort kommt sofort und mit voller Sicherheit: Überprüfen Sie Ihre Knettechnik, überprüfen Sie die Ofentemperatur. Alles, was er sagt, betrifft Brot – doch nichts davon ist richtig.

Das Kochbuch enthielt tatsächlich die Antwort. Auf einer Seite mit dem Titel „Hefe aktivieren“ steht, dass Wasser mit einer Temperatur über etwa 50°C die Hefe tötet. Das Wasser war zu heiß, die Hefe starb, nichts ging auf, und das Brot blieb flach. Diese Seite wurde nie geöffnet. Der Grund ist verständlich, denn das Gleiche geschieht still und heimlich in vielen Unternehmens-KI-Systemen.

Wie diese Systeme funktionieren

Die Technik heißt retrieval-augmented generation, kurz RAG. Ein Modell kann nicht alle Ihre Dokumente auswendig lernen, daher holt das System die relevanten Abschnitte und lässt das Modell diese vor der Beantwortung lesen.

Ein Detail ist später wichtig: Das System speichert keine ganzen Dokumente. Es teilt sie in Fragmente von einigen hundert Wörtern auf, die als „Chunks“ bezeichnet werden, und durchsucht diese. In einem Kochbuch entspricht ein Chunk in etwa einer Seite.

Ein nützliches Bild ist ein Bibliothekar, der mit einem Experten zusammenarbeitet. Ihre Frage geht an den Bibliothekar, der die Regale durchsucht, mehrere Seiten auswählt, die zum Thema zu passen scheinen, und sie durch einen Schlitz an einen in einem Raum eingeschlossenen Experten weiterleitet. Dieser Experte kann nur diese Seiten verwenden und hat keine Möglichkeit, weitere anzufordern.

Wie viele Seiten werden übergeben? Üblicherweise fünf standardmäßig, wie bei Amazon Bedrock Knowledge Bases und Azure OpenAI On Your Data, während LangChain mit vier beginnt. Die Anzahl zu erhöhen ist die erste Lösung, zu der die meisten Menschen greifen. Jede Plattform benennt dies unterschiedlich: numberOfResults bei Bedrock, topNDocuments bei Azure OpenAI On Your Data sowie k bei LangChain und bei Azure AI Search selbst. Alle bezeichnen, wie viele Fragmente das Modell lesen darf.

Wenn der „Bibliothekar“ gut wählt, wirkt der Experte brillant. Wenn die Wahl schlecht ist, gibt der Experte nicht an, dass die Seiten falsch sind. Er antwortet trotzdem – fließend, selbstbewusst – aber falsch.

Wie der „Bibliothekar“ wählt

Alles Weitere ergibt sich aus diesem Schritt. Das System wandelt jeden Teilabschnitt in eine Liste von Zahlen um, die beschreiben, worum es in diesem Teilabschnitt geht, und macht dasselbe mit Ihrer Frage. Anschließend gibt es die Teilabschnitte zurück, deren Zahlen denjenigen der Frage am nächsten liegen.

Zwei Begriffe tauchen ständig auf. Die Liste der Zahlen eines Teilabschnitts wird als Embedding bezeichnet, und der Maßstab für die Nähe ist die Kosinusähnlichkeit. Sie können sich die Mathematik sparen, denn es geht einfach darum, wie ähnlich die Bedeutung zweier Dinge ist.

Der Fehler ist im Mechanismus selbst zu erkennen

Betrachten Sie jeden Teilabschnitt als einen Pfeil, der in eine bestimmte Richtung zeigt. Der Ähnlichkeitswert spiegelt den Winkel zwischen zwei Pfeilen wider: Ein kleiner Winkel deutet auf Ähnlichkeit hin, ein großer Winkel auf Unverwandtschaft. Da die Formel die Länge jedes Pfeils berücksichtigt, bleibt nur die Richtung des Textes übrig. Stärke, Präzision und Betonung gehen dabei verloren.

Man kann die Folgen in etwa einer Minute demonstrieren. Man nimmt Satzpaare, die sich durch ein einziges Wort unterscheiden, wobei dieses Wort die gesamte Anweisung enthält, wie zum Beispiel „do“ gegenüber „do not“. Auf den ersten Blick sehen die Paare fast identisch aus. Wenn das System das falsche Element eines Paares auswählt, ist die Endantwort nicht vage – sie ist eindeutig falsch.

Führen Sie vor dem Vertrauen auf ein System eine schnelle Überprüfung mit Ihren eigenen Materialien durch. Wählen Sie zwei Sätze aus, die sich nur in einer Verneinung, einer Versionnummer oder einem Schwellenwert unterscheiden, fügen Sie sie ein und vergleichen Sie die Ergebnisse. Das überzeugt mehr als jeder veröffentlichte Vergleichstest, denn es nutzt Ihr eigenes Korpus.

Um fair zu sein: Dieser Ansatz ist keine Schlüsselwortabgleich-Methode. Er vergleicht die Bedeutung, daher stellen Synonyme kein Problem dar – wenn man nach einem Auto fragt, findet das System Texte über Automobile. Viele Menschen gehen davon aus, dass bessere Formulierungen die Lösung sind, doch das Problem liegt nicht in der Formulierung selbst.

Was die Bewertung misst, ist, ob ein Textabschnitt sich auf etwa dasselbe Thema bezieht wie die Frage. Was sie jedoch nicht misst, ist, ob der Abschnitt die Antwort enthält. Meistens stimmen die beiden überein, und niemand bemerkt es. Eine Frage nach dem Baujahr des Eiffelturms wird durch einen Abschnitt über den Eiffelturm beantwortet, was einfach ist.

Kommen wir nun wieder zum Brot zurück.

Wenn die Antwort sich in einem anderen Thema befindet

Die Frage bezieht sich auf Brot. Die Seite mit der Antwort behandelt Hefe. Das sind unterschiedliche Themen, keine verschiedenen Bezeichnungen für ein und dasselbe Thema, daher kann auch keine kluge Formulierung eine Verbindung herstellen. Was sie verbindet, ist eine kausale Abfolge:

zu heißes Wasser, die Hefe stirbt, kein Gas, kein Aufgehen, flaches Brot

Ein erfahrener Bäcker durchläuft diese Abfolge ohne nachzudenken. Eine Ähnlichkeitssuche kann sie überhaupt nicht überbrücken, denn dazu wäre Logik erforderlich, während die Suche nur die Nähe misst.

Es wird noch schlimmer. Sie haben genau deshalb gefragt, weil Sie den Grund nicht kannten. Hätten Sie gewusst, dass Sie nach den Temperaturen der Hefe suchen müssen, hätten Sie nicht fragen müssen. Diese Systeme sind nur bei Fragen nützlich, die man selbst beantworten könnte.

Warum das Herunterladen weiterer Seiten nur wenig hilft

Die Einstellung von fünf auf fünfzig zu erhöhen scheint die offensichtliche Lösung zu sein, und die Hefeseite könnte nun erfasst werden. Doch die Rangliste hat sich nicht geändert. Die Seite bleibt weiterhin untergeordnet, weil sie sich immer noch auf ein anderes Thema bezieht. Man hofft einfach, dass das Netz größer wird.

Dazu kommt noch eine weitere Kostenfaktor: Mehr Text bedeutet höhere Kosten, langsamere Antworten sowie zusätzliches, nahezu relevantes Material, das das von dem Modell Gelesene verunreinigt – was, wie unten gezeigt, die Ergebnisse aktiv verschlechtert.

Tabellen gehen bereits vor dem Suchvorgang verloren

Eine zweite Verlustsituation tritt bereits früher auf, beim Einlesen der Dokumente. Bevor etwas gesucht werden kann, wird ein Dokument in reinen Text umgewandelt. Der Prosa-Text übersteht diese Umwandlung, die Struktur oft nicht.

Stellen Sie sich eine Tabelle vor, die die Korrekturzeiten auflistet, wobei jede Brotart eine eigene Spalte hat. Wenn die Tabelle in Text umgewandelt wird, bleiben die Zahlen erhalten, doch die Spalten verschwinden. Wenn man fragt, wie lange Roggen benötigt, liefert der gespeicherte Text keinen Zusammenhang zwischen der Zahl 45 Minuten und Roggen im Gegensatz zu Sauerteig. Nur die Spalten der Tabelle drückten diese Verbindung aus, und diese überleben die Umwandlung nicht. Eine so umgewandelte Tabelle kann dem Modell daher nur eine Liste von losen Zahlen und Namen liefern.

Ein Kochbuch kann das problemlos bewältigen. Das gilt jedoch nicht für Spezifikationsblätter, Preislisten, Kompatibilitätsmatrizen oder Konfigurationsreferenzen, denn in diesen Dokumenten liegt die Bedeutung im Layout und nicht in den Sätzen.

Sowohl Big Clouds bieten nun eine bessere Analyse: Bedrock verfügt über einen Parser für Grundmodellstrukturen, während Azure die Funktion Document Intelligence zur Extraktion von Layouts anbietet. Beide helfen sehr, lösen das Problem jedoch nicht vollständig und sind außerdem nicht standardmäßig verfügbar.

Ergebnisse von Messungen

Ein Benchmark namens BRIGHT befasst sich mit Fragen, bei denen das logische Schließen statt der Themenübereinstimmung zur richtigen Dokumentauswahl führt. Die Suchmodelle, die bei normalen Abfragen etwa 59 von 100 Punkten erreichen, sinken bei diesen Fragen auf etwa 18 Punkte. Der einzige Unterschied liegt im Art der Frage. Mehr Rechenleistung hilft ebenfalls nicht: Von den getesteten dreizehn Modellen lag das beste Ergebnis bei schwierigen Aufgaben bei 24 Punkten.

Der gefährliche Aspekt

Hätte das System mit „Nichts gefunden“ geantwortet, wäre das eine kleine Störung. Das tut es jedoch nie. Eine Suchmaschine ordnet die Ergebnisse nach ihrer Ähnlichkeit und lehnt keine ab. Selbst wenn Ihre Dokumente keine Antwort enthalten, erhalten Sie dennoch Ergebnisse, die genauso aussehen, als wäre eine Suche erfolgreich gewesen, und es gibt keine Grenzwertschwelle, ab der das System zugibt, nichts Nützliches gefunden zu haben.

In Arbeiten, die auf dem ICLR 2025 präsentiert wurden, wurde untersucht, was passiert. Wenn ein Modell mit verwandtem Material konfrontiert wurde, das tatsächlich keine Antwort enthielt, stiegen seine falschen Antworten von etwa 10 % auf 66 % – was schlimmer ist als gar keine Antwort zu liefern. Zudem zeigten die Modelle deutlich weniger Bereitschaft, zuzugeben, dass sie es nicht wussten.

Material, das nur teilweise relevant ist, schadet mehr als gar kein Material, da es eine falsche Sicherheit erweckt. Ein flacher Laib Brot ist leicht zu verkraften. Derselbe Fehler bei einer Konformitätsprüfung, einer medizinischen Frage oder einer Architekturauswahl hingegen nicht – und genau deshalb verdient dieser Fehler Aufmerksamkeit.

Was zu tun ist

Drei Schritte helfen, grob in Abhängigkeit vom Nutzen:

  • Verwenden Sie realistische Fragen. Teams testen in der Regel mit von den Dokumentenautoren verfassten Abfragen, wobei die eigenen Worte der Dokumente verwendet werden. Lassen Sie stattdessen Kollegen, die das Material nicht gelesen haben, die Fragen formulieren – so treten die Schwachstellen schnell zutage.
  • Prüfen Sie die Informationsauswahl unabhängig. Bevor Sie beurteilen, ob eine Antwort gut war, überprüfen Sie zunächst, ob überhaupt der richtige Teil der Informationen zurückgegeben wurde. Wenn nicht, hilft das Anpassen des Modells nicht, da am falschen Ende des Systems gefixt wird.
  • Lassen Sie das System mehrmals suchen. Die dauerhafte Lösung ist eine KI, die sucht, die Ergebnisse liest, erkennt, dass diese unzureichend sind, und wie ein Mensch mit besseren Suchbegriffen erneut sucht. Das ist der Unterschied zwischen einem festen Ablauf und einem Agenten – und die Richtung, in die sich das Feld entwickelt. Im Brotbeispiel könnte eine erste Suche nach flachen Broten Seiten über das Kneten ergeben, wobei festgestellt wird, dass keine davon Aufschluss über Misserfolge beim Aufgehen geben. Daraufhin würde die KI mit Begriffen wie Gehenlassen, Gärung und Hefetemperatur erneut suchen, bis schließlich die richtige Seite gefunden wird.
  • Herkömmliche RAG-Systeme haben aus mehreren Gründen Schwierigkeiten mit tiefgreifenden technischen Fragen, und diese Lücke zwischen Informationsabruf und logischem Denken ist nur einer davon. Ein weiterer Grund ist das Chunking, das die Bedeutung zerstört, genauso wie ein System, das zwar Tests besteht, in der Praxis jedoch versagt. Um eines dieser Probleme zu beheben, muss man zunächst messen, wo der richtige Textabschnitt verloren gegangen ist, anstatt zu raten, und davon ausgehen, dass der erste Informationsabrufversuch manchmal fehlschlägt.