Startseite / Artikel

Sieben Möglichkeiten, wie eine RAG-Antwort fehlerhaft wird, und wie man die fehlerhafte Phase findet.

Eine praktische Methode zur Diagnose fehlerhafter RAG-Antworten: Sieben Fehlerpunkte, die in drei Phasen gegliedert sind, vier Felder zur Dokumentation sowie ein Test, der den Schuldigen identifiziert.

Verlag: REACTAPP.TOP7 Min. Lesezeit1670 Wörter

Quellen: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong

Wenn ein RAG-System eine falsche Antwort gibt, liegt der Fehler genau an einem von sieben Stellen, und welche es ist, bestimmt, was geändert werden muss. Selbst wenn eine funktionierende Stufe angepasst wird, bleibt die Antwort weiterhin falsch.

Eine Anfrage durchläuft die Phasen Parsing und Chunking, Embedding und Indexierung, Abruf, Zusammenstellung des Kontexts sowie Erstellung der Antwort. Jede dieser Phasen kann fehlschlagen, und die Ausgabe bleibt unverändert, egal welche Phase versagt hat. Ohne Kenntnis der fehlerhaften Phase ist jede Korrektur nur eine Vermutung: Eine neue Chunk-Größe, ein anderes Embedding-Modell oder ein neuer Reranker ändern alle Abfragen auf einmal.

Im Folgenden wird eine Diagnosemethode vorgestellt. Sie nennt sieben Stellen, an denen eine Antwort fehlschlagen kann, ordnet sie den drei Phasen zu, die für die Behebung zuständig sind, und listet vier Merkmale auf, die zur Unterscheidung dienen.

Eine schlechte Antwort verbirgt ihre Ursache

Jede der sieben Fehlerquellen zeigt sich als flüssiger, selbstbewusster, falscher oder unvollständiger Text. In der Ausgabe gibt es keinen Hinweis auf die jeweilige Fehlerstelle.

  • Alle sieben sehen bei der Ankunft gleich aus. Ein Absatz, den niemand geschrieben hat, ein Teil, der auf Platz acht vergraben ist, sowie ein Modell, das am Ende die falsche Spalte der Tabellenkalkulation liest, ergeben gemeinsam eine überzeugende Antwort.
  • Doch die Lösungen übertragen sich nicht. Die Eingabe bestimmt, was existiert, die Abrufung, was gefunden wird, die Zusammenstellung, was weitergeleitet wird, und die Anweisung, was mit dem Inhalt geschieht. Anstrengungen, die in der falschen Schicht investiert werden, ändern nichts an dem fehlerhaften Prozess.
  • Das Raten kostet mehr als der Fehler selbst. Das Neu einbetten eines ganzen Korpus, um ein Formatierungsproblem zu beheben, dauert Tage und lässt das Problem ungelöst.

Die bessere Frage ist, wo der Antworttext zuletzt unversehrt war und in welcher Phase er verloren ging.

Sieben Fehler in drei Phasen

Die sieben Fälle stammen aus einer veröffentlichten Studie zu im Betrieb befindlichen RAG-Systemen (arXiv 2401.05856); hier wurden sie nach dem Fehlerherd umbenannt. Sie sind nach dem Ort der Fehlerbehebung gruppiert, sodass das Finden eines Fehlers in einer bestimmten Gruppe die möglichen Lösungen bereits einengt.

Einholung von Inhalten: fehlender Inhalt

Die benötigte Information wurde nie in Text umgewandelt, den der Index suchen könnte. Möglicherweise enthält kein Quelldokument diese Information, oder sie ist während der Analyse, Reinigung oder Aufteilung in Blöcke verschwunden.

  • Fehlender Inhalt. Es wird eine interne Wiki nach der Elternzeit in Irland gefragt. Nur die Richtlinien für die USA wurden jemals festgehalten, dennoch gibt das System eine Antwort.

Sowohl Ursachen führen zum gleichen Symptom, erfordern aber unterschiedliche Behebungsmaßnahmen. Wenn die Information niemals aufgezeichnet wurde, sollte das System in der Lage sein, abzulehnen. Wenn die Einholung der Informationen sie verfälscht hat, muss man den Parser, die Reinigungsregeln oder einen stillgestellten Synchronisierungsprozess prüfen.

Ausgabe und Kontext: Nicht abgerufen, vor dem Prompt abgeschnitten, falscher Wert gelesen

Die Information befindet sich irgendwo in einem Datenblock, doch das Modell erhielt etwas anderes.

  • Nicht abgerufen. Der Datenblock ist im Index enthalten, wurde aber bei der Suche einfach nicht gefunden. Stellen Sie sich einen Drehmomentwert in einer Spezifikations-Tabelle in einer Anleitung vor, der von einer allgemeinen Fehlerbehebungseite überschattet wird.
  • Abgeschnitten vor dem Prompt. Die Suche lieferte die Information, sie kam aber nicht in den Kontext. Zwölf Support-Anfragen passen zu einer Abfrage über fehlgeschlagene Importe, doch das Token-Budget behält nur fünf davon.
  • Falscher Wert gelesen. Der Datenblock befand sich im Prompt zusammen mit einer Duplikate, einer veralteten Version oder störenden Daten, wodurch das Modell die falsche Quelle verwendete. Sowohl der Vertrag als auch seine überholte Änderung erscheinen, wobei das Verlängerungsdatum vom alten Vertrag stammt.

Auch die Reihenfolge spielt eine Rolle, genauso wie die Passgenauigkeit. Untersuchungen zu langen Kontexten (arXiv 2307.03172) zeigen, dass Modelle Material am Anfang und am Ende besser nutzen als in der Mitte, sodass ein Teil des Kontexts zwar den Prompt erreicht, dennoch übersehen werden kann.

Warum wird hier ein falscher Wert angezeigt? Das Modell hat den Fehler verursacht, daher scheint es sich um ein Generierungsproblem zu handeln. Doch die Behebung erfolgt fast immer in einer früheren Phase: Duplikate entfernen, veraltete Versionen löschen, Störgeräusche beseitigen, den Kontext neu anordnen. Das Umschreiben des Prompts hilft selten.

Generierung: falsches Format, falscher Umfang, unvollständig

Das Modell hatte alles, was es brauchte, und lieferte dennoch eine schlechte Antwort.

  • Falsches Format. Richtiges Wissen in der falschen Form: Es wurde eine Checkliste angefordert, doch es kam ein Absatz.
  • Falscher Umfang. Die Antwort ist entweder zu umfassend oder zu eng gefasst. Eine Frage zum Ausgabenlimit bezieht sich auf die Richtlinien für das gesamte Personal, obwohl die Stellende ein Freelancer mit anderen Regeln ist.
  • Unvollständig. Ein Teil einer mehrteiligen Frage wird übersprungen. Jemand fragt nach vier Ticket-Warteschlangen, erhält aber Angaben zu nur drei.

Unvollständigkeit wird oft übersehen, da nichts Geschriebenes falsch ist. Eine Quellenprüfung deckt das auf: Wenn eine Quelle im Prompt enthalten ist, aber nicht zitiert wird, fehlt etwas. Da der Kontext korrekt war, liegt die Korrektur im Prompt, im Antwortformat oder in der Benutzeroberfläche.

Wie man diagnostiziert

Protokollieren Sie vier Felder pro Anfrage

Die Diagnose bedeutet, eine Anfrage im Nachhinein anhand einer Beschwerde, die erst Stunden später eintrifft, neu aufzubauen. Eine manuelle erneute Abfrage ersetzt dies nicht, da sich der Index wahrscheinlich geändert hat und das Problem sich möglicherweise nicht wiederholen lässt. Vier Felder reichen aus:

  • Die ursprüngliche Frage, bevor sie umgeschrieben wird – schließlich ist die Umschreibung an sich ein Fehlerpunkt.
  • Was die Suche zurückgegeben hat: jeder potenzielle Teil mit seiner chunk_id, doc_id, version und dem entsprechenden Score.
  • Was dem Modell zur Verfügung stand: die chunk_id-Werte, die nach Anwendung des Token-Budgets übrig blieben.
  • Die endgültige Antwort, Zeichen für Zeichen.
# The retrieved list and the prompt list stay separate. Collapsed into one,
# a chunk lost at ranking and a chunk lost at the token budget leave the
# same record, and no later reading of the log can separate them.
log_request({
    "question": question,
    "retrieved": [
        {"chunk_id": c.chunk_id, "doc_id": c.doc_id,
         "version": c.version, "score": c.score}
        for c in candidates
    ],
    "in_prompt": [c.chunk_id for c in context],
    "answer": answer,
})

Halten Sie die abgerufenen und die Prompt-Listen getrennt. Ein Protokoll, das nur den generierten Prompt und die Antwort enthält, kann keinen Unterschied zwischen einem Ranking-Fehler und einem Budgetfehler erkennen.

Ein Test, drei Ergebnisse

Wählen Sie den Abschnitt, der die Antwort bestimmen sollte. Suchen Sie ihn im protokollierten Eintrag und notieren Sie, wie weit er in der Verarbeitungskette vorgedrungen ist. Es gibt nur drei Stoppspunkte, und jeder entspricht einer bestimmten Phase.

  • Wurde in keinem Chunk gefunden: Das ist ein Problem der Eingabeverarbeitung. Das Korpus enthält ihn nicht, oder er ging vor der Indizierung verloren.
  • Der Text befindet sich in einem Chunk, der den Prompt nie erreicht hat. Die Abfrage- und Kontextverarbeitung sind dafür verantwortlich: Entweder hat das Ranking den Chunk nicht zurückgegeben oder das Budget hat ihn ausgeschlossen.
  • Wurde im Prompt gefunden, die Antwort ist dennoch falsch: Das Modell hatte alle Informationen. Wenn es einen falschen Wert ausgewählt hat, suchen Sie in den vorherigen Schritten nach Duplikaten oder Störungen. Ist die Form, der Umfang oder die Vollständigkeit fehlerhaft, prüfen Sie den Generierungsprozess.

Was die sieben Kriterien nicht abdecken

Diese sieben Kriterien beurteilen, ob eine Antwort richtig ist. Mehrere Faktoren, die ein System unbrauchbar machen, bleiben für sie unsichtbar.

  • Berechtigungen. Eine Antwort, die auf ein Dokument verweist, das der Fragende nicht lesen kann, ist zwar korrekt, aber inakzeptabel. Dafür sind acl_principals neben jedem Datenblock zu speichern sowie ein Filter bei der Abfrage erforderlich.
  • Vergiftete Dokumente. Eine Datei mit Anweisungen an das Modell kann alle sieben Überprüfungen bestehen, da die Antwort weiterhin dem Gegebenen treu bleibt.
  • Tenancy. Dass die Datenblöcke von Kunde A in der Antwort von Kunde B erscheinen, wird durch einen tenant_id bei den gespeicherten Datenblöcken sowie bei jeder Abfrage geregelt – niemals durch die Formulierung der Anfrage.
  • Skalierbarkeit und Kosten. Latenzzeiten sowie Kosten pro Abfrage bei großen Datensätzen tauchen in den sieben Kriterien überhaupt nicht auf.

Sie alle sieben können bestehen, während weiterhin Daten durchsickern. Dieses Framework erklärt falsche Antworten; zu Sicherheitsfragen äußert es sich nicht.

Problemstellen

  • Erweiterung der Suche nach einer Antwort, deren Teil bereits im Prompt enthalten war. Mehr Ergebnisse bedeuten mehr Störgeräusche, was es wahrscheinlicher macht, dass ein falscher Wert gelesen wird.
  • Protokollierung nur des gerenderten Prompts. Nicht abgerufte und vor dem Prompt abgeschnittene Teile sehen identisch aus, sodass man die Suche anpasst, obwohl das Problem im Budget lag – oder umgekehrt.
  • Verwendung von Ablehnungen als Lösung. Wenn die Antwort in einer von dem Parser vereinfachten Tabelle steht, verdeckt das Ablehnen einer Antwort lediglich einen Fehler bei der Verarbeitung hinter höflichem Verhalten.
  • Hinzufügen von Metadaten zu den Blöcken nach dem Start. Die Einführung einer Version oder eines Abschnittspfads zu einem späteren Zeitpunkt führt dazu, dass jeder Block neu geschrieben wird, wobei das erneute Einbetten der kostspielige Teil dieses Vorgangs ist.
  • Über den Umfang wird nach Geschmack gestritten. Ob eine Antwort zu allgemein ist, bleibt eine Debatte, solange eine Testfrage nicht die exakte Antwort liefert, die sie eigentlich haben sollte.

In die Praxis umsetzen

Betrachten Sie den Ablauf als eine Kette: Eine falsche Antwort bedeutet, dass ein Glied versagt hat, und die Diagnose besteht darin, das letzte Glied zu finden, in dem der Antworttext erhalten blieb.

  • Beginnen Sie damit, die vier Felder zu protokollieren, bevor Sie irgendwelche Einstellungen ändern. Ein Eintrag pro Anfrage beendet die meisten Debatten, noch bevor sie beginnen.
  • Führen Sie zunächst den einzelnen Test durch: Steht der Abschnitt nicht in einem Teil, in einem Teil, der die Anweisung verfehlt hat, oder in der Anweisung selbst? Diese Antwort bestimmt die Phase sowie somit die Art der wahrscheinlich wirksamen Korrektur.
  • Geben Sie dem System die Möglichkeit, anzuzeigen, dass es es nicht weiß. Ein Testset, in dem jede Frage eine Antwort hat, wird niemals fehlendes Inhalte aufdecken.
  • Speichern Sie doc_id, version, section_path sowie updated_at für jeden Chunk ab dem ersten Einlesen und fügen Sie bei Bedarf tenant_id sowie acl_principals hinzu, falls der Zugriff relevant ist.
  • Vertagen Sie den Rest, bis ein spezifischer Fehler dies erfordert. Graph-, multimodale sowie agentebasierte Suchverfahren beziehen jeweils eine bestimmte Form des Nicht-Auffindens ins Kalkül – keines davon sollte Standard sein.

Die Phasen unterscheiden sich je nach Ihrer Sucharchitektur, doch die vier protokollierten Felder bleiben in allen Fällen gleich.