Startseite / Artikel

Bewertung der RAG-Auswertung jenseits der ANN-Recall-Methode – am Beispiel von Turbopuffer.

Ein schneller Vektorindex kann dennoch die richtige Antwort verfehlen. Erfahren Sie mehr über die Speicherkompromisse von Turbopuffer, die hybride Kombination aus BM25 und Vektorabfrage sowie darüber, wie eine „goldene Menge“ die tatsächliche Recall-Rate misst.

Verlag: REACTAPP.TOP7 Min. Lesezeit1671 Wörter

Quellen: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

Teams, die ein RAG-Projekt starten, stellen in der Regel zunächst eine Frage: Welche Vektordatenbank soll gewählt werden? Das ist eine berechtigte Frage, doch sie ist nicht die wichtigste. Eine bessere Datenbank kann Kosten senken, die Suche beschleunigen und es ermöglichen, ein großes System einfacher zu betreiben. Was sie jedoch nicht aussagen kann, ist, ob der Benutzer tatsächlich die benötigten Informationen erhalten hat.

Turbopuffer ist aus zwei Gründen ein guter Fall zur Betrachtung. Sein Speicher- und Bereitstellungsmodell ist ungewöhnlich, und es hebt den Schritt hervor, den die meisten RAG-Teams überspringen: die ordnungsgemäße Überprüfung der Informationsabrufung.

Wie Turbopuffer Daten speichert und bereitstellt

Die dauerhafte Kopie der Daten befindet sich im Objektspeicher, wobei Speicher und NVMe als Cache dienen. Die Abfragemaschinen sind zustandslos, sodass eine Maschine viele Namensräume bedienen kann, ohne die Daten eines einzelnen Kunden dauerhaft speichern zu müssen.

Das eignet sich für ein großes Korpus, das unter vielen Nutzern geteilt wird. Stellen Sie sich ein B2B-Produkt vor, bei dem jeder Kunde eine Sammlung von Dokumenten besitzt, aber nur wenige Kunden zu jedem Zeitpunkt aktiv sind. Den vollständigen Index jedes Kunden im RAM zu speichern, wäre kostspielig. Inaktive Daten können günstig in Objektspeichern abgelegt werden, während aktive Namensräume auf NVMe und Arbeitsspeicher umgestellt werden.

Dieses Design bringt ein Kompromiss mit sich. Für einen Namensraum mit einer Million Dokumenten gibt Turbopuffer einen p50-Wert für warme Abfragen von 14 ms an, während die erste Abfrage an einem kühlen Namensraum derselben Größe einen p50-Wert von 874 ms aufweist. Daher ist „immer schnell“ eine falsche Beschreibung. Besser ist es zu sagen, dass die Lösung günstig ist, solange die Daten ruhen, und schnell wird, sobald die Daten aktiv sind. Viele große RAG-Systeme sollten diesen Kompromiss in Kauf nehmen, obwohl er unzureichend ist, wenn jede Anfrage schnell sein muss – selbst für Daten, an denen kürzlich niemand gearbeitet hat.

Das Produkt konzentriert sich außerdem auf die Erstphase der Suche, wodurch ein riesiges Korpus auf eine überschaubare Anzahl von Kandidaten eingegrenzt wird. Der Rest obliegt der Anwendung: hybride Suche, Neubewertung der Ergebnisse sowie die Logik, die entscheidet, was zum Modell gelangt. Diese Trennung sorgt dafür, dass eine Sache im Fokus bleibt – die Datenbank kann die Suche ermöglichen, doch die Anwendung entscheidet weiterhin, ob die Ergebnisse brauchbar sind.

Warum der grundlegende Ablauf unzureichend ist

Der einfachste RAG-Pipeline-Ablauf sieht so aus:

User question → vector search → top 5 chunks → LLM answer

Für eine Demo in Ordnung, in der Produktion schwach. Reale Nutzer stellen nicht nur saubere, semantische Fragen. Sie kopieren Fehlercodes, fragen nach Ausnahmen in den Richtlinien, verwenden Akronyme und Produktnamen, benötigen eine ältere Dokumentversion oder wollen eine Antwort, die zwei Dokumente umfasst.

Es macht Sinn, beide Sucharten zu verwenden:

  • Vektor-Suche kümmert sich um die Bedeutung. Sie kann „Zeit frei nach der Geburt eines Kindes“ mit einer Seite mit dem Titel „Elternurlaub“ verknüpfen.
  • BM25 kümmert sich um wörtliche Begriffe, sodass eine Abfrage mit ERR_PAYMENT_042, SKU-78291 oder AuthMiddleware auf die richtige Seite führt.

Sowohl Methoden sind über Turbopuffer unter Verwendung von multi_query verfügbar, und die Ergebnisse können mithilfe der Reciprocal Rank Fusion, auch RRF genannt, zusammengeführt werden. Anschließend kann die Anwendung die besten 20 bis 50 Ergebnisse neu rangieren und dem LLM nur einige aussagekräftige Abschnitte zur Verfügung stellen. Eine hybride Suche ist nicht automatisch überlegen. Vektor- und Schlüsselwortabfragen versagen auf unterschiedliche Weise, daher sollte ein eigenes Testset der Anwendung entscheiden, ob beide Methoden ihre Berechtigung haben.

Drei Aspekte, die gemessen werden müssen

Eine hohe Vektor-Retrieval-Rate verleitet viele Teams dazu anzunehmen, dass RAG funktioniert. Das bedeutet die Zahl jedoch nicht.

Drei separate Eigenschaften müssen gemessen werden:

  1. Indexgenauigkeit: Liefert die annähernde Vektorabfrage dasselbe wie eine exakte Vektorabfrage?
  2. Relevanz der Abfrage: Liefert die Suche die Belege, die die Frage beantworten?
  • Qualität der Antwort: Nutzt das Modell diese Belege korrekt und sicher?
  • Turbopuffer deckt den ersten Punkt gut ab. Er nimmt 1 % des aktiven Abfragenverkehrs als Stichprobe, vergleicht die ungefähren Ergebnisse aus dem Nachbarsuchverfahren mit einer durchgehenden Vektorsuche und prüft, inwieweit sich diese Ergebnisse überschneiden. Seine Empfehlung sieht einen angemessenen Ausgleich von 90 bis 95 % Recall@10 für viele Arbeitslasten vor. Das zeigt an, ob der Index das findet, was eine exakte Vektorsuche finden würde, und nichts darüber, ob eine exakte Vektorsuche zur Frage passt.

    Betrachten wir einen Benutzer, der fragt:

    What does ERR_PAYMENT_042 mean?
    

    Die Antwort befindet sich in der Wissensdatenbank auf einer Fehlerkodeseite, erscheint aber nur einmal innerhalb einer riesigen Tabelle. Eine Vektorsuche könnte drei allgemeine Zahlungshilfen zurückgeben, weil sie inhaltlich der Frage nahekommen, und eine präzise Vektorsuche würde ebenfalls diese drei zurückgeben. Die Datenbank gibt anschließend eine 100%-ige ANN-Rückrufrate an, obwohl die eigentliche Antwort niemals das Modell erreicht.

    Eine einzige BM25-Suche nach ERR_PAYMENT_042 könnte dieses Problem lösen. Keine Anpassung des Vektorindex würde helfen, da der Vektorindex nie fehlerhaft war. Er hat seine Aufgabe perfekt erfüllt, nur wurde ihm einfach die falsche Aufgabe zugewiesen. Daher die Kernidee: ANN-Rückrufrate ist keine RAG-Rückrufrate. Die eine misst, wie genau der Index einer mathematischen Suche entspricht, die andere, ob der Benutzer die richtigen Informationen erhalten hat.

    Eine kleine „goldene“ Datensammlung erstellen

    Bevor Sie die Größe der Blöcke, die Embeddings, die Top-K-Methode oder die Reranker ändern, sammeln Sie eine übersichtliche Auswahl an tatsächlichen Fragen und kennzeichnen Sie, welche Blöcke jeweils welche Fragen beantworten sollen. Hundert Fragen reichen bereits zum Start aus, und sie müssen nicht perfekt sein. Nutzen Sie Suchprotokolle, Support-Anfragen sowie von Nutzern gemeldete Fehler und fügen Sie einige Fragen von Fachleuten hinzu. Jeder Eintrag erfordert nur sehr wenig:

    {
      "query": "How much parental leave do employees get?",
      "relevant_chunk_ids": ["benefits/parental-leave#3"],
      "query_type": "semantic_paraphrase",
      "must_contain": ["16 weeks"],
      "must_abstain": false
    }
    

    Die Sammlung sollte verschiedene Arten von Fragen enthalten:

    • genaue Identifikatoren und Akronymen,
    • gewöhnliche semantische Fragen,
    • lange, ausführliche Nutzerfragen,
    • Fragen, für die zwei Dokumente benötigt werden,
    • Fragen ohne Antwort und
    • Fragen mit Zugangsbeschränkungen, bei denen zwar eine Antwort existiert, der Nutzer sie jedoch nicht sehen darf.

    Die Gruppe der Fragen ohne Antwort ist wichtig. Ein RAG-System sollte in der Lage sein zu erklären, dass es etwas in den verfügbaren Dokumenten nicht finden konnte – das ist besser als eine selbstbewusste Erfindung einer Antwort.

    Ein Regel, die es wert ist, befolgt zu werden: Wandeln Sie jeden echten RAG-Fehler in einen Testfall um, bevor Sie ihn beheben. Wenn man das überspringt, wird der Fehler zwar behoben, das Beispiel wird vergessen und derselbe Defekt taucht sechs Wochen später wieder auf.

    Beginnen Sie mit einfachen Suchmetriken

    Ein LLM-Bewerter sollte nicht zuerst herangezogen werden. Einfache Suchmetriken erledigen die anfängliche Überprüfung:

    • Recall@K fragt nach, ob der richtige Teilabschnitt in den ersten K Ergebnissen erschienen ist.
    • Mean Reciprocal Rank (MRR) misst, wie früh der erste korrekte Teilabschnitt auftauchte. Ein korrekter Teilabschnitt auf Rang 1 ist nicht gleichbedeutend mit einem auf Rang 5, der hinter vier störenden Teilabschnitten liegt.
    • Normalized Discounted Cumulative Gain (nDCG) ist nützlich, sobald einige Teilabschnitte als „sehr relevant“ und andere als „einigermaßen relevant“ bewertet werden können. Die hybride-Suchleitlinie von Turbopuffer schlägt vor, einen Testkatalog mit Abfragen mit idealen Ergebnissen zu erstellen und den nDCG-Wert zu bewerten.

    Ein einziger Durchschnitt verdeckt zu viel, daher sollten die Ergebnisse nach Frageart aufgeteilt werden. Eine nützliche Erkenntnis könnte lauten: Die hybride Suche verbesserte die Gesamtrekallrate, doch der größte Teil der Verbesserung stammte von Fehlern und Akronymen, während bei gewöhnlichen semantischen Fragen nur geringe Verbesserungen zu verzeichnen waren. Ein Durchschnitt kann das nicht ausdrücken.

    Vergleichen Sie Konfigurationen Schritt für Schritt

    Halten Sie das Experiment klein und wiederholbar und führen Sie dasselbe Referenzdatensatz mit mehreren Konfigurationen durch:

    • Lauf A: Suche nur mit Vektoren, die Baseline.
    • Lauf B: Suche nur mit BM25, um zu zeigen, wo exakte Wörter vorteilhaft sind.
    • Lauf C: Vektoren zusammen mit BM25, kombiniert mit RRF, um zu prüfen, ob eine Kombination hilft.
    • Lauf D: Lauf C plus ein Neurankierer, um zu zeigen, ob der Qualitätszuwachs die zusätzliche Latenz und Kosten rechtfertigt.

    Ändern Sie bei jedem Durchlauf nur eine Eigenschaft und protokollieren Sie folgende Werte: Recall bei 5 und bei 10, MRR (plus nDCG, sobald die Labels bewertet wurden), getrennte Aufzeichnungen der Latenzzeiten für den kühlen Start und den warmen Start sowie die Kosten für 1.000 Abfragen. Die Unterstützung für Test-Namenräume sowie Branches eines Produktions-Namenraums in Turbopuffer erleichtert die Übung, da mit echten Daten gearbeitet werden kann, ohne den Live-Namenraum zu beeinträchtigen.

    Auch der eigene ANN-Recall von Turbopuffer sollte als Index-Gesundheitsprüfung überwacht werden. Sinkt dieser Wert, passt der Index nicht gut zu präzisen Suchanfragen. Ist der Index zwar gesund, aber die Ergebnisse basierend auf dem Golden-Set schlecht, liegt das Problem anderswo: bei Embeddings, Chunking, hybriden Suchverfahren, Filtern oder Neubewertungen der Ergebnisse. Das ist eine sehr nützliche Diagnosemöglichkeit.

    Überprüfen Sie anschließend die Antwort

    Sobald die richtigen Informationen beim LLM ankommen, prüft man die endgültige Antwort anhand von fünf Fragen. Ist sie korrekt? Wird jede wichtige Behauptung durch im Text gefundenes Material gestützt? Enthält sie alle entscheidenden Informationen? Untermauern die Zitate die daneben stehenden Behauptungen? Gibt es eine Ablehnung, wenn keine Antwort vorhanden ist?

    Einfache Fakten erfordern einfache Überprüfungen: Eine Antwort, die „16 Wochen“ angeben muss, kann einfach nach diesem Ausdruck gesucht werden. Für schwierigere Fälle, wie beispielsweise zu prüfen, ob eine lange Antwort fundiert und vollständig ist, sollte ein LLM-Prüfer eingesetzt werden. Werkzeuge wie Ragas können helfen, ersetzen aber kein gutes Testset.

    Das riskante Szenario tritt ein, wenn die Informationsbeschaffung fehlschlägt und das LLM dennoch eine plausibele Antwort aus seiner eigenen Ausbildung liefert. Eine End-zu-End-Prüfung kann angeben, dass die Antwort in Ordnung aussieht, obwohl der RAG-Prozess fehlgeschlagen ist. Das wird gefährlich, wenn die Antwort firmenspezifisch, kürzlich geändert oder sensibel ist.

    Die wichtigere Lektion

    Turbopuffer eignet sich, wenn das Abrufen großer Datenmengen sowie vieler Namespaces erforderlich ist, und verfügt über ein Kostenmodell, das inaktive Daten nicht teuer hält. Doch die wichtigste Erkenntnis betrifft nicht das Produkt selbst, sondern die Messung. Turbopuffer prüft, ob seine ungefähre Suche mit einer durchgehenden Suche im Live-Traffic übereinstimmt – was eine gute ingenieurtechnische Vorgehensweise darstellt. Ein RAG-System sollte diese Praxis auf einer höheren Ebene übernehmen, indem es prüft, ob die richtigen Belege abgerufen wurden, ob das Modell sie gut genutzt hat und ob eine neue Änderung den tatsächlichen Arbeitsablauf der Nutzer verschlechtert hat.

    Geschwindigkeit bedeutet nicht Genauigkeit, denn ein schneller Abrufmechanismus kann bereits in wenigen Millisekunden das falsche Dokument liefern. Die Lösung besteht darin, eine kleine „goldene“ Datensammlung zusammenzustellen, nacheinander eine Variable zu ändern und jeden Fehler in einen Regressionstest umzuwandeln. So verwandelt sich RAG von etwas, das wie Magie wirkt, in ein System, das schrittweise verbessert werden kann.