Startseite / Artikel

Jenseits der Ähnlichkeitssuche: Metadatenfilterung für RAG mit S3 Vektoren

Metadatenfilterung für RAG auf Amazon S3 Vectors: Woher die Filterwerte stammen, wann ein Klassifikator seinen Platz erhält, sowie filterbare und nicht filterbare Metadaten.

Verlag: REACTAPP.TOP6 Min. Lesezeit1277 Wörter

Quellen: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors

Semantische Suche ist der beste Aspekt von RAG. Die Nutzer müssen ihre Fragen nicht so formulieren wie es in einem Dokument der Fall ist. Das System vergleicht die Bedeutung und zeigt Inhalte zu einem verwandten Thema an. Doch Ähnlichkeit bedeutet nicht immer das, was man sucht.

Stellen Sie sich einen Online-Shop vor, dessen Wissensbasis Produkte, Versand, Garantien, Rücksendungen, Zahlungen und Konten umfasst. Ein Käufer fragt, ob ein beschädigtes Produkt nach 30 Tagen zurückgegeben werden kann. Mehrere Dokumente erwähnen Beschädigungen, Rückerstattungen, Garantien oder Fristen – alle scheinen für eine Vektorsuche relevant zu sein, doch nur einige beantworten die Frage. Metadatenfilter helfen hier, doch zunächst muss geklärt werden, woher der Filterwert stammt.

Herkunft des Filters

Manchmal weiß die Anwendung bereits Bescheid. Ein Kunde auf der Rücksendehilfeseite, der diese Frage stellt, liefert Ihnen die entsprechende Kategorie kostenlos – ohne zusätzliche Modellaufrufe.

User Question +Known Application Context
      ↓
category = returns
      ↓
Vector Search

Das ausgewählte Produkt, die Region, die Sprache oder der App-Bereich können dieselbe Funktion erfüllen.

Andere Systeme verfügen nur über die Worte des Benutzers. Ein allgemeiner Chatbot öffnet sich leer, und es gibt keine Anzeige dafür, dass die richtige Kategorie returns ist. In einer kleinen, fokussierten Wissensdatenbank ist das in Ordnung: Man führt eine einfache semantische Suche ohne Filter durch.

User Question
      ↓
Query Embedding
      ↓
Vector Search
      ↓
Relevant Results

Wenn die Datenmenge wächst, überschneiden sich die Themen. Rücksendungen, Garantien, Rückerstattungen und beschädigte Waren vermischen sich miteinander. In solchen Fällen kann ein einfacher Schritt zur Verständnis oder Klassifizierung der Anfrage vor der Suche helfen. Das System kennt bereits seine eigenen Kategorien (Rücksendungen, Garantie, Versand, Zahlungen), und ein einfaches Modell, Regeln oder ein LLM können die wahrscheinlichsten Kategorien auswählen.

User Question
      ↓
Query Understanding
      ↓
returns
      ↓
Vector Search
      ↓
category = returns

Dieser Schritt kostet Zeit und Geld – fügen Sie ihn daher nicht in jede RAG-App ein, nur weil eine Filterfunktion vorhanden ist. Wenn bereits eine einfache semantische Suche ausreicht, halten Sie den Ablauf einfach.

Noch eine Vorsichtsmaßnahme: Wenn der Klassifikator sich nicht sicher ist, zwingen Sie keine Kategorie auf. Ein beschädigtes Produkt kann sowohl eine Rückgabe als auch einen Garantiefall erfordern – suchen Sie daher in beiden Fällen oder überspringen Sie den Filter. Ein falscher Filter kann das einzige Dokument verbergen, das die Antwort enthält. Das Ziel ist es nicht, alles zu filtern, sondern nur dann zu filtern, wenn Sie einen zuverlässigen Grund dafür haben.

Speichern von Metadaten mit Vektoren

Filtern funktioniert nur, wenn die Metadaten zusammen mit den Embeddings gespeichert werden. Ein Abschnitt aus der Rückgabepolitik kann den Dokumentennamen, die Kategorie, die Region und den Status enthalten.

{
  "document_name": "Return Policy",
  "category": "returns",
  "region": "us",
  "status": "active",
  "chunk_text": "Damaged products can be returned within the allowed return period."
}

Die beiden erfüllen unterschiedliche Aufgaben. Die Einbettung erfasst die Bedeutung, wodurch Ausdrücke wie „ein Item zurücksenden“ und „ein Produkt zurückgeben“ in der Nähe voneinander landen. Metadaten geben an, wohin der Inhalt gehört: hier, Rückgaben, US-Region, aktuelles Dokument.

Abfragen filtern

Eine einfache Amazon S3 Vectors-Abfrage findet die nächsten Vektoren im gesamten Index.

const result = await s3Vectors.send(
  new QueryVectorsCommand({
    vectorBucketName: "rag-demo-vectors",
    indexName: "store-knowledge",
    queryVector: {
      float32: queryEmbedding,
    },
    topK: 5,
    returnMetadata: true,
    returnDistance: true,
  })
);

Falls Sie sicher wissen, dass die Suche in den Ergebnissen bleiben soll, geben Sie diese Bedingung direkt in die Abfrage ein.

const result = await s3Vectors.send(
  new QueryVectorsCommand({
    vectorBucketName: "rag-demo-vectors",
    indexName: "store-knowledge",
    queryVector: {
      float32: queryEmbedding,
    },
    topK: 5,
    filter: {
      category: "returns",
    },
    returnMetadata: true,
    returnDistance: true,
  })
);

Nun kombiniert die Abfrage beide Signale.

(Meaning of the Question + category = returns)
        ↓
Amazon S3 Vectors
        ↓
Relevant Return Information

S3 Vectors bewertet Metadatenbedingungen zusammen mit der Ähnlichkeit, wodurch es nach ähnlichen Vektoren sucht, die auch den Kriterien entsprechen, anstatt zunächst die nächstgelegenen Ergebnisse zu nehmen und die unerwünschten zu ignorieren. Das ist nützlich, wenn eine Datenbasis viele verwandte Themen enthält.

Filterbare und nicht-filterbare Felder

Nicht jedes Feld sollte suchbar sein. Kategorie, Region und Status eignen sich gut als Filter, da sie die Ergebnissuche einengen.

{
  "category": "returns",
  "region": "us",
  "status": "active"
}

In S3 Vectors ist die Metadatenfilterung standardmäßig aktiv, es sei denn, Sie geben ansonsten Anweisungen. Große Textabschnitte sowie ähnlicher Kontext sollten besser unfilterbar bleiben, da Sie sie zusammen mit dem Ergebnis zurückhaben möchten, ohne auf ihnen filtern zu müssen.

{
  "chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
  nonFilterableMetadataKeys: ["chunk_text"],
}

Der Text wird weiterhin zurückgegeben, wenn Metadaten angefordert werden. Eine Möglichkeit, sich daran zu erinnern: Filterbare Metadaten eingrenzen die Suche, nicht filterbare Metadaten liefern anschließend das gewünschte Ergebnis.

Mehr als eine Bedingung

Oft reicht bereits eine Bedingung aus. Wenn Sie mehr wissen, kombinieren Sie sie – beispielsweise nur aktive Rückgabengehalte aus den USA.

filter: {
  $and: [
    {
      category: {
        $eq: "returns",
      },
    },
    {
      region: {
        $eq: "us",
      },
    },
    {
      status: {
        $eq: "active",
      },
    },
  ],
}

Falls eine Frage zu Rücksendungen oder der Garantie gehört, verwenden Sie $in.

filter: {
  category: {
    $in: ["returns", "warranty"],
  },
}

S3 Vectors bietet außerdem $or, $exists sowie mehrere Vergleichsoperatoren an. Die meisten RAG-Apps benötigen nur eine oder zwei Bedingungen.

Metadaten planen beim Einlesen

Metadaten sind viel leichter zu nutzen, wenn man bereits beim Einlesen der Dokumente daran denkt. Im Beispiel des Speichers reicht möglicherweise eine einfache Struktur aus.

{
  "document_name": "Return Policy",
  "category": "returns",
  "region": "us",
  "status": "active",
  "chunk_text": "..."
}

Man benötigt nicht jeden möglichen Detail für jeden Vektor. Fragen Sie sich, ob ein Feld tatsächlich bei der späteren Suche helfen kann. Wenn es die Suche nicht eingrenzt, muss es vermutlich auch nicht filterbar sein.

Wie die beiden Elemente zusammenpassen

Metadaten ersetzen die semantische Suche nicht. Ähnlichkeit erfasst die Bedeutung der Frage, während Metadaten eine nützliche Grenze setzen, wenn man weiß, wo die Antwort herkommen sollte.

User Question
      ↓
(Semantic Similarity + Reliable Metadata Context)
      ↓
Amazon S3 Vectors
      ↓
More Focused Results

Das Schlüsselwort ist Zuverlässigkeit. Wenn die App bereits die Kategorie, Region oder das Produkt kennt, ist das Filtern einfach und effektiv. Hat sie nur die Frage, muss zunächst entschieden werden, ob allein die Ähnlichkeit ausreicht. Bei größeren oder unübersichtlicheren Datensätzen kann das Abfragenverständnis zunächst nützliche Metadaten finden, und unsichere Ergebnisse lassen sich sicherer mit einer breiteren Suche als mit dem falschen Filter handhaben.

Ein praktischer Test hilft dabei zu entscheiden, ob man überhaupt einen Klassifikator benötigt: Sammeln Sie zwanzig echte Fragen, führen Sie sie mit und ohne Kategoriefilter durch und vergleichen Sie die besten Ergebnisse manuell. Wenn die unfiltrierten Antworten bereits fast immer auf das richtige Dokument verweisen, kann man den zusätzlichen Schritt überspringen. Wenn verwandte Kategorien sich gegenseitig ausschließen, ist das ein Zeichen, ein Filter hinzuzufügen, und dieselben zwanzig Fragen bilden dann eine Regressionssammlung für spätere Änderungen.\n\n## Schluss

Die Vektorähnlichkeit ist wichtig, weil Menschen selten die exakten Wörter eines Dokuments wiederholen. Doch echte Wissensbasen enthalten viele miteinander verbundene Arten von Informationen, und Metadaten liefern der semantischen Suche zusätzlichen Kontext. Nicht jede Abfrage erfordert einen Filter oder einen zusätzlichen Modellaufruf. Verwenden Sie die bekannten Metadaten direkt und fügen Sie Klassifizierungen nur dann hinzu, wenn sich das lohnt. Es geht nicht um mehr Komplexität, sondern um eine Suche, die an der richtigen Stelle sucht, wenn Sie genügend Informationen haben, um anzugeben, wo das ist.