Startseite / Artikel

Chunking: Die übersehene RAG-Entscheidung hinter falschen Antworten

Warum eine schlechte Aufteilung von Dokumenten die Qualität der Suche stark beeinträchtigt, wie strukturbewusstes und eltern-kind-basiertes Chunking hilft sowie wie man überprüfen kann, ob die gewählten Chunks funktionieren.

Verlag: REACTAPP.TOP7 Min. Lesezeit1686 Wörter

Quellen: Chunking: The RAG Decision Everyone Skips, and Shouldn’t

Wenn ein RAG-Chattenbot zuversichtlich eine falsche Antwort gibt, ist die übliche Reaktion, das Modell dafür verantwortlich zu machen. Die Leute wechseln auf ein größeres LLM, überarbeiten den Prompt oder versuchen ein anderes Embedding-Modell. Oft berührt das nichts an der eigentlichen Ursache, die bereits früher in der Pipeline liegt – genau zu dem Zeitpunkt, als das Dokument in Teile zerlegt wurde. Dieser Schritt wird Chunking genannt. Er hat einen erheblichen Einfluss auf die Qualität der Informationsabrufung und wird leicht übersehen, weil er vor den Teilen kommt, die die Leute normalerweise anpassen.

Ein konkreter Fall macht das deutlich. Ein Kunde fragt einen Support-Bot, ob ein beschädigtes Produkt erstattet werden kann. Der Bot antwortet, dass Erstattungen innerhalb von 30 Tagen möglich sind. Das klingt in Ordnung, doch die Richtlinie besagt außerdem, dass diese Regel nicht auf Produkte gilt, die als Endverkauf markiert sind. Der Bot hat diesen Punkt nie gesehen. Das Modell trägt keine Schuld – der Satz befand sich einfach in einem anderen Chunk als jener, der abgerufen wurde.

Im Folgenden wird erläutert, was Chunking ist, warum die naive Version genau auf diese Weise versagt und wie Produktionsysteme damit umgehen. Dabei werden Herstellerspezifikationen sowie Framework-Dokumentationen herangezogen, und wo immer möglich wird auf Vermutungen verzichtet.

Was Chunking ist

Ein KI-System, das zunächst in Ihren Dokumenten sucht, muss diese in kleinere Einheiten aufteilen. Zwei praktische Faktoren treiben dies voran.

Der erste ist die Genauigkeit der Suche. Wenn ein ganzes Dokument als eine Einheit eingebettet und gespeichert wird, liefert eine Suche nach „Rückerstattungspolitik“ das gesamte Dokument – wobei der größte Teil davon irrelevant ist. Man möchte den spezifischen Abschnitt, der die Frage beantwortet. Die Dokumentation zu Microsofts Azure AI Search macht diesen Punkt direkt deutlich: Selbst wenn ein Dokument innerhalb der Eingabegrenze des Modells passt, führt eine Aufteilung in kleinere Teile oft zu besseren Ergebnissen, da ein einziger Vektor viele verschiedene Unterthemen nicht gut darstellen kann.

Der zweite Punkt ist die strenge Eingabegrenze von Embedding-Modellen. Das Chunking verhindert, dass Inhalt außerhalb dieser Grenze stillschweigend abgeschnitten wird.

Der Ablauf verläuft dann wie folgt: Ein Dokument wird in Blöcke aufgeteilt. Jeder Block wird zu einem Vektor, zu einem Embedding, und die Vektoren werden in einer Vektordatenbank gespeichert. Auch die Frage eines Benutzers wird eingebettet, und das System holt die Blöcke ab, die nach der jeweils verwendeten Suchmethode am besten ranken – sei es reine Vektorähnlichkeit, eine hybride Suche, die Vektoren mit Schlüsselwörtern kombiniert, oder eine zusätzliche Neurankierung.

Diese letzte Schritt ist genau der Punkt, an dem die Entscheidungen bezüglich des Chunkings zum Problem werden. Das System kann nur das abrufen, was ihm gegeben wurde. Wenn die Belege für eine Antwort über zwei Blöcke verteilt sind und nur ein Block abgerufen wird, antwortet das Modell auf Grundlage eines unvollständigen Kontexts und hat keine Möglichkeit zu erkennen, dass das fehlende Stück an einem anderen Ort vorhanden ist.

Warum der naive Ansatz versagt

Die einfachste Methode ist das Aufteilen in Blöcke mit fester Größe. Dabei wird der Text alle N Token oder Zeichen aufgeteilt, unabhängig von dem Inhalt. Sie ist beliebt, weil sie einfach und vorhersehbar ist und nur sehr wenig zusätzliche Verarbeitung erfordert.

Sogar Azure, dessen Leitlinien das Aufteilen in Blöcke mit fester Größe als guten Ausgangspunkt bezeichnen, macht klar, dass die richtige Größe und der Überschneidungsbereich von der Struktur des Inhalts sowie vom Typ der von den Nutzern gesendeten Abfragen abhängen. Hochstrukturierte Daten benötigen möglicherweise eine andere Behandlung als fließender Prosa. Der Schlüsselpunkt ist, dass kleiner nicht automatisch besser ist. Zu feine Aufteilung kann Fakten voneinander trennen, die zusammen gelesen werden müssen – genau das ist bei der Rückerstattungspolitik passiert.

Wiederholen wir dieses Beispiel. Angenommen, der Satz über 30 Tage kommt in einem Block an und die Ausnahme für den Endverkauf in einem anderen. Eine Abfrage nach Rückerstattungen stimmt aufgrund des Wortes „Rückerstattung“ stark mit dem ersten Block überein. Der Block mit der Ausnahme wird nie herangezogen. Das Modell handelt richtig auf der Grundlage dessen, was es erhalten hat, doch das Erhaltene war unvollständig.

Das ist der zentrale Fehler beim Chunking: Die Qualität der Abfrageergebnisse wird durch die Qualität der Blöcke begrenzt, unabhängig davon, wie stark das Embedding-Modell oder das anschließende LLM ist. Teams verbringen Wochen damit, Embeddings anzupassen und neu zu ranken, obwohl das eigentliche Engpassproblem bereits einen Schritt früher liegt – nämlich bei der Aufteilung der Quellen.

Was Produktionsysteme tun

Zwei Muster tauchen immer wieder auf.

strukturbewusstes Chunking

Der Ansatz beendet die Behandlung eines Dokuments als unausdifferenzierte Zeichenkette. Anstatt bei jedem N Token zu schneiden, teilt er zunächst an natürlichen Grenzen wie Überschriften, Abschnitten und Paragraphen auf und wendet eine Größenbeschränkung erst an, wenn ein Abschnitt zu lang wird. Azure AI Search bietet dies als seine Document Layout-Fähigkeit an, bei der ein Dokumentintelligenzmodell die Struktur erkennt und kohärente Abschnitte für das spätere Aufteilen bereitstellt.

Als Grundlage vor der Einführung von Strukturwahrnehmung empfiehlt Microsofts aktuelle Richtlinie, mit etwa 512 Token bei rund 25 Prozent Überschneidung zu beginnen, wobei betont wird, dass sich die besten Einstellungen nach Inhalt und Anwendungsfall richten.

Eltern-Kind-Aufteilung

Man bezeichnet dies auch als hierarchische oder von klein nach groß erfolgende Abfrage – dieses Verfahren angeht dasselbe Problem von einer anderen Seite her an. Anstatt einen einzigen, flachen Datensatz zu holen und zu hoffen, dass er alle relevanten Informationen enthält, sucht das System zunächst nach einem kleinen, präzisen Teildatensatz für eine genaue Abgleichung und erweitert das Ergebnis anschließend um den größeren übergeordneten Datensatz, um den vollen Kontext zu erhalten.

Mehrere beliebte Tools implementieren dieses Verfahren:

  • LlamaIndex erstellt mithilfe eines HierarchicalNodeParser eine Hierarchie von Knoten von grob bis fein. Nur die kleinen, endgültigen Datensätze werden für die Vektorabfrage indiziert, während ihre größeren übergeordneten Datensätze in einem separaten Dokumentenspeicher aufbewahrt werden. Ein AutoMergingRetriever fügt anschließend den übergeordneten Datensatz wieder hinzu, sobald genügend seiner Kinderdatensätze zusammen abgerufen wurden.
  • LangChains ParentDocumentRetriever verfolgt denselben Ansatz. Er embeddet kleine Unterabschnitte für gezielte Suche und sucht bei einer Abfrage das übergeordnete Dokument auf, aus dem jeder Treffer stammt, und gibt diesen größeren Text zurück, um eine Balance zwischen präziser Suche und ausreichender Länge zum Beibehalten des Kontexts zu erreichen.
  • Amazon Bedrock Knowledge Bases beschreibt dieses Muster in eigenen Worten: Zunächst werden die Unterabschnitte abgerufen und anschließend durch ihre umfassenderen Eltern ersetzt, da kleine Embeddings präziser sind, während das Modell weiterhin umfassenden Kontext benötigt.
  • Die Aufteilung funktioniert, weil kleine und große Blöcke unterschiedliche Stärken haben. Kleine Blöcke liefern präzise, fokussierte Embeddings und unterstützen eine hochpräzise Suche. Große Blöcke geben dem Modell genügend umliegenden Text, damit es nicht aufgrund eines verkürzten Fragments antwortet. Die Eltern-Kind-Strukturierung ermöglicht es jedem Blocktyp, das zu tun, wofür er am besten geeignet ist, anstatt einen bestimmten Blocktyp dazu zwingen zu müssen, sowohl für die Suche als auch für die Generierung zu dienen.

    Allerdings gilt das nicht universell. Für Korpora, die bereits aus selbstständigen Einheiten bestehen – wie FAQ-Einträgen oder Produktlisten – oder für streng tabellarische und schemabasierte Daten führt der Schritt der Erweiterung durch Elternblöcke in der Regel zu zusätzlichem Aufwand, ohne dass ein entsprechender Nutzen entsteht.

    Es gibt keine einzige beste Einstellung

    Keine Blöckengröße oder -strategie ist überall am besten. Was geeignet ist, hängt davon ab, wie Ihre Dokumente strukturiert sind, welche Fragen die Nutzer tatsächlich stellen, wie Ihre Such- und Neubewertungssysteme aufgebaut sind sowie wie Sie das gesamte System bewerten.

    Semantisches Chunking, bei dem Text nach Bedeutung und nicht nach Struktur oder Größe gruppiert wird, gilt oft als die fortgeschrittendere Lösung. AWS beschreibt es als unterstützte Strategie neben fester-Größen- und hierarchischem Chunking, doch es erfordert zusätzliche Parameter und bringt Kompromisse mit sich. Testen Sie es daher an Ihren eigenen Dokumenten und Abfragen, anstatt davon auszugehen, dass es immer die bessere Wahl ist. Eine ausgefeilte Strategie hilft nur, wenn sie ein tatsächliches Problem löst.

    Überprüfen, ob das Chunking funktioniert

    Die Wahl einer Strategie ist keine einmalige Entscheidung. Sie muss ständig gemessen und überprüft werden. Sobald das System im Einsatz ist, lohnt es sich, drei Aspekte zu verfolgen.

    • Rückrufrate bei der Informationsabrufung. Nehmen Sie eine beliebige Frage: Enthält die gesammelte Menge an generierten Chunkings die für eine richtige Antwort notwendigen Informationen? Falls nicht, kann keine weitere Verarbeitung der Anfrage diese Antwort retten.
  • Kontextgenauigkeit. Von den zurückgegebenen Abschnitten – wie viel davon war tatsächlich relevant? Eine geringe Genauigkeit bedeutet in der Regel, dass die Abschnitte zu groß oder zu ungenau abgegrenzt sind und damit auch unwichtigen Text mit einschließen.
  • Qualität der End-zu-Ende-Antwort. Hat das Modell den richtigen Abschnitt korrekt verwendet? Dadurch werden Probleme bei der Erstellung der Antwort statt nur beim Abrufen erkannt, und indem man dies von den anderen beiden Aspekten trennt, kann man feststellen, ob eine schlechte Antwort auf das Aufteilen in Abschnitte, das Abrufen oder die Erstellung zurückzuführen ist.
  • Durch das getrennte Verfolgen dieser drei Aspekte – anstatt nur zu prüfen, ob die endgültige Antwort richtig erscheint – wird das Aufteilen in Abschnitte von einer Vermutung zu etwas, an dem man iterativ arbeiten kann.

    Eine einfache Möglichkeit zum Start

    Ein günstiges erstes Experiment hilft. Sammeln Sie zwanzig oder dreißig echte Fragen zusammen mit den Abschnitten, die sie beantworten sollten. Führen Sie denselben Datensatz mit zwei oder drei Chunking-Konfigurationen durch, wie z. B. feste Größe mit Überschneidung, strukturbezogener Aufteilungsansatz sowie Erweiterung in Eltern-Kind-Strukturen. Zählen Sie für jede Konfiguration, wie oft die benötigten Belege im zurückgeholten Datensatz vorkommen. Die Konfiguration, die bei Ihren eigenen Dokumenten am besten funktioniert, ist wertvoller als jede allgemeine Empfehlung.

    Was man beachten sollte

    Chunking ist kein Vorausverarbeitungsschritt, den man einmal einrichtet und dann vergisst. Es handelt sich um die erste Entscheidung eines Systems bei der Informationsabrufung, und alles weitere – von Embeddings über Neurangieren bis hin zur Generierung – leidet unter den dort entstandenen Fehlern.

    Ein starkes Embedding-Modell kann ein schlecht chunktes Dokument nicht reparieren. Wenn die Antworten eines RAG-Systems zufällig, unvollständig oder eindeutig falsch erscheinen, prüfen Sie die Chunking-Einheiten, bevor Sie das Modell anfassen.

    Quellen

    Die oben genannten Informationen stammen aus der öffentlichen Dokumentation von Microsoft Azure AI Search, einschließlich deren Anleitungen zur Aufteilung von Dokumenten in Blöcke sowie zum Skill „Document Layout“, aus dem Repository Azure-Samples zur Gestaltung und Bewertung von RAG-Lösungen, aus den LlamaIndex-Seiten zu automatischen Zusammenführungsfunktionen für Suchmaschinen und Knotenanalysatoren, aus der LangChain-Dokumentation zum ParentDocumentRetriever sowie aus der Amazon Bedrock-Seite zur Funktionsweise der Inhaltsteilung in Wissensbasen. Die Einstellungen ändern sich zwischen den Versionen, daher sollten Sie diese immer anhand der aktuellen Dokumentation überprüfen.