Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Chunking
Qualität von RAG zur Indexzeit: Blöcktypen, Reinigung und Suchetiketten
Qualität von RAG zur Indexzeit: Erstellung von Text-, Tabelle- und Bildblöcken, Beseitigung von Parser-Störungen sowie Hinzufügen von von LLMs erstellten Suchetiketten, die die Anzahl der fehlgeschlagenen Abfragen etwa halbierten.
12 Min. LesezeitDrei Gründe, warum RAG-Systeme in der Praxis versagen: fragmentierter Kontext, Abweichungen und Fehlnutzung.
Drei Gründe, warum RAG in der Produktion versagt: fragmentierter Kontext durch Chunking, Abweichungen im Laufe des Wachstums der Wissensdatenbank sowie Fehlgebrauch trotz guter Suche – mit Lösungen auf Ebene der Schichten.
11 Min. LesezeitMultiDocFusion: Hierarchiebewusstes Chunking für RAG bei langen PDF-Dateien.
MultiDocFusion bewahrt den Abschnittskontext in jedem Teilabschnitt eines langen PDFs: Layouterkennung, OCR, ein Header-Tree-LLM sowie DFS-Gruppierung, um eine 8-15% bessere RAG-Aufrufleistung zu erzielen.
7 Min. LesezeitBlockgröße und Überschneidung in RAG: Schrittweite, Token-Limits und Schnittstellen
Wie man ein langes Buch für RAG in Teile aufteilt: Größe und Überschneidung auswählen, „Stride“ verstehen, unter der Begrenzung der Embedding-Token bleiben, Metadaten speichern und die Überschneidung bei einer tatsächlichen Aufteilung betrachten.
8 Min. LesezeitChunking-Strategien für produktives RAG: Feste Größen, semantische Ansätze und Eltern-Kind-Strukturen.
Eine praktische Übersicht über das RAG-Chunking – von festen Größen und rekursivem Aufteilen bis hin zu Eltern-Kind-Strukturen, Präpositionalphrasen, spätem Chunking, RAPTOR, Tabellen, Code und Benchmarking.
22 Min. LesezeitEltern-Kind-Chunking und hierarchische Indizierung für eine bessere RAG-Auswertung
Warum kleine Datenblöcke das Match gewinnen, aber die richtige Antwort verfehlen, und wie Eltern-Kind-Chunking, Deduplizierungsverfahren sowie hierarchische Indizierung den Kontext bei der RAG-Auswertung wiederherstellen.
10 Min. LesezeitWarum RAG bei echten Dokumenten versagt: Chunking, hybrider Suchalgorithmus, Neuranking und Bewertungsmethoden.
Warum RAG bei echten Dokumenten versagt und die Methoden, um dies zu beheben: ein zweiphasiges Design, Entscheidungen bei der Aufteilung in Blöcke, hybrische Suche, Neubewertung sowie Bewertung der Suche allein.
7 Min. LesezeitRAG mit LangChain von Grund auf: Lader, Blöcke, Embeddings, Bewertung
Erstellen Sie schrittweise ein Dokumenten-FAQ-System: Laden von Dateien, Aufteilung in Blöcke, Embeddings, die Phasen der Indizierung und Abfrage sowie Methoden zur Bewertung von Abfragen und Antworten.
8 Min. LesezeitChunking: Die übersehene RAG-Entscheidung hinter falschen Antworten
Warum eine schlechte Aufteilung von Dokumenten die Qualität der Suche stark beeinträchtigt, wie strukturbewusstes und eltern-kind-basiertes Chunking hilft sowie wie man überprüfen kann, ob die gewählten Chunks funktionieren.
7 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.