Dokumente in Abschnitte einteilen, je nachdem, welche Beweise und Antworten benötigt werden
Wählen Sie die Grenzen der Teilbereiche aus, indem Sie prüfen, welche Fakten zusammen übertragen werden müssen, und testen Sie anschließend die Abruffunktion unter einer festgelegten Kontextgrenze.
Stellen Sie sich vor, Sie fragen ein Bereitstellungshandbuch, wann eine Dienstversion zurückgesetzt werden sollte. Die Suche liefert die Anweisung zum Zurücksetzen, doch die Ausnahme findet sich im nächsten Abschnitt: Die Anweisung gilt nur nach dem Scheitern einer bestimmten Gesundheitsprüfung. Der abgerufte Text ist relevant, doch die Antwort kann dennoch falsch sein.
Dies ist das zentrale Problem der Chunking-Strategie. Die Einheit, die leicht indiziert werden kann, unterscheidet sich möglicherweise von der Einheit, die ausreicht, um etwas zu erklären.
Vor der Anpassung eines Embedding-Modells sollten Sie prüfen, was Ihre Chunking-Einheiten dem Modell zur Verfügung stellen.
Begonnen wird mit der tatsächlichen Struktur
Für einen technischen Artikel bilden ein Überschriftsblock und seine Absätze einen sinnvollen Ausgangspunkt. Ein Codebeispiel sollte zusammen mit der Erklärung seiner Annahmen bereitgestellt werden. Eine Tabelle benötigt ausreichende Beschriftungen, um die Werte interpretieren zu können. Eine Ausnahme sollte in der Nähe der Regel stehen, die sie modifiziert.
Das hängt davon ab, vertrauenswürdigen Quelltext wiederzuerlangen. Wenn Ihr Parser bereits eine Tabelle in eine unklare Sequenz umgewandelt hat, verteilen kleinere Abschnitte die Unklarheit nur weiter.
Ein praktischer erster Ansatz besteht darin, an Abschnittsgrenzen zu teilen, benachbarte Absätze innerhalb eines Größenlimits zusammenzufassen und überdimensionierte Abschnitte an Satzgrenzen aufzuteilen. Codeblöcke und Tabellen erfordern eine besondere Behandlung, wenn sie das Limit überschreiten; ihre Struktur muss beibehalten werden und die für die Interpretation jedes Teils notwendigen Beschriftungen wiederholt werden.
Das ist ein Ausgangsdesign, kein universelles Optimum. Ein Glossar und ein Incidents-Bericht organisieren die Belege auf andere Weise.
Nutzen Sie Überlappungen aus einem bestimmten Grund
Durch Überschneidungen kann ein Satz erhalten bleiben, der sonst eine Grenze überschreiten würde. Dadurch entsteht außerdem wiederholter Text. Bei ausreichender Überschneidung können mehrere der obersten Ergebnisse im Wesentlichen denselben Absatz enthalten, wodurch das Kontextbudget verbraucht wird, ohne neue Informationen hinzuzufügen.
Messen Sie sowohl die nützliche Abdeckung als auch die Relevanz der einzelnen Textabschnitte. Wenn fünf abgerufene Abschnitte alle den Auslöser für ein Rollback erklären, aber keiner die Ausnahme enthält, löst das Abrufen weiteren gleichen Textes das Problem nicht.
Nach dem Abruf identifizieren Sie überschneidende Passagen aus derselben Quelle und fügen oder entfernen Sie Duplikate, bevor Sie die Anfrage erstellen. Behalten Sie deren Quellorte bei, damit Zitate nachvollziehbar bleiben.
Abrufen Sie gezielt und erweitern Sie bewusst
Ein kurzer Abschnitt kann ein gutes Suchziel sein, da er sich auf eine einzige Idee konzentriert. Der umliegende Abschnitt kann einen besseren Kontext für die Erstellung von Ergebnissen bieten, da er Definitionen und Zusatzinformationen liefert.
Ein Ansatz besteht darin, jedem kleinen Abschnitt einen Identifikator für den übergeordneten Abschnitt zuzuweisen. Zuerst werden die kleineren Einheiten durchsucht, und bei Bedarf werden die ausgewählten Ergebnisse in ihre übergeordneten Abschnitte erweitert, um mehr Kontext zu liefern. Auch diese Erweiterung erfordert Ressourcen; das Laden eines gesamten Dokuments für jedes Ergebnis verlagert lediglich das ursprüngliche Problem auf ein späteres Stadium.
Für das Implementierungshandbuch kann ein Suchergebnis die Bedingung für einen Rollback angeben. Der übergeordnete Abschnitt kann dann die Ausnahmen sowie die Wiederherstellungs Schritte bereitstellen. So erhält man eine kohärente Erklärung, ohne dass der Suchmechanismus einen riesigen Dokumententeil bewerten muss.
Konfigurationen mit denselben Fragen vergleichen
Erstellen Sie Fragen, die Grenzen aufzeigen: eine Definition, einen Vergleich zwischen Abschnitten, eine Abfrage in einer Tabelle sowie eine Regel mit einer Ausnahme. Bezeichnen Sie die Beweise, die jede Antwort erfordert.
Vergleichen Sie eine einfache Baseline mit fester Größe mit Ihrer strukturbewussten Version. Halten Sie das Korpus, die Fragen sowie den endgültigen Kontextbudget konstant. Prüfen Sie, ob jede Konfiguration ausreichend Beweise liefert, wie viel Duplikation sie verursacht und welche Antworten aufgrund des bereitgestellten Kontexts weiterhin unmöglich sind.
Verschließen Sie bei der Festlegung von Produktionsbudgets keine Wörter mit Modelltokens. Ein Wortzähler ist für ein Prototyp nützlich; der endgültige Prompt muss sich an den Tokenisierer sowie an die Grenzen des Modells halten, das ihn verarbeitet.
Sobald die Beweisdaten zuverlässig sind, kann hybrides Auffinden den Nutzern helfen, sie sowohl über präzise Fachbegriffe als auch in alltäglicher Sprache zu finden. Eine bessere Auffindung ist am nützlichsten, wenn die zurückgegebenen Abschnitte bereits lesenswert sind.