Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: Chunking
Jakość RAG w czasie tworzenia indeksu: typy fragmentów, czyszczenie danych i etykiety do wyszukiwania
Jakość RAG w czasie indeksowania: tworzenie fragmentów tekstu, tabel i obrazów, usuwanie szumów generowanych przez parser oraz dodawanie etykiet do wyszukiwania napisanych przez LLM, które w przybliżeniu zredukowały o połowę nieudane wyszukiwania.
12 min czytaniaTrzy przyczyny niepowodzeń systemów RAG w praktyce: fragmentaryczny kontekst, dewiacje i niewłaściwe wykorzystanie.
Trzy sposoby, w jakie systemy RAG do produkcji zawodzą: fragmentaryczny kontekst spowodowany dzieleniem na fragmenty, zmiany w bazie wiedzy w miarę jej rozwoju oraz niewłaściwe wykorzystanie pomimo skutecznego wyszukiwania, wraz z rozwiązaniami na poziomie poszczególnych warstw.
11 min czytaniaMultiDocFusion: segmentacja uwzględniająca hierarchię do zastosowań RAG w długich plikach PDF.
MultiDocFusion zachowuje kontekst sekcji w każdym fragmencie długiego PDF: wykrywanie układu, OCR, drzewo nagłówków z wykorzystaniem LLM oraz grupowanie metodą DFS, co zapewnia o 8-15% lepsze wyszukiwanie RAG.
7 min czytaniaRozmiar kawałków i nakładanie się w RAG: krok, limity tokenów i łączenia
Jak podzielić długą książkę na fragmenty dla RAG: jak wybrać rozmiar i stopień nakładania się, co to jest krok przesuwu, jak uniknąć przekroczenia limitu tokenów do embeddingowania, jak przechowywać metadane oraz jak zobaczyć stopień nakładania się w rzeczywistym podziale.
8 min czytaniaStrategie chunkingu w RAG do użycia w produkcji: o stałej wielkości, semantyczne oraz rodzic-dziecko
Praktyczny przegląd techniki chunkingu w RAG, od dzielenia na elementy o stałej wielkości i rozwiązań rekurencyjnych po metody typu rodzic-dziecko, propozycje, późne chunkingi, RAPTOR, tabele, kod oraz testy wydajności.
22 min czytaniaPodział na fragmenty rodzic-dziecko i indeksowanie hierarchiczne dla lepszej funkcjonalności systemu RAG.
Dlaczego małe fragmenty wygrywają w procesie wyszukiwania, ale tracą sens, oraz w jaki sposób podział na fragmenty rodzic-dziecko, eliminacja duplikatów i indeksowanie hierarchiczne przywracają kontekst w systemie RAG.
10 min czytaniaDlaczego RAG zawodzi przy rzeczywistych dokumentach: dzielenie na fragmenty, wyszukiwanie hybrydowe, ponowna sortacja oraz metody oceny.
Dlaczego RAG zawodzi przy rzeczywistych dokumentach i wzorce, które to naprawiają: projekt dwufazowy, wybór sposobu dzielenia na fragmenty, wyszukiwanie hybrydowe, ponowna klasyfikacja oraz ocena samego procesu wyszukiwania.
7 min czytaniaRAG z LangChain od zera: narzędzia do ładowania, fragmenty danych, embeddingi, ocena.
Buduj system Q&A dla dokumentów krok po kroku: ładowanie plików, dzielenie na fragmenty, embeddingi, fazy indeksowania i wyszukiwania oraz sposoby oceny wyników wyszukiwania i odpowiedzi.
8 min czytaniaDzielenie na elementy: pomijana decyzja RAG leżąca u podstaw błędnych odpowiedzi
Dlaczego dzielenie dokumentów negatywnie wpływa na jakość wyszukiwania, w jaki sposób podejście uwzględniające strukturę oraz dzielenie na elementy rodzic-dziecko pomagają, oraz jak sprawdzić, czy te elementy są skuteczne.
7 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.