Des articles pour ceux qui
livrent le stack
Textes originaux sur React, Node.js, TypeScript et AI — issus de la même pratique que notre logiciel opérateur. Corps des articles en anglais.
Tag : chunking
Le chunking constitue l’ensemble du système de récupération : le piège Spring AI 800 contre 128
Lorsque le splitter génère des blocs de 800 tokens tandis que l’embedder n’en lit que 128, le système de récupération ne peut pas prendre en compte la partie tronquée. La taille des blocs, la fenêtre et l’overlap font partie intégrante du système de récupération.
3727 motsLireBudgets de tokens contre limites sémantiques : comment effectuer correctement la segmentation des chunks dans RAG
Apprenez en quoi la tokenisation et le chunking diffèrent, quelle est leur place dans un pipeline RAG, ainsi que comment diviser les documents selon leur sens tout en mesurant leur taille à l’aide du tokeniseur réel.
2515 motsLireDiviser les documents en parties selon les éléments de preuve nécessaires à une réponse
Choisissez les limites des blocs en examinant quels faits doivent être transmis ensemble, puis testez la récupération dans le cadre d’un budget de contexte fixe.
592 motsLireConception d’un pipeline RAG ancré dans la réalité : segmentation en blocs, filtrage et streaming.
Une présentation détaillée d’une base RAG ancrée dans la réalité : segmentation en blocs tenant compte de la structure, division sécurisée des tokens, filtrage de récupération en trois étapes, réassemblage des éléments associés, conception des prompts et streaming.
3895 motsLire
À propos de ces articles
Devis en 24 h
Besoin du même stack en couche opérateur ? Envoyez le brief — devis sous 24 h.