Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: tokenization
Praktische Hinweise: Glitch-Token im Vergleich zu Fragile Tokens
Schrittweise Anleitung zu den Praktischen Hinweisen: Glitch-Token im Vergleich zu Fragile Tokens – Verträge, Überprüfungen sowie Code-Plätze für Teams, die dieses Muster einsetzen.
6755 WörterArtikel lesenToken-Budgets gegen semantische Grenzen: Richtiges Aufteilen von RAG-Blöcken
Erfahren Sie, wie sich Tokenisierung und Chunking unterscheiden, wo jede Methode in einem RAG-Pipeline-Workflow eine Rolle spielt, und wie Dokumente nach Bedeutung aufgeteilt werden können, während die Größe mit dem echten Tokenisierer gemessen wird.
2515 WörterArtikel lesenEin Byte-Paar-Encodierungs-Tokenisator von Grund auf für ein kleines GPT entwickeln
Implementieren Sie einen BPE-Tokenizer auf Zeichenebene in Python, trainieren Sie ihn mit WikiText-2, speichern und kennzeichnen Sie ihn, und trainieren Sie anschließend ein kleines GPT mit kürzeren, dichteren Tokenfolgen.
6236 WörterArtikel lesenDer Next-Token-Loop: Ein mentales Modell von LLMs, bevor man mit Agenten arbeitet
Erfahren Sie, wie Tokens, Kontextfenster, Sampling und der Generierungszyklus funktionieren, anhand kleiner Offline-Beispiele in Python, die erklären, warum RAG, ReAct und LangGraph existieren.
1218 WörterArtikel lesen
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.