Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Tokenization
Allein kopieren, im Kontext versagen: Kontextuelle Fragilität bei Token, die einen isolierten Kopiervortest bestehen.
Überprüfung von acht Modellen mit offener Gewichtung auf Token, die allein korrekt kopieren, aber im Kontext weggelassen oder verändert werden, wobei auf die Geometrie der Embeddings, die Aufgabenerhaltung und die Nutzung von Werkzeugen geprüft wird.
32 Min. LesezeitVon der Vorhersage des nächsten Tokens bis zum funktionsfähigen Code: Wie LLMs Python erzeugen
Tokens, Softmax, Temperatur, Selbstaufmerksamkeits- und Feed-Forward-Schichten werden nacheinander erläutert, zusammen mit einem schrittweisen Sortierbeispiel sowie den daraus resultierenden Grenzen bei der Vorhersage.
9 Min. LesezeitZerbrechliche Token und stille Substitution: Eine geometrische Erklärung einiger Halluzinationen
Einige Halluzinationen entstehen durch beschädigte oder zerbrechliche Token, die vor Beginn der Berechnung durch nahegelegene Token ersetzt werden. Beispiele, modellbezogene Raten sowie ein einfacher Test.
7 Min. LesezeitVom Prompt zum Token: Wie ein LLM Text in Zahlen verwandelt und zurück
Wir verfolgen einen kurzen Prompt durch Tokenisierung, Embeddings, Attention, Feed-Forward-Schichten, Softmax und Sampling, um zu sehen, wie ein Modell jedes nächste Wort wirklich auswählt.
7 Min. LesezeitTokenisierung ist eine Systemdesign-Entscheidung, kein Vorverarbeitungsschritt
Wie Byte-Level-BPE das Vokabular baut, das Ihr LLM sieht, warum Tokenzahlen je nach Sprache schwanken, welche Fehler daraus entstehen und was man messen sollte, bevor man dem Modell die Schuld gibt.
9 Min. LesezeitWarum indische Sprachen in LLMs mehr Token kosten und wie man Tokenizer repariert
Derselbe Satz braucht auf Englisch 5 Token und auf Tamil 34. Wie die BPE-Trainingsdaten das verursachen, was Neugewichtung und Vokabulargröße ändern und wie Vokabularerweiterung funktioniert.
8 Min. LesezeitWie Embedding-Layer funktionieren: vom Text über Token-IDs zu Vektoren im LLM
Ein einsteigerfreundlicher Blick auf Embedding-Layer: Tokenisierung, Lookup-Tabellen, gelernte Vektoren, das Beispiel mit 205 Millionen Parametern und eine kurze PyTorch-Demo mit nn.Embedding.
5 Min. LesezeitEin kleines LLM von Grund auf auf einem Laptop mit 8 GB RAM trainieren
Wie man eine saubere Datenpipeline für das Training eines Transformers auf bescheidener Hardware aufbaut: BPE-Tokenizer, TinyStories, Tokens auf der Festplatte und Batches für die Vorhersage des nächsten Tokens.
5 Min. LesezeitToken-Budgets gegen semantische Grenzen: Richtiges Aufteilen von RAG-Blöcken
Erfahren Sie, wie sich Tokenisierung und Chunking unterscheiden, wo jede Methode in einem RAG-Pipeline-Workflow eine Rolle spielt, und wie Dokumente nach Bedeutung aufgeteilt werden können, während die Größe mit dem echten Tokenisierer gemessen wird.
11 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.