Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: multilingual
Ein mehrsprachiger Campus-Assistent, der nur aus vertrauenswürdigen Daten antwortet
Ein Assistent für den Studierendensupport mit Gemini, Relevanzbewertung beim Retrieval und Quellenangaben auf Englisch, Tamil und Singhalesisch – und wie er sich weigert, fehlende Antworten zu erfinden.
1591 WörterArtikel lesenTokenisierung ist eine Systemdesign-Entscheidung, kein Vorverarbeitungsschritt
Wie Byte-Level-BPE das Vokabular baut, das Ihr LLM sieht, warum Tokenzahlen je nach Sprache schwanken, welche Fehler daraus entstehen und was man messen sollte, bevor man dem Modell die Schuld gibt.
2081 WörterArtikel lesenWarum indische Sprachen in LLMs mehr Token kosten und wie man Tokenizer repariert
Derselbe Satz braucht auf Englisch 5 Token und auf Tamil 34. Wie die BPE-Trainingsdaten das verursachen, was Neugewichtung und Vokabulargröße ändern und wie Vokabularerweiterung funktioniert.
1932 WörterArtikel lesen
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.