Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Oryginalne materiały o React, Node.js, TypeScript i AI — z tej samej praktyki co nasze oprogramowanie operatorskie. Treść artykułów po angielsku.
Tag: bpe
Tokenization Is a System Design Decision, Not a Preprocessing Step
How byte-level BPE builds the vocabulary your LLM sees, why token counts differ by language, which failures it causes, and what to measure before blaming the model.
2081 słówCzytajWhy Indian Languages Cost More Tokens in LLMs and How Tokenizers Get Fixed
The same sentence takes 5 tokens in English and 34 in Tamil. See how BPE training data causes it, what rebalancing and vocabulary size change, and how vocabulary expansion works.
1932 słówCzytaj
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Posty techniczne najpierw po angielsku, by kod i API były dokładne. Interfejs strony jest w dziewięciu językach.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.