Інжынерныя нататкі
Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: bpe
Tokenization Is a System Design Decision, Not a Preprocessing Step
How byte-level BPE builds the vocabulary your LLM sees, why token counts differ by language, which failures it causes, and what to measure before blaming the model.
2081 слоўЧытацьWhy Indian Languages Cost More Tokens in LLMs and How Tokenizers Get Fixed
The same sentence takes 5 tokens in English and 34 in Tamil. See how BPE training data causes it, what rebalancing and vocabulary size change, and how vocabulary expansion works.
1932 слоўЧытаць
FAQ
Пра гэтыя артыкулы
Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.
Тэхнічныя пасты спачатку па-англійску, каб код і API заставаліся дакладнымі. Абалонка сайта — на ўсіх дзевяці мовах.
Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.
Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.