Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: tokenizer
Szkolenie małego GPT na indyjskich baśniach ludowych: tokenizer, maska i strata
Od zera stworzony GPT z 9 milionami parametrów: dlaczego tokenizer GPT-2 zawodzi przy słowach z baśni ludowych, jak działają BPE i maska przyczynowa oraz jak jedna partia danych daje 4 096 strat tokenów następnych.
16 min czytania
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Źródłem jest angielski. Inny język pojawia się tylko wtedy, gdy istnieje tłumaczenie treści. Brak tłumaczenia zostawia angielski, także pod zlokalizowanym adresem.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.