Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Oryginalne materiały o React, Node.js, TypeScript i AI — z tej samej praktyki co nasze oprogramowanie operatorskie. Treść artykułów po angielsku.
Tag: sampling
From Prompt to Token: How an LLM Turns Text Into Numbers and Back
Follow a short prompt through tokenization, embeddings, attention, feed-forward layers, softmax and sampling to see how a model really picks each next word.
1615 słówCzytajInferencja LLM od początku do końca: prefill, decode, cache KV i próbkowanie
Przewodnik przygotowany do prezentacji na tablicy białej po tokenizatorze w kontekście przepływu danych – dlaczego prefill jest ograniczony zasobami obliczeniowymi, decode – przepustowością, oraz jak GQA, pagowanie i spekulacja wpływają na efektywność.
9213 słówCzytaj
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Posty techniczne najpierw po angielsku, by kod i API były dokładne. Interfejs strony jest w dziewięciu językach.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.