Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: transformers
Szkolenie małego GPT na indyjskich baśniach ludowych: tokenizer, maska i strata
Od zera stworzony GPT z 9 milionami parametrów: dlaczego tokenizer GPT-2 zawodzi przy słowach z baśni ludowych, jak działają BPE i maska przyczynowa oraz jak jedna partia danych daje 4 096 strat tokenów następnych.
16 min czytaniaJak działają Transformers – od wąskich gardeł RNN po uwagę, agenty i okna kontekstowe
Krok po kroku: przegląd transformera – dlaczego RNNs utknęły w rozwoju, jak działają tokeny i embeddingi, uwaga, QKV, głowy przetwarzania, pozycje, struktura bloków, skalowanie oraz agenci.
40 min czytaniaOd przewidywania następnego tokena do gotowego kodu: jak modele LLM tworzą Python
Tokeny, softmax, temperatura, warstwy samouwagi i warstwy feed-forward wyjaśnione w kolejności, wraz z przykładem krok po kroku i ograniczeniami wynikającymi z przewidywań.
9 min czytaniaOd przewidywania następnego tokena do wykonywania instrukcji: drobna optymalizacja modelu GPT
Jak z góry przeszkolony GPT uczy się wykonywać polecenia: formatowanie rekordów, zmiana etykiet, maski wypełniania, pętla treningowa, ograniczenia oceny oraz krok w kierunku preferencji DPO.
9 min czytaniaWewnątrz LLM: czysta inferyencja w Pythonie dla Qwen3-0.6B na MLX
Krok po kroku budowa mechanizmu inferencji LLM w około 200 liniach kodu w Pythonie przy użyciu MLX: tokenizer, RMSNorm, RoPE, grupowana uwaga do zapytań, SwiGLU, cache KV oraz sampling.
13 min czytaniaLoRA i QLoRA wyjaśnione: drobna optymalizacja modelu 7B bez 100 GB pamięci VRAM
Dlaczego pełne dopasowanie wymaga od 80 do 100 GB pamięci, jak adaptery niskorankowe zmniejszają wagę trenowalną do 1,6%, jak wybrać rangę i warstwy docelowe oraz co dodaje QLoRA.
5 min czytaniaCo naprawdę oznacza GPT i dlaczego inżynieria sztucznej inteligencji nadal jest inżynierią
Rozpakuj Generative Pre-trained Transformer, attention, fit and predict i zobacz, dlaczego skuteczna praca z sztuczną inteligencją nadal zależy od zwykłego osądu inżynierskiego oraz lepszych pytań.
4 min czytaniaOd reguł do transformatorów: jak NLP nauczyło się radzić sobie z kontekstem
Krótka historia przetwarzania języka naturalnego: systemy oparte na regułach, N-gramy, modele Markova, wektory słów, RNN-y, mechanizm uwagi, Transformers oraz duże modele językowe zbudowane na ich podstawie.
7 min czytaniaDlaczego transformery używają funkcji sinusowej i kosinusowej do kodowania pozycyjnego
Krok po kroku wyjaśnienie sinusoidalnego kodowania pozycyjnego – od tego, dlaczego mechanizm uwagi ignoruje kolejność słów, po zegary pracujące z różną prędkością, przykład 12-wymiarowy z rozwiązaniem oraz rotacja.
8 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.