Notatki inżynierskie

Artykuły dla tych, którzy
wdrażają stack

Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.

7 artykułów

Tag: PyTorch

gpt tokenizer bpe causal-mask
Szkolenie małego GPT na indyjskich baśniach ludowych: tokenizer, maska i strata
Od zera stworzony GPT z 9 milionami parametrów: dlaczego tokenizer GPT-2 zawodzi przy słowach z baśni ludowych, jak działają BPE i maska przyczynowa oraz jak jedna partia danych daje 4 096 strat tokenów następnych.
28 paź 202616 min czytania
llm fine-tuning instruction-tuning
Od przewidywania następnego tokena do wykonywania instrukcji: drobna optymalizacja modelu GPT
Jak z góry przeszkolony GPT uczy się wykonywać polecenia: formatowanie rekordów, zmiana etykiet, maski wypełniania, pętla treningowa, ograniczenia oceny oraz krok w kierunku preferencji DPO.
28 paź 20269 min czytania
residual-connections transformers deep-learning
Wyjaśnienie połączeń resztkowych: Dlaczego głębokie transformery w ogóle mogą się uczyć
Dlaczego układanie warstw zakłóca proces szkolenia, jak połączenia typu x + F(x) naprawiają przepływ gradientów, w jaki sposób bloki Pre-LayerNorm ich wykorzystują oraz krótka implementacja w PyTorchu.
23 paź 20264 min czytania
pytorch transformers deep-learning
Stworzenie Transformer od zera w PyTorch: uwaga, koder i dekoder
Krok po kroku kod w PyTorch dla kluczowych elementów Transformer: kodowanie pozycyjne, skalowane iloczyny skalarnych i uwaga wielogłowa, warstwy feed-forward, stos kodera oraz podstawy dekodera.
23 paź 20268 min czytania
llm embeddings transformers
Jak działają warstwy embeddingowe: od tekstu przez ID tokenów do wektorów w modelu LLM
Przystępny dla początkujących przegląd warstw embeddingowych: tokenizacja, tabele wyszukiwania, wektory nauczone, przykład z 205 milionami parametrów oraz krótka demonstracja w PyTorch z użyciem nn.Embedding.
23 paź 20265 min czytania
LLM Tokenization Python
Tokenizer BPE od zera: krótsze sekwencje dla małego okna kontekstowego GPT
Napisz w Pythonie tokenizer do kodowania par bajtowych, przeszkol go na WikiText-2, zapisz wyniki fuzji w formacie JSON i sprawdź, w jaki sposób tokenizacja podsłówkowa rozszerza okno kontekstowe GPT.
24 wrz 202626 min czytania
PyTorch LLM Machine Learning
Naprawianie błędów w małym modelu GPT w PyTorch: testy izolujące poszczególne usterki.
Krok po kroku procedura pracy przy naprawianiu błędów w modelu GPT na poziomie znaków w PyTorch, od identyfikacji tokenów i ich przesunięcia do obliczania gradientów, wartości NaN oraz tworzenia punktów kontrolnych.
23 wrz 202630 min czytania

FAQ

O tych artykułach

Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.

Źródłem jest angielski. Inny język pojawia się tylko wtedy, gdy istnieje tłumaczenie treści. Brak tłumaczenia zostawia angielski, także pod zlokalizowanym adresem.

Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.

Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.

Wycena w 24 h

Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.

Wyślij brief Aplikacje React

Artykuły dla tych, którzywdrażają stack

Szkolenie małego GPT na indyjskich baśniach ludowych: tokenizer, maska i strata

Od przewidywania następnego tokena do wykonywania instrukcji: drobna optymalizacja modelu GPT

Wyjaśnienie połączeń resztkowych: Dlaczego głębokie transformery w ogóle mogą się uczyć

Stworzenie Transformer od zera w PyTorch: uwaga, koder i dekoder

Jak działają warstwy embeddingowe: od tekstu przez ID tokenów do wektorów w modelu LLM

Tokenizer BPE od zera: krótsze sekwencje dla małego okna kontekstowego GPT

Naprawianie błędów w małym modelu GPT w PyTorch: testy izolujące poszczególne usterki.

O tych artykułach

Wycena w 24 h

Artykuły dla tych, którzy
wdrażają stack