Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: deep-learning
Superpozycja w sieciach neuronowych: modele przykładowe, SAE oraz łączenie cech
Jak sieci przechowują więcej cech niż wymiary, jakie są koszty zakłóceń oraz dlaczego rzadkie autoenkodery mogą łączyć cechy, których dane nie potrafią rozdzielić.
19 min czytaniaJak działają Transformers – od wąskich gardeł RNN po uwagę, agenty i okna kontekstowe
Krok po kroku: przegląd transformera – dlaczego RNNs utknęły w rozwoju, jak działają tokeny i embeddingi, uwaga, QKV, głowy przetwarzania, pozycje, struktura bloków, skalowanie oraz agenci.
40 min czytaniaJak sztuczna inteligencja odczytuje i odbudowuje zdjęcie: nauka stojąca za portretami z lat 80.
Jak modele wizyjne przekształcają piksele w wektory reprezentacyjne oraz jak sztuczna inteligencja generatywna wykorzystuje je do przekształcenia zdjęcia w styl filmu z lat 80., przy ograniczeniach dotyczących dokładności, identyfikacji i wykrywania.
9 min czytaniaJak Transformer czyta „Kot siedział na macie”, krok po kroku
Prześlij jedno zdanie przez warstwę transformatora: tokeny, embeddingi, pozycje, samoudziałanie, połączenia resztkowe, normalizację oraz sieć feed-forward.
6 min czytaniaDlaczego transformery używają funkcji sinusowej i kosinusowej do kodowania pozycyjnego
Krok po kroku wyjaśnienie sinusoidalnego kodowania pozycyjnego – od tego, dlaczego mechanizm uwagi ignoruje kolejność słów, po zegary pracujące z różną prędkością, przykład 12-wymiarowy z rozwiązaniem oraz rotacja.
8 min czytaniaWyjaśnienie połączeń resztkowych: Dlaczego głębokie transformery w ogóle mogą się uczyć
Dlaczego układanie warstw zakłóca proces szkolenia, jak połączenia typu x + F(x) naprawiają przepływ gradientów, w jaki sposób bloki Pre-LayerNorm ich wykorzystują oraz krótka implementacja w PyTorchu.
4 min czytaniaStworzenie Transformer od zera w PyTorch: uwaga, koder i dekoder
Krok po kroku kod w PyTorch dla kluczowych elementów Transformer: kodowanie pozycyjne, skalowane iloczyny skalarnych i uwaga wielogłowa, warstwy feed-forward, stos kodera oraz podstawy dekodera.
8 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.