Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: Tokenization
Kopiowanie samodzielnie, porażka w grupie: kruchość kontekstowa tokenów, które przechodzą test kopiowania w izolacji.
Przegląd ośmiu modeli o otwartej wadze w celu wybrania tokenów, które poprawnie kopiują się samodzielnie, ale są pomijane lub modyfikowane w kontekście, przy jednoczesnej weryfikacji geometrii embeddingów, zachowania zadania oraz wykorzystania narzędzi.
32 min czytaniaOd przewidywania następnego tokena do gotowego kodu: jak modele LLM tworzą Python
Tokeny, softmax, temperatura, warstwy samouwagi i warstwy feed-forward wyjaśnione w kolejności, wraz z przykładem krok po kroku i ograniczeniami wynikającymi z przewidywań.
9 min czytaniaKruche tokeny i ciche substytucje: geometryczne wyjaśnienie niektórych halucynacji
Niektóre halucynacje wynikają z uszkodzonych lub kruchych tokenów, które są zastępowane przez sąsiednie elementy przed rozpoczęciem procesu rozumowania. Przykłady, wskaźniki dla poszczególnych modeli oraz prosty test.
7 min czytaniaOd promptu do tokena: jak model językowy przekształca tekst w liczby i z powrotem
Prześledź krótkie instrukcje obejmujące tokenizację, embeddingi, uwagę, warstwy feed-forward, funkcję softmax oraz próbkowanie, aby zobaczyć, w jaki sposób model faktycznie wybiera kolejne słowa.
7 min czytaniaTokenizacja to decyzja dotycząca projektu systemu, a nie krok przetwarzania wstępnego.
W jaki sposób BPE na poziomie bajtów tworzy słownictwo, które widzi Twój model językowy, dlaczego liczby tokenów różnią się w zależności od języka, jakie problemy to powoduje oraz co należy zmierzyć przed obwinianiem modelu.
9 min czytaniaDlaczego języki indyjskie wymagają większej liczby tokenów w modelach LLM oraz jak rozwiązano problemy z tokenizerami.
Ta sama zdanie wymaga 5 tokenów w języku angielskim i 34 w języku tamilskim. Zobacz, jak dane treningowe BPE powodują to zjawisko, jaka jest konieczność rebalansowania oraz zmiana wielkości słownika, i w jaki sposób odbywa się rozszerzanie słownika.
8 min czytaniaJak działają warstwy embeddingowe: od tekstu przez ID tokenów do wektorów w modelu LLM
Przystępny dla początkujących przegląd warstw embeddingowych: tokenizacja, tabele wyszukiwania, wektory nauczone, przykład z 205 milionami parametrów oraz krótka demonstracja w PyTorch z użyciem nn.Embedding.
5 min czytaniaSzkolenie małego modelu LLM od zera na laptopie z 8 GB pamięci RAM
Jak skonfigurować czysty pipeline danych do szkolenia modelu typu transformer na przeciętnym sprzęcie: tokenizer BPE, TinyStories, tokeny zapisywane na dysku oraz grupowanie kolejnych tokenów.
5 min czytaniaBudżety tokenów a granice semantyczne: prawidłowe dzielenie fragmentów w RAG
Dowiedz się, w czym różni się tokenizacja od dzielenia na fragmenty, jakie miejsce zajmują one w procesie RAG oraz jak dzielić dokumenty według znaczenia, jednocześnie mierząc ich rozmiar za pomocą rzeczywistego tokenizatora.
11 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.