Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Tokenization
Копіюецца сама, але зазнае нядачы ў колекцыў: контэкстуальная кранічнасць сярод токэнаў, якія праграджаюць тэст копіювання ў ізольаваным режыме.
Анаіз восьміх модэлей з відкрытым вагам для токэнаў, якія правільна копіююцься самыя по сабе, але ў контэксте трапляюцца або змінююцца, з пераконтроўкам геаметрыі імбеддінгу, збережэння завдання і викорыстання інструментаў.
32 хв чытанняАдзін раз з прыгнутка наступнага токена да рабочага коду: як LLM-ы ствараюць Python
Токены, метод softmax, параметр тэмпературы, механізм самаўвагі і шары з падачай наперад поясненыя па порядку, з прыкладам пасляпэльнага сортавання і строгімі мерымі, якія вынікаюць з прыкладзення прогназа.
9 хв чытанняКранкія токенавы і тыхае заместаўленне: геаметрычныя поясненні дзеяных галюцынацій
Дзеяныя галюцынаціі выходзяць з параджаных або кранкіх токенав, якія заменяюцца на суседніе элементы прычыму до пачатку аналізу. Прыклады, показнікі на кожны модель і просты тэст.
7 хв чытанняЗ адказу на запыткаў до токенаў: як LLM ператварае текст у цыфры і зноў назад
Выпанавце короткія інструкцыю, яка включае токенізацыю, эмбеддынгі, атэнцыю, слоі з падачай наперад, функцыю softmax і выбіранне прыкладоў, каб пазнакаць, як модель насправды выбірае кожнае наступнае слова.
7 хв чытанняТокенізацыя – це рашэнне па проектаванні системы, а не крок падготовкі дадзеных.
Як на рэвені байтаў BPE ствараецца слоўнік, які бачыць ваш LLM, чаму колькасць токенаў разлічыцца за мовамі, якія проблемы гэта спрычыняе, і што трэба вымерыць перш чым зваліць віну на модель.
9 хв чытанняЧаму індыйскія мовы выклікаюць большую кантыгу токенав у LLM-ах і як фіксуюцься токенайзеры.
Тая ж самая рэчць у англійскай мове складаецца з 5 токенав, а ў тамільскай — з 34. Паглядзіце, як цьому спрыяюць даны для навчання BPE, якія змены відбуваюцца ў балансаванні та розмере словніку, і як працюе розширэння словніку.
8 хв чытанняЯк працююць шары умяшчэння: ад тексту да ID-аў токенаў і да вектараў у LLM
Просты ўражэння пра шары вбудоввання для пачатківаўцаў: токенізацыя, табелі пошуку, выучаныя вектары, прыклад з 205 мільйонамі параметраў, а таксама короткая дэманстрацыя на PyTorch з класам nn.Embedding.
5 хв чытанняНавчання малага LLM з нуля на ноутбуку з 8 ГБ RAM.
Як створыць чыстую схему обробкі дадзеных для навчання трансфармера на простым апаратным забезпечэнні: токенайзер BPE, TinyStories, токены на дыску і групаванне наступных токенав.
5 хв чытанняБюджеты токенаў проты семантычных меж: як правільна роздзеляць чанкі RAG.
Выявіце, чым разлічаецца токенізація і чанкінг, якае месца кожна з іх займае ў процесе RAG, а таксама як роздзеляць документы за значэнням, вядучы паралельна підрахунок ўжоўважнення рэальным токенізаторам.
11 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.