Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: tokenization
Капіруюцца асобна, ламаюцца ў кантэксце: крохкасць токенаў, якія праходзяць ізаляваны тэст капіравання
Правяраем восем мадэляў з адкрытымі вагамі на токены, якія асобна капіруюцца правільна, а ў кантэксце губляюцца ці мяняюцца, з праверкамі геаметрыі эмбедынгаў, захавання задачы і выкарыстання інструментаў.
32 хв чытанняАд прадказання наступнага токена да працоўнага кода: як LLM генеруюць Python
Токены, softmax, тэмпература, self-attention і feed-forward пласты па парадку, з пакрокавым прыкладам сартавання і жорсткімі межамі, якія вынікаюць з прадказання.
9 хв чытанняКрохкія токены і ціхая падмена: геаметрычнае тлумачэнне некаторых галюцынацый
Некаторыя галюцынацыі ўзнікаюць з пашкоджаных або крохкіх токенаў, якія падмяняюцца бліжэйшымі суседзямі яшчэ да пачатку разважанняў. Прыклады, частата па мадэлях і просты тэст.
7 хв чытанняЗ адказу на запыткаў до токенаў: як LLM ператварае тэкст у цыфры і зноў назад
Выпанавце короткія інструкцыю, якая включае токенізацыю, эмбеддынгі, атэнцыю, слоі з падачай наперад, функцыю softmax і выбіранне прыкладоў, каб пазнакаць, як мадэль насправды выбірае кожнае наступнае слова.
7 хв чытанняТокенізацыя – гэта рашэнне па праектаванні сістэмы, а не крок падготовкі дадзеных.
Як на рэвені байтаў BPE ствараецца слоўнік, які бачыць ваш LLM, чаму колькасць токенаў разлічыцца за мовамі, якія проблемы гэта спрычыняе, і што трэба вымерыць перш чым зваліць віну на мадэль.
9 хв чытанняЧаму індыйскія мовы выклікаюць большую кантыгу токенав у LLM-ах і як фіксуюцься токенайзеры.
Тая ж самая рэчць у англійскай мове складаецца з 5 токенав, а ў тамільскай — з 34. Паглядзіце, як гэтым спрыяюць даны для навчання BPE, якія змены відбуваюцца ў балансаванні і розмерэ словніку, і як працюе розшырэння словніку.
8 хв чытанняЯк працююць шары умяшчэння: ад тэксту да ID-аў токенаў і да вектараў у LLM
Просты ўражэння пра шары вбудоввання для пачатківаўцаў: токенізацыя, табелі пошуку, выучаныя вектары, прыклад з 205 мільйонамі параметраў, а таксама короткая дэманстрацыя на PyTorch з класам nn.Embedding.
5 хв чытанняНавчання малага LLM з нуля на ноутбуку з 8 ГБ RAM.
Як створыць чыстую схему апрацоўкі дадзеных для навчання трансфармера на простым апаратным забезпечэнні: токенайзер BPE, TinyStories, токены на дыску і групаванне наступных токенав.
5 хв чытанняБюджэты токенаў проты семантычных меж: як правільна роздзеляць чанкі RAG.
Выявіце, чым разлічаецца токенізація і чанкінг, якае месца кожна з іх займае ў працэсе RAG, а таксама як роздзеляць документы за значэнням, вядучы паралельна підрахунок ўжоўважнення рэальным токенізаторам.
11 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.