Практычныя прытамулкі: Как фактычна працююць LLM-ы: токены, Трансфармэры і наступны токен

У гэтым карыце парадоксальнае выкананне шляху ад сыр'ёў да рабочай системы для кнігі «Як насправдзе працуюць LLM: токены, трансфармэры і прыкладзенне наступнага токена!». Акцэнт ставіцца на практычныя крокі, чыстае перакананне і код, які можна проста дадзіць у репазітарый без неабяснення меты. У стадзіі агляду неабяжна практычна визначыць інпуты, адпаведальную особу за крок і критэрыі завершэння пры перамены коду. Аперацыйныя працавікі павінны магчымае перадзягнуць крок з вядомага пункта контролю без неабяснення схованага стану. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехацкага рэзультата павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі задач.

Што такое LLM?

Калі працюеце над этапам «Што такое LLM», спачатку запісайце угоду: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены ў кодзе. Спрэцьвуйце гэты этап як угоду межа даннімі і перакананымі выходамі. Дайце назву рэзультатам, задаце критэрыя успеху і не прымайце часткова завершэння без паведамлення. Зберагачвайце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадача таго ж самога прамэра ёсць частым выклікам затрат ресурсаў.

Шаг 1: Тэкст перакладаецца у токены

Калі працуеце над этапам 1, спачатку запісайце умовы контракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі список контроля дапамагае заліцвачыць змяны ў кодзе пазнейшаю часам. Запісвайце час выканання і кост токена або запыту праза функцыйнальнымі рэзултатамі. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Зберагаеце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак — частая прычына некальканадзесятых витрацоў.

"I" → token 1
"love" → token 2
"AI" → token 3

"unbelievable"

"un" + "believ" + "able"

Этап 2: Токены стаюць цифрамі

Калі працуеце над крокам 2, калі токены стаюць стэйджамі, спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выходзіць пад частковыя неудачы. Такі список пераканаець у тым, што пазнейшыя змены коду будуць чыстымі. Зберагаеце настройкі за межамі коду прыемлі. Файлы сераўнавання, храненні секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аудыт без неабяжлівага чытання всей структуры. Кэшавайце стабільныя інструкцыі системы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак — частая прычына витрацыў. Калі працуеце над крокам 2, калі токены стаюць стэйджамі, спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выходзіць пад частковыя неудачы. Такі список пераканаець у тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптаў. Калі якісь крок не выйшоў, неудача должна вказваць на адну адпаведальнасць, а не на заплутаны процес.

"I"       → [0.12, -0.45, 0.78, ...]
"love"    → [0.91,  0.13, -0.22, ...]
"AI"      → [0.31,  0.72,  0.04, ...]

Шаг 3: Transformer разумее контэкст

Этап шага 3, калі Transformer працуе як меравальная суперфіс, дае найлепыя рэзультаты. Перш чым расширваць масштаб, зафіксавайте адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану. Спрытывайце этап як кантракт межу вхіднымі даннымі і паўнастацэннымі выходамі. Дайце назвы артыфактам, задаць критэрыя успеху і не падзеўляйцеся частым, некомплектным выкананнем задачы. Задаць ліміт токенав на кожны рунд і на кожную сесію. Агентныя інструменты агрэсывна расширваюць контэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

The dog chased the ball because it was excited.
 ↑                                      ↑
 └──────────── related ─────────────────┘

Шаг 4: Праўдзібна прыгадаць наступны токен

Этап 4 «Прагназаванне стадіі» працюе наяўна, калі яго розглядаць як вимерную плошчу. Зафіксавайце адны «золаты» прыклад роботы, адны прыклад неудачы і запіс пра вярнэнне да поперадньага стану пры расшырэнні масштаба. Запісвайце часы выканання і кост токеноў або запытаў па боку ад функцыйнальных рэзультатаў. Візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы. Задазвайце бюджет токеноў на кожны раунд і на кожную сесію. Інструменты з агентным падходам агрэсіўна расширваюць контекст; строгі ліміты не дазволяюць дэмаверсіям ператварыцца на неспакойныя рахункі.

mat       → 45%
floor     → 20%
chair     → 10%
table     → 5%
...

Read context
     ↓
Predict next token
     ↓
Add token to text
     ↓
Read updated context
     ↓
Predict next token
     ↓
Repeat...

Тады як AI адпавядае на складныя запытанні?

Тады як жа AI-этап працюе найкраща, калі яго спрыяваць як меркаваную паверхню? Зберагчыце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Зберагчыце настройкі параду ўнутры коду прыемлівання. Файлы сераўнавальнага сяродавішча, хранілішчы секрэтных дадзеных і флагі функцый должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць контроль, не чытаяўшы весь лянцуг. Задаеце ліміт токенав на кожны рунд і на кожную сесыю. Інструменты-агенты агрэсіўна расширваюць контекст; жорсткія ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі. Тады як жа AI-этап працюе найкраща, калі яго спрыяваць як меркаваную паверхню? Зберагчыце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну адпаведальнасць, а не на заплутаны лянцуг задач.

Полная картына

Для стадіі «Паўная картына» неабходна прадзефінаваць вхідныя даны, адпаведальную особу за выкананне крока і критэрыя завершэння пры перадзмене коду. Аперацыйныя працавнікі должны магчымае перадзначыць выкананне крока з вядомай точкі контролю, не прабуючы спадарацца пра схованы стан. Спрыяйце цій стадіі як даговору межаў вхідных даных і перакананых выходных рэзультатаў. Даць назвы артыфактам, прадзефінаваць пераканання ў успеху і адмовіцца ад беззвучнага частковага завершэння. Калі наступны крок — це код або вызов інструмента, валідаваць структураваныя выходныя даны за дапамою схемы, а не простае тэкстовае выказванне.

Your text
   ↓
Tokenization
   ↓
Tokens
   ↓
Numbers / Embeddings
   ↓
Transformer
   ↓
Understand relationships + context
   ↓
Predict next token
   ↓
Add token to response
   ↓
Predict again
   ↓
Repeat until the answer is complete

Адна важлівая рэч, яку трэба памятаць

Для таго, каб усё працавало правільна, перш чым зменяць код, неабходна ясная визначэння: што ўваходзіць у процес, хто яўляецца власнікам крока і якія критэрыя завершэння. Аператары должны магчымае запускать крок з вядомай точкі контролю, не прабуючы спадараць прыхованы стан. Запісвайце час выконання і вартасьць токена або запытку праза функцыйнальныя рэзултаты. Відразувая візуабельнасьць вартасцей, можна ухиліцца ад неспакою, калі процес пераходзіць з дэмовай среды ў спяльнаваныя сераўеры. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны данні з перакананням схемы, чым вольныя тэкстовыя описы.

Ёсць ўдачнага кодавання

Для стадіі «Ёсць кодаўчыння» неабходна пазначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перадзваніць крок з вядомай точкі контролю, не падозрываючы схованы стан. Конфігурацыю трэба залічыць паза кодам прыкладнення. Файлы сераўіса, хранальнікі секрэтных данных і флагі функцый належаць у аднам месца, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя апісанні.

Чэк-ліст аперацый

Стадія чэк-ліста аперацый работае наўзям лепш, калі яе спрыймаюць як мерыемую плошчу. Перад расширэнням масштаба трэба зафіксаваць адну ідеальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану.

Неабходна адначасова задокументаваць «ёсць пат» і «пат вярнэння». Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам.

Бюджет токенаў на адны раунд і на адну сесію. Агентныя інструменты актыўна расшыроюць контэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Размешчайце стан разам з компонентам, які керуе мутацыямі. Пераклад чаго-небудзь у глобальны хранільнік ускладняе выявленне проблем з часам адпаведнай дзеяння.

Напісце кароткі посібнік: як зменяць канты, як спрачыць чергу, як анулюваць пярэдній процес прыемкі дадзеных.

Запісвайце час адпаведных дзеянняў і косць токенаў чы роезыкаў праза функцыйнае рэзультат. Відкрытыя даныя пра косці з’являюцца рана, таму не будзе неспакоўных рахункоў, калі працэс перайдзе з дэмы ў спакульнаныя сераўеры.

Перш чым пераводзіць стак на вышэйшы ранг, заморозьце версіі, зафіксуйце ідеальны транскрыпт для критычнага пату і паказваце крокі анулювання. У спакульных сераўерах неабходны ліміты частоты запытоў, перакананні ў правах на выкарыстоўванне ресурсоў і чыста вялікі адпаведальны за змену секрэтных даных. Валіце простую надзейнасць працы над крэатывнымі, але разовымі дэмамі.

Запіска параграфу c36dcb448406: не трэба кантрацяваць ключы прадастоўцаў у репазітарыі, задаць максімальную кантэйнернасць токена на сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі ацэнкі, каб пазнейшыя замены моделяў заставаліся пораўнанымі.