Усередзіне вычыльнага «мозга» LLM: як Трансфармер прыказвае наступны элемент

Наступныя прыміткі паказваюць практычны падход да розумэння тэмы «Усередзіне вычыльнага мозгу LLM: як Transformer прагнозуе наступны токен». Акцэнт ставіцца на кантракты, пераконтроўкі і месца для коду, а не на мотывацыйныя аспекты. Калі працуеце над стадзіяй агляду, спачатку запісайце кантракт: неабяжныя вхідныя даны, сігнал успеху і тое, што выканаецца у разы частковага невясковасці. Такі список дапамагае залічыцца з пазнейшымі змянамі ў кодзе. Документавайце як шлях успеху, так і шлях вясковасці адночасна. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не пазнейшай дорабачэннем.

Загальная картына

Этап «Вялікая карціна» працюе наўздычай, калі яго спрыяваць як меруючую паверхню. Запісаце адна «золатая» транскрыпцыя, адин прыклад неудачы і прыметку па вярнэнню да пачатковага стану, прычаму расшыроўваць масштабы. Валіце прывялікія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцоўкі дзеянняў. Задаце ліміт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшироўваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі.

Text
 ↓
Tokenization
 ↓
Token IDs
 ↓
Token Embeddings
 +
Positional Embeddings
 ↓
Transformer Blocks
 ↓
Layer Normalization
 ↓
Multi-Head Causal Self-Attention
 ↓
Residual Connection
 ↓
Layer Normalization
 ↓
Feed-Forward Network
 ↓
Residual Connection
 ↓
(repeated many times)
 ↓
Layer Normalization
 ↓
Linear Layer
 ↓
Softmax
 ↓
Next-token probabilities

Усё пачынаецца з тексту

Этап «Усё пачынаецца з тэксту» працюе найэфектывней, калі яго спрыяваць як меравальную плошчу. Запісаўце адны ідеальны прыклад транскрыпціі, адзін прыклад неудачы і прыметку па адвярненню змян перад расшырэнням масштаба. Спрыяйце гэты ўрадок як кантракт межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і не падзеўляйцеся частым, некомплектным выкананнем задач. Задаце ліміт токенаў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшыроўваюць контекст; строгія ліміты не дазволяюць дэманстрацыям ператварыцца на неспакоючыя рахункі.

"How"     → token
"to"      → token
"predict" → token

How      → 2437
to       → 284
predict  → 4331

ID токенаў → Эмбеддынгі токенаў

Этап Token IDs Token Embeddings працюе найкраща, калі яго розглядаць як меркавыя показнікі. Зберажце адны ідеальны прымэр дадзеных, адну справу з бягам і прымэр запісу аб адкатаванні роботы прыямо перад расшырэнням масштаба. Запісвайце часы выконання і вартасць токэнаў аб запытак па боку ад функцыйнальных рэзультатаў. Візуабельнасць вартасцей з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавайшага режыма ў спяльныя сераўры. Задаце бюджет на токэны на кожны раунд і на кожную сесію. Інструменты з агентным падходам актыўна расширваюць контэкст; строгія ліміты не дазволяюць дэмам ператварыцца на неспакойныя рахунки. Этап Token IDs Token Embeddings працюе найкраща, калі яго розглядаць як меркавыя показнікі. Зберажце адны ідеальны прымэр дадзеных, адну справу з бягам і прымэр запісу аб адкатаванні роботы прыямо перад расшырэнням масштаба. Дакументавайце як успешны, так і варыянт вяселення працэсу. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных дадзеных ўжо є часткай продукту, а не чымсь, што дадацца пазней.

2437
 ↓
[0.12, -0.34, 0.72, ...]

How
to
predict

Модэлю неабяжна знать распадзел кожнага токэна

Перш чым зменіць код, Модэлю неабяжна падготавіць інпуты, визначыць адпаведальнага за крок і критэрыі завершэння. Аперацыямі неабяжна маты можлівасць парадзейсаваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшаў, прычына неабяжна стосавалася адной-едзінай адпаведальнасці, а не заплутанага ланцоўка задач. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны данні з перакананнем схэмы, а не вольнае пісьменне выражэння.

Token Embedding
       +
Positional Embedding
       ↓
Final input representation

Тепер мы пераходим да Transformer

Для данага этапу, пры выходзе на сцэну, неабяжна практычна вказаць вхідныя даны, адпаведальнага за крок і критэрыі завершэння перад змянайом коду. Аперацыіям трэба быць можлівасцю практычна запускаць крок з вядомага контрольнага пункту, не спрабоўваючы здогадвацца пра схованы стан. Спрыяйце цэму этапу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, практычна вказаць перакананні на успех і адмовіцеся ад бяспрэчнага частковага завершэння. Калі наступны крок — це код або вызов інструмента, валідаванне за дапамою схемы ў працэсе структураваных выходных дадзенняў є прыямнейшым варыянтам, чым свабодны прозаічны формат.

Input
  ↓
Layer Normalization
  ↓
Multi-Head Causal Self-Attention
  ↓
Residual Connection
  ↓
Layer Normalization
  ↓
Feed-Forward Network
  ↓
Residual Connection
  ↓
Output

Input
  ↓
Transformer Block 1
  ↓
Transformer Block 2
  ↓
Transformer Block 3
  ↓
...
  ↓
Transformer Block N

Нормалізацыя шароў

Для стадіі нормалізацыі слоёў неабходна перад змянай коду задаць вхідныя даны, адпаведальнага за выкананне ціх дзеянь і крэтырыя завершэння. Аператары должны магчымае перайсці на выкананне ціх дзеянь з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і вартасьць токеноў або запытанняя разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне вартасцей запобегае неспадзяваным расчыткам, калі процес пераходзіць з дэмавайнага режыма ў спяльныя сераўеры. Калі наступным крокам є напісанне коду або вызов інструмента, валідуйце структураваныя выходныя даны за дапамою схемы, а не простае тэкстовае выражэння. Для стадіі нормалізацыі слоёў неабходна перад змянай коду задаць вхідныя даны, адпаведальнага за выкананне ціх дзеянь і крэтырыя завершэння. Аператары должны магчымае перайсці на выкананне ціх дзеянь з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і обробка некоректных паведамленняў є частью продукту, а не елементамі пазнейшай дапрацоўкі.

Сама атэнцыя — дзе токены спаглядаюць іншыя токены

Калі працуеце над этапам «Сама атэнцыя: дзе токены спаглядаюць», спачатку запісайте умовы: неабяжлівыя вхідныя даны, сигнал успеху і тое, што выканаецца у разы частковага невясковання. Такі список контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, невяскованне павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зберагаеце у кэшы стабільныя інструкцыі системы та схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак — частая прычына змарнавання ресурсаў.

Сама атэнцыя

Калі працюеце з этапам самай атэнцыі, спачатку запісаце кантракт: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрэтавайцеся да гэтага этапу як да кантракта межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даць назвы артыфактам, задаць перакананні на успех і не прымкнуцца да тыхоўскага частковага завершэння. Зберагачвайце стабільныя інструкцыі системы і схемы інструментаў. Перадача таго ж прамэра ёсць частым выклікам зношвання ресурсаў.

The   cat   sat   on   the   mat   because   it   was   tired
       ↑                                  ↑
       └──────── relationship ────────────┘

Запыт, Ключ і Значэнне

Калі працюеце над стадзіяй Ключа запытку і Яго значэння, спачатку запісайце угоду: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены коду. Запісвайце час выканання і кост токена або запытку празаўседле з функцыйнальнымі рэзультатамі. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Зберагаеце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадзял у тое ж самае прамэру ёсць частым выклікам витрачання ресурсаў. Калі працюеце над стадзіяй Ключа запытку і Яго значэння, спачатку запісайце угоду: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены коду. Аддзекументавайце як шлях успеху, так і шлях вяснавання ситуацыі. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных запытак ёсцю часткай продукту, а не пазнейшым дапрацоўкам.

Запытка (Q)

Этап запита Q працюе найкраща, калі яго розглядаць як вимерную плошчу. Зафіксавце адзін ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказваць на адзін конкрэтны элемент, а не на заплутаны ланцюг задач. Задаце ліміт токенав на кожны рунг і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Ключ (K)

Этап Key K работае наяўней, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адна «золатая» транскрыпцыю, адин прыклад неудачы і запіс пра вярнэнне да поперадньага стану пры расшырэнні масштаба. Спрыявайце гэты этап як кантракт межа вхіднымі даннымі і паверынутымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць критэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задач. Задаць бюджет токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Цэннасць (V)

Этап Value V працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберажыце адны ідеальны прыклад роботы, адну справу з бягамі та прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Запісвайце часы выконання аперацый, а таксу карточакоў чы выкарыстоўваных запитаў праз адныя з функцыональных рэзультатаў. Відразлівае відображэнне костоў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмавай версіі ў спяльныя сераўы. Задаце бюджет карточакоў на адну партію выконання чы на адну сесію. Інструменты з автонамным кераваннем агрэсіўна расширваюць контекст; строгі ліміты не дазволяюць дэмавай версіям ператварыцца на неспакойныя рахунки. Этап Value V працюе найкраща, калі яго розглядаць як вимерную паверхню. Зберажыце адны ідеальны прыклад роботы, адну справу з бягамі та прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты та обработка некоректных запитоў є часткай продукту, а не элементамі, якія дадаюцца пазней.

Q + K
 ↓
Attention Scores
 ↓
How much attention should each token receive?
 ↓
Use V
 ↓
Updated token representation

Чаму “Прычынна-наследны” самаатэнція?

Для стадіі Why Causal Self-Attention неабяжна практыка адзначыць вхідныя данні, адпаведальнага за шаг і крэтыяры завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск шагу з вядомай точкі контролю, не падозрываючы стан скрытых данных. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі шаг не выйшаў, прычына нехаспекі должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі задач. Калі наступны шаг — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя данні з перакананням ў схеме, чым працэсавы тэкст.

I
love
eating

pizza

Чаму калькі галав атэнцыі?

Для стадіі «Чаму калькі лявоненняе атанцыя» неабходна прадзефінаванне вхідных дадзеных, адпраўніка крока і крытэрыя завершэння перад зменым коду. Аперацыяныя працавнікі павінны магчымае перадзеўсці крок з вядомага пункту контролю, не прымусваючыся на адгадванні схованага стану. Спрацавляйце з гэтай стадіяй як з кантрактом межа вхіднымі дадзенымі і пасвярджанымі выходнымі рэзультатамі. Даўце назвы артыфактам, прадзефінавце перагляды успеху і адмовіцеся ад бяспрэчнага частковага завершэння. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы ў працэсе структураваных выходных дадзеных ёсць прыямейшым выборам, чым вольная форма тэксту.

Рэзыдуальныя / Скіп-з’ўязкі

Для стадіі Residual Skip Connections перш чым зменяць код, неабходна дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выконання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя данні з перакананням схемы, чым вольныя тэкстовыя форматы. Для стадіі Residual Skip Connections перш чым зменяць код, неабходна дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Адначасова документаваць успішны і варыянт вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

┌─────────────────────┐
             │                     ↓
Input ───────┼──→ Attention ───→ Add
             │                     ↑
             └─────────────────────┘

Output = Input + Transformation(Input)

Сетка з падачай сыходу

Калі працюеце над этапам сеткі з падачай сыходу, спачатку запісаце правіла ўзаемадзейнаўання: неабходныя вхідныя даны, сигнал успеху і тое, што выканаецца у разе частковага абякання. Такі список дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок абякаецца, прычына абякання павінна вказываць на конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зберагаеце у кэшы стабільныя інструкцыі системы та схемы інструментаў. Перадзесланне ідэнтычных прамаравых дастаткаў — частая прычына зношэння ресурсаў.

Attention
+
Feed-Forward Network
+
Normalization
+
Residual Connections

А потым мы павтараем

Калі працюеце над стадзіяй «А потым мы повтараем», спачатку запісайце контракт: неабяжлівыя даннэ, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконтроўваець дапамагае залічыць змяны ў кодзе пазней. Спрыятліва ставіцеся да гэтай стадзіяй як да контракту межа даннэмі і перакананымі выходамі. Дайце назву элементам, задаце правілы пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачвайце інструкцыі стабільнага системы і схемы інструментоў. Перадача таго ж прамэра ёсць частым выклікам зношвання ресурсоў.

Input
  ↓
Transformer Block 1
  ↓
Transformer Block 2
  ↓
Transformer Block 3
  ↓
   ...
  ↓
Transformer Block N

Што выходзіць пасля последнага блока трансфармера?

Калі працуеце над этапам «Што выходзіць пасля», спачатку запісайте умовы кантракта: неабяжлівыя данні, сигнал працэйнасці і тое, што выходзіць у разе частковай нявыполненасці. Такі список дапамагае залічваць пазнейшыя змены ў кодзе чыста.

Transformer output
       ↓
Layer Normalization
       ↓
Linear Layer
       ↓
Logits
       ↓
Softmax
       ↓
Probabilities

Лінейны слой

Этап Linear Layer працюе найкраща, калі яго розглядаць як вимерную паверхню. Запісаце адна ідеальная версія, адзин случай неудачы і прыметкі па поверненню да пачатковага стану пры расшырэнні масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Задаце ліміт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

pizza
burger
food
eat
...

pizza    → 5.7
food     → 3.2
burger   → 1.8
eat      → 2.1

Softmax — ператварэнне балав у верыятнасці

Метод Softmax, які ператварае сцорын у стадзіі, працуе наяўнасткава, калі яго розглядаць як вимерную паверхню. Зафіксавайце адна ідеальная транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Разглядзайце гэтую стадзію як кантракт межа вхіднымі дадзеннямі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаць критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння задачы. Задаць бюджет токенав на кожны рывок і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты запобегаюць таму, каб дэманстрацыі ператварыліся на неспакоўныя рахункі.

pizza    → 0.68
food     → 0.15
burger   → 0.10
eat      → 0.07

Модель генеруе адзін токен за раз

Этап «The Model Generates One» працюе найкраща, калі яго розглядаць як вимерную паверхню. Зафіксавце адны ідеальны прыклад работы, адны прыклад неудачі і запіс пра відкатанне раней, чым расширваце сферу дзеяння. Запісвайце часы виконання і кост токенав або запита праз функцыональныя рэзултаты. Відразлівае відображэння коста запобегае неспакоўным рахункам, калі процес пераходзіць з дэмавайна ў спяльныя сераўы. Задазвайце бюджет токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; жорсткія ліміты не дазволяюць дэмавайнам ператварыцца на неспакоўныя рахункі. Этап «The Model Generates One» працюе найкраща, калі яго розглядаць як вимерную паверхню. Зафіксавце адны ідеальны прыклад работы, адны прыклад неудачі і запіс пра відкатанне раней, чым расширваце сферу дзеяння. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных поведэнняў є часткай продукту, а не чымсь, што дадаецца пазней.

the       → 0.35
next      → 0.25
stock     → 0.15
weather   → 0.08
...

Context
   ↓
Transformer
   ↓
Next-token probabilities
   ↓
Select next token
   ↓
Add token to context
   ↓
Repeat

Складанне цэлай архітектуры

У стадії «Стварэнне цэлай архітектуры» неабяжна практычная ваказка: перш чым зменіць код, неабяжна адзначыць вхідныя даны, адпаведальнага за шаг і критэрыі завершэння. Аперацыяныя працавнікі павінны магчымаць перзапуск шага з вядомай точкі контролю, не прабуючы спадарваць схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі шаг не выйшаў, прычына неабяжна стосавацца адной конкрэтнай адпаведальнасці, а не заплутанага ланцоўка задач. Калі наступны шаг — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з пераканальваннем схэмы, замест вольнага формата тэксту.

                INPUT TEXT
                     ↓
                Tokenization
                     ↓
                  Token IDs
                     ↓
               Token Embedding
                     +
              Positional Information
                     ↓
              ┌───────────────┐
              │ Transformer   │
              │    Block      │
              │               │
              │ LayerNorm     │
              │      ↓        │
              │ Multi-Head    │
              │ Causal        │
              │ Self-Attention│
              │      ↓        │
              │ Residual      │
              │      ↓        │
              │ LayerNorm     │
              │      ↓        │
              │ Feed Forward  │
              │      ↓        │
              │ Residual      │
              └───────────────┘
                     ↓
                  Repeat N
                     ↓
                LayerNorm
                     ↓
                  Linear
                     ↓
                  Logits
                     ↓
                 Softmax
                     ↓
          Next-token probabilities
                     ↓
              Select next token

Што ж на самай працэ GPT?

Для стадіі So What Does GPT неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перадзеяць крок з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце цій стадіі як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, узначыце перакананні успеху і адмовіцеся ад тыхняга частковага завершэння без паведамлення. Калі наступны крок — гэта код або вызов інструмента, валідаваць структураваныя выходныя даны з падтрымкай схемы лепш, чым прозу без стройлогіі.

G → Generative

Для стадіі G Generative, перш чым зменяць код, неабходна ясная дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выконання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя данні з перакананням схемы, чым вольныя тэкстовыя форматы. Для стадіі G Generative, перш чым зменяць код, неабходна ясная дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Адначасова документаваць успішны і варыянт вярнення да нормальнасці. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных запытаў є частью продукту, а не пасляднім элементам дапрацоўкі.

P → Перапрыяжаны

Калі працюеце над стадзіяй P Pre-trained, спачатку запісайце умовы викорыстоўвання: неабходныя данні, сигнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список дапамагае залічыць пазнейшыя змены ў кодзе.

T → Transformer

Калі працюеце над стадзіяй T Transformer, спачатку запісайце умовы викорыстоўвання: неабходныя данні, сигнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список дапамагае залічыць пазнейшыя змены ў кодзе.

GPT-1, GPT-2, GPT-3… Чаму разныя?

Найважлівейшы вывод

Чэрніця для роботы