Унутры вычыльнага «мозга» LLM: як Трансфармер прыказвае наступны элемент

Наступныя прыміткі паказваюць практычны падход да розумэння тэмы «Унутры вычыльнага мозгу LLM: як Transformer прагнозуе наступны токен». Акцэнт ставіцца на кантракты, пераконтроўкі і месца для коду, а не на мотывацыйныя аспекты. Калі працуеце над стадзіяй агляду, спачатку запісайце кантракт: неабяжныя вхідныя даны, сігнал успеху і тое, што выканаецца у разы частковага невясковасці. Такі спіс дапамагае залічыцца з пазнейшымі змянамі ў кодзе. Документавайце як шлях успеху, так і шлях вясковасці адночасна. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшай дорабачэннем.

Загальная картына

Этап «Вялікая карціна» працюе наўздычай, калі яго спрыяваць як меруючую паверхню. Запісаце адна «золатая» транскрыпцыя, адын прыклад неудачы і прыметку па вярнэнню да пачатковага стану, прычаму расшыроўваць масштабы. Валіце прывялікія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцоўкі дзеянняў. Задаце ліміт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшыроўваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі.

Text
 ↓
Tokenization
 ↓
Token IDs
 ↓
Token Embeddings
 +
Positional Embeddings
 ↓
Transformer Blocks
 ↓
Layer Normalization
 ↓
Multi-Head Causal Self-Attention
 ↓
Residual Connection
 ↓
Layer Normalization
 ↓
Feed-Forward Network
 ↓
Residual Connection
 ↓
(repeated many times)
 ↓
Layer Normalization
 ↓
Linear Layer
 ↓
Softmax
 ↓
Next-token probabilities

Усё пачынаецца з тэксту

Этап «Усё пачынаецца з тэксту» працюе найэфектывней, калі яго спрыяваць як меравальную плошчу. Запісаўце адны ідэальны прыклад транскрыпціі, адзін прыклад неудачы і прыметку па адвярненню змян перад расшырэнням масштаба. Спрыяйце гэты ўрадок як кантракт межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і не падзеўляйцеся частым, некомплектным выкананнем задач. Задаце ліміт токенаў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшыроўваюць кантэкст; строгія ліміты не дазволяюць дэманстрацыям ператварыцца на неспакоючыя рахункі.

"How"     → token
"to"      → token
"predict" → token

How      → 2437
to       → 284
predict  → 4331

ID токенаў → Эмбеддынгі токенаў

Этап Token IDs Token Embeddings працюе найкрашча, калі яго розглядаць як меркавыя показнікі. Зберажце адны ідэальны прымэр дадзеных, адну справу з бягам і прымэр запісу аб адкатаванні працы прыямо перад расшырэнням масштаба. Запісвайце часы выканання і вартасць токэнаў аб запытак па боку ад функцыйнальных рэзультатаў. Візуабельнасць вартасцей з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавайшага рэжыма ў спяльныя сераўры. Задаце бюджэт на токэны на кожны раунд і на кожную сесію. Інструменты з агентным падходам актыўна расшырваюць кантэкст; строгія ліміты не дазволяюць дэмам ператварыцца на неспакойныя рахункі. Этап Token IDs Token Embeddings працюе найкрашча, калі яго розглядаць як меркавыя показнікі. Зберажце адны ідэальны прымэр дадзеных, адну справу з бягам і прымэр запісу аб адкатаванні працы прыямо перад расшырэнням масштаба. Дакументавайце як успешны, так і варыянт вяселення працэсу. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных дадзеных ўжо ёсць часткай продукту, а не чымсь, што дадацца пазней.

2437
 ↓
[0.12, -0.34, 0.72, ...]

How
to
predict

Модэлю неабяжна ведаць распадзел кожнага токэна

Перш чым зменіць код, Модэлю неабяжна падготавіць інпуты, візначыць адпаведальнага за крок і крытэрыі завершэння. Аперацыямі неабяжна маты можлівасць парадзейсаваць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшаў, прычына неабяжна стосавалася адной-едзінай адпаведальнасці, а не заплутанага ланцоўка задач. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны даныя з перакананнем схэмы, а не вольнае пісьменне выражэння.

Token Embedding
       +
Positional Embedding
       ↓
Final input representation

Цяпер мы пераходым да Transformer

Для данага этапу, пры выходзе на сцэну, неабяжна практычна вказаць вхідныя даны, адпаведальнага за крок і крытэрыі завершэння перад змянайом коду. Аперацыіям трэба быць можлівасцю практычна запускаць крок з вядомага контрольнага пункту, не спрабоўваючы здогадвацца пра схованы стан. Спрыяйце цэму этапу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, практычна вказаць перакананні на успех і адмовіцеся ад бяспрэчнага частковага завершэння. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы ў працэсе структураваных выходных дадзенняў ёсць прыямнейшым варыянтам, чым свабодны прозаічны фармат.

Input
  ↓
Layer Normalization
  ↓
Multi-Head Causal Self-Attention
  ↓
Residual Connection
  ↓
Layer Normalization
  ↓
Feed-Forward Network
  ↓
Residual Connection
  ↓
Output

Input
  ↓
Transformer Block 1
  ↓
Transformer Block 2
  ↓
Transformer Block 3
  ↓
...
  ↓
Transformer Block N

Нормалізацыя шароў

Для этапы нормалізацыі слоёў неабходна перад змянай коду задаць вхідныя даны, адпаведальнага за выкананне ціх дзеянь і крэтырыя завершэння. Аператары должны магчымае перайсці на выкананне ціх дзеянь з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і вартасьць токеноў або запытанняя разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне вартасцей запобегае неспадзяваным расчыткам, калі працэс пераходзіць з дэмавайнага рэжыма ў спяльныя сераўеры. Калі наступным крокам ёсць напісанне коду або вызов інструмента, валідуйце структураваныя выходныя даны за дапамою схемы, а не простае тэкстовае выражэння. Для этапы нормалізацыі слоёў неабходна перад змянай коду задаць вхідныя даны, адпаведальнага за выкананне ціх дзеянь і крэтырыя завершэння. Аператары должны магчымае перайсці на выкананне ціх дзеянь з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не елементамі пазнейшай дапрацоўкі.

Сама атэнцыя — дзе токены спаглядаюць іншыя токены

Калі працуеце над этапам «Сама атэнцыя: дзе токены спаглядаюць», спачатку запісайце умовы: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выканаецца у разы частковага невясковання. Такі спіс контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, невяскованне павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зберагаеце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак — частая прычына змарнавання рэсурсаў.

Сама атэнцыя

Калі працюеце з этапам самай атэнцыі, спачатку запісаце кантракт: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрэтавайцеся да гэтага этапу як да кантракта межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даць назвы артыфактам, задаць перакананні на успех і не прымкнуцца да тыхоўскага частковага завершэння. Зберагачвайце стабільныя інструкцыі сістэмы і схемы інструментаў. Перадача таго ж прамэра ёсць частым выклікам зношвання рэсурсаў.

The   cat   sat   on   the   mat   because   it   was   tired
       ↑                                  ↑
       └──────── relationship ────────────┘

Запыт, Ключ і Значэнне

Калі працюеце над стадзіяй Ключа запытку і Яго значэння, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцьварыць пазнейшыя змены коду. Запісвайце час выканання і кост токена або запытку празаўседле з функцыйнальнымі рэзультатамі. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Зберагаеце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзял у тое ж самае прамэру ёсць частым выклікам вітрачання рэсурсаў. Калі працюеце над стадзіяй Ключа запытку і Яго значэння, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцьварыць пазнейшыя змены коду. Аддзекументавайце як шлях успеху, так і шлях вяснавання сітуацыі. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытак ёсцю часткай продукту, а не пазнейшым дапрацоўкам.

Запытка (Q)

Этап запіта Q працюе найкрашча, калі яго розглядаць як вімерную плошчу. Зафіксавце адзін ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказваць на адзін конкрэтны элемент, а не на заплутаны ланцюг задач. Задаце ліміт токенав на кожны рунг і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Ключ (K)

Этап Key K работае наяўней, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адна «золатая» транскрыпцыю, адын прыклад неудачы і запіс пра вярнэнне да поперадньага стану пры расшырэнні масштаба. Спрыявайце гэты этап як кантракт межа вхіднымі данымі і паверынутымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задач. Задаць бюджэт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Цэннасць (V)

Этап Value V працюе найкрашча, калі яго розглядаць як вімерную паверхню. Зберажыце адны ідэальны прыклад працы, адну справу з бягамі і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Запісвайце часы выканання аперацый, а таксу карточакоў чы выкарыстоўваных запітаў праз адныя з функцыональных рэзультатаў. Відразлівае відображэнне костоў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавай версіі ў спяльныя сераўы. Задаце бюджэт карточакоў на адну партыю выканання чы на адну сесію. Інструменты з автонамным кераваннем агрэсіўна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмавай версіям ператварыцца на неспакойныя рахункі. Этап Value V працюе найкрашча, калі яго розглядаць як вімерную паверхню. Зберажыце адны ідэальны прыклад працы, адну справу з бягамі і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некорэктных запітоў ёсць часткай продукту, а не элементамі, якія дадаюцца пазней.

Q + K
 ↓
Attention Scores
 ↓
How much attention should each token receive?
 ↓
Use V
 ↓
Updated token representation

Чаму “Прычынна-наследны” самаатэнція?

Для этапы Why Causal Self-Attention неабяжна практыка адзначыць вхідныя даныя, адпаведальнага за шаг і крэтыяры завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск шагу з вядомай точкі контролю, не падозрываючы стан скрытых даных. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі шаг не выйшаў, прычына нехаспекі должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі задач. Калі наступны шаг — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даныя з перакананням ў схеме, чым працэсавы тэкст.

I
love
eating

pizza

Чаму калькі галав атэнцыі?

Для этапы «Чаму калькі лявоненняе атанцыя» неабходна прадзефінаванне вхідных дадзеных, адпраўніка крока і крытэрыя завершэння перад зменым коду. Аперацыяныя працавнікі павінны магчымае перадзеўсці крок з вядомага пункту контролю, не прымусваючыся на адгадванні схованага стану. Спрацавляйце з гэтай стадыяй як з кантрактом межа вхіднымі дадзенымі і пасвярджанымі выходнымі рэзультатамі. Даўце назвы артыфактам, прадзефінавце перагляды успеху і адмовіцеся ад бяспрэчнага частковага завершэння. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы ў працэсе структураваных выходных дадзеных ёсць прыямейшым выборам, чым вольная форма тэксту.

Рэзыдуальныя / Скіп-з’ўязкі

Для этапы Residual Skip Connections перш чым зменяць код, неабходна дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даныя з перакананням схемы, чым вольныя тэкстовыя фарматы. Для этапы Residual Skip Connections перш чым зменяць код, неабходна дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Адначасова документаваць успішны і варыянт вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

┌─────────────────────┐
             │                     ↓
Input ───────┼──→ Attention ───→ Add
             │                     ↑
             └─────────────────────┘

Output = Input + Transformation(Input)

Сетка з падачай сыходу

Калі працюеце над этапам сеткі з падачай сыходу, спачатку запісаце правіла ўзаемадзейнаўання: неабходныя вхідныя даны, сігнал успеху і тое, што выканаецца у разе частковага абякання. Такі спіс дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок абякаецца, прычына абякання павінна вказываць на конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зберагаеце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных прамаравых дастаткаў — частая прычына зношэння рэсурсаў.

Attention
+
Feed-Forward Network
+
Normalization
+
Residual Connections

А потым мы павтараем

Калі працюеце над стадзіяй «А потым мы повтараем», спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконтроўваець дапамагае залічыць змяны ў кодзе пазней. Спрыятліва ставіцеся да гэтай стадзіяй як да контракту межа данымі і перакананымі выходамі. Дайце назву элементам, задаце правілы пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачвайце інструкцыі стабільнага сістэмы і схемы інструментоў. Перадача таго ж прамэра ёсць частым выклікам зношвання рэсурсоў.

Input
  ↓
Transformer Block 1
  ↓
Transformer Block 2
  ↓
Transformer Block 3
  ↓
   ...
  ↓
Transformer Block N

Што выходзіць пасля последнага блока трансфармера?

Калі працуеце над этапам «Што выходзіць пасля», спачатку запісайце умовы кантракта: неабяжлівыя даныя, сігнал працэйнасці і тое, што выходзіць у разе частковай нявыполненасці. Такі спіс дапамагае залічваць пазнейшыя змены ў кодзе чыста.

Transformer output
       ↓
Layer Normalization
       ↓
Linear Layer
       ↓
Logits
       ↓
Softmax
       ↓
Probabilities

Лінейны слой

Этап Linear Layer працюе найкрашча, калі яго розглядаць як вімерную паверхню. Запісаце адна ідэальная версія, адзін случай неудачы і прыметкі па поверненню да пачатковага стану пры расшырэнні масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Задаце ліміт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

pizza
burger
food
eat
...

pizza    → 5.7
food     → 3.2
burger   → 1.8
eat      → 2.1

Softmax — ператварэнне балав у верыятнасці

Метод Softmax, які ператварае сцорын у стадзіі, працуе наяўнасткава, калі яго розглядаць як вімерную паверхню. Зафіксавайце адна ідэальная транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Разглядзайце гэтую стадзію як кантракт межа вхіднымі дадзеннямі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаць крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння задачы. Задаць бюджэт токенав на кожны рывок і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты запобегаюць таму, каб дэманстрацыі ператварыліся на неспакоўныя рахункі.

pizza    → 0.68
food     → 0.15
burger   → 0.10
eat      → 0.07

Мадэль генеруе адзін токен за раз

Этап «The Model Generates One» працюе найкрашча, калі яго розглядаць як вімерную паверхню. Зафіксавце адны ідэальны прыклад работы, адны прыклад неудачы і запіс пра відкатанне раней, чым расшырваце сферу дзеяння. Запісвайце часы выканання і кост токенав або запіта праз функцыональныя рэзултаты. Відразлівае відображэння коста запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмавайна ў спяльныя сераўы. Задазвайце бюджэт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; жорсткія ліміты не дазволяюць дэмавайнам ператварыцца на неспакоўныя рахункі. Этап «The Model Generates One» працюе найкрашча, калі яго розглядаць як вімерную паверхню. Зафіксавце адны ідэальны прыклад работы, адны прыклад неудачы і запіс пра відкатанне раней, чым расшырваце сферу дзеяння. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных поведэнняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

the       → 0.35
next      → 0.25
stock     → 0.15
weather   → 0.08
...

Context
   ↓
Transformer
   ↓
Next-token probabilities
   ↓
Select next token
   ↓
Add token to context
   ↓
Repeat

Складанне цэлай архітэктуры

У стадыі «Стварэнне цэлай архітэктуры» неабяжна практычная ваказка: перш чым зменіць код, неабяжна адзначыць вхідныя даны, адпаведальнага за шаг і крытэрыі завершэння. Аперацыяныя працавнікі павінны магчымаць перзапуск шага з вядомай точкі контролю, не прабуючы спадарваць схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі шаг не выйшаў, прычына неабяжна стосавацца адной конкрэтнай адпаведальнасці, а не заплутанага ланцоўка задач. Калі наступны шаг — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з пераканальваннем схэмы, замест вольнага фармата тэксту.

                INPUT TEXT
                     ↓
                Tokenization
                     ↓
                  Token IDs
                     ↓
               Token Embedding
                     +
              Positional Information
                     ↓
              ┌───────────────┐
              │ Transformer   │
              │    Block      │
              │               │
              │ LayerNorm     │
              │      ↓        │
              │ Multi-Head    │
              │ Causal        │
              │ Self-Attention│
              │      ↓        │
              │ Residual      │
              │      ↓        │
              │ LayerNorm     │
              │      ↓        │
              │ Feed Forward  │
              │      ↓        │
              │ Residual      │
              └───────────────┘
                     ↓
                  Repeat N
                     ↓
                LayerNorm
                     ↓
                  Linear
                     ↓
                  Logits
                     ↓
                 Softmax
                     ↓
          Next-token probabilities
                     ↓
              Select next token

Што ж на самай працэ GPT?

Для этапы So What Does GPT неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перадзеяць крок з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце цій этапы як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, узначыце перакананні успеху і адмовіцеся ад тыхняга частковага завершэння без паведамлення. Калі наступны крок — гэта код або вызов інструмента, валідаваць структураваныя выходныя даны з падтрымкай схемы лепш, чым прозу без стройлогіі.

G → Generative

Для этапы G Generative, перш чым зменяць код, неабходна ясная дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даныя з перакананням схемы, чым вольныя тэкстовыя фарматы. Для этапы G Generative, перш чым зменяць код, неабходна ясная дэфініцыя вхідных дадзеных, адпаведнага адпаведальніка за крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Адначасова документаваць успішны і варыянт вярнення да нормальнасці. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не пасляднім элементам дапрацоўкі.

P → Перапрыяжаны

Калі працюеце над стадзіяй P Pre-trained, спачатку запісайце умовы вікорыстоўвання: неабходныя даныя, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі спіс дапамагае залічыць пазнейшыя змены ў кодзе.

T → Transformer

Калі працюеце над стадзіяй T Transformer, спачатку запісайце умовы вікорыстоўвання: неабходныя даныя, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі спіс дапамагае залічыць пазнейшыя змены ў кодзе.

GPT-1, GPT-2, GPT-3… Чаму разныя?

Найважлівейшы вывод

Чэрніця для працы