Практычныя прытамулі: Системы з калькольнікамі — это бэкенд-системы з недэтэрміністычнымі алгорытмамі
Практычныя прыказкі: Системы з калькуляцыямі на адносах межаў – это системы з адзінным фонавым слоем, якія выкарыстоўваюць надзеяныя форматы, перакананні та спецыяльныя слоты для коду для команд, якія реалізуюць гэты патерн.
Існавайце гэта як перапрацоўку ідэй з артыкула «Системы з калькамі ўчаснікаў — это системы бэкенду з надзеянымі складавальнікамі» для аператараў: чыстыя этапы, аранжаваныя блакі коду і прыметкі па вяснаванню, якія застаюцца пасля перадачы. Этап Апглэву лепш працюе, калі яго спрыяваць як вимерную паверхню. Запісаўце адна ідеальная транскрыпцыю, адзін кейс абякання і прыметку па вярнэнню да пачатковага стану прычым расшырэнню масштаба. Спрыявайце гэты этап як кантракт між вхіднымі дадзеннямі і паўнастацэннымі выходам. Дайце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхоўскага частковага завершэння.
Кожнае робота патрабуе кантракта
Для стадіі «Усё патрабуе контракт» неабяжна ўзначэнне вхідных дадзеных, адпаведальнага за крок і крэтарыяў завершэння працы перад зменым коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы з’ясаваць схованы стан. Запісваюць час выконання і кост токенаў або запытаў па боку функцыйнаых рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмавай версіі ў спяльныя среды. Пры кроках, якія витрачаюць грошы або зменяюць даны ў працэсе, неабходна людская апраўда. Прыўязкі ў часе компілявання не абавесць цэлыснасцю бізнес-процэса.
{
"status": "needs_clarification",
"question": "Which dataset should be used?",
"required_input": "dataset"
}
Domain workflow
↓
Structured clarification request
↓
User interaction layer
↓
User
Спрыяйце запытам як канфігурацыі
Для падзеў Treat у стадіі наладкі неабходна ўсканаваць вхідныя даны, абярнучага этапу і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі должны магчымае перазапускаць этап з вядомай точкі контролю, не прабуючы спадарацца пра схованы стан. Наладкі трэба залічваць паза кодам прыемленае. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое працавнікі можуць пераглядаць, не чытаючы весь граф. Калі наступны этап — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя апісанні.
Контэкст — гэта бюджет
Паколькі мова йдзе працэўнае стадія з бюджетам, неабходна прадзефінаваць вхідныя даны, адпаведальную особу за кожны крок і критэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабходна аддокументавацыя як шляху успеху, так і шляху вярнення да нормальнага стану. Перапрыбуткі, людзкія пераказы і обробка некоректных паведамленняў є часткай продукту, а не элементамі пазнейшага дапрацоўкі. Неабходна людзкая затверджэнняе для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны, выкарыстоўваные у працэсе. Компіляцыйныя налашчэння не є гарантыяй полной адпаведнасці продукту выклікам рынку. Паколькі мова йдзе працэўнае стадія з бюджетам, неабходна прадзефінаваць вхідныя даны, адпаведальную особу за кожны крок і критэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Цяю стадію трэба спрыймаць як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Неабходна даць назвы всім элементам, прадзефінаваць критэрыя успеху і не прабываць прыймать часткова завершаныя рэзультаты без падтверджэння.
instructions
+ available capabilities
+ examples
+ conversation history
+ artifacts
+ previous outputs
+ workflow state
Адзін агент, адзін ролю
Калі працуеце на стадзіі «Адзін агент, адзін ролю», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў заходзіць пазнейшыя змены коду чыстымі. Запісвайце час выканання і кост токена або запыту пад функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Зробіце контрольную пазнаку пасля дорогіх крокаў. Функцыя адновлення не должна зноў нарахоўваць кост той самай вызову LLM, калі аператар прабуюць зноў запрацаваць пазнейшы вузел.
Ваша графіка ў стане
Калі вы працуеце над этапам «Ваша графіка ў стані», спачатку запісайце умовы викорыстання: неабяжлівыя данні, сигнал пра успех і тое, што выходзіць пад частыя неудачы. Такі список дапамагае заліцварваць будучыя змены ў кодзе. Зберагаюце настройкі паза кодам прыемліка. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый крануцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей графікі. Стварайце контрольныя пункты пасля дорогіх крокаў. Функцыя вярнення до роботы не должна занова ставіць плату за той самы вызов LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел.
Large artifact
↓
Graph state
↓
Step
↓
Step
↓
Step
Large artifact
↓
External storage
↓
Reference + metadata
↓
Graph state
Надзеяўнасць — гэта пераважна інжынерыя
Калі працуеце на стадзіі інжынерскага проектавання, яка ў значныяй меры стосуецца надзейнасці, спачатку запішыце умовы кантракту: неабяжныя данні, сигнал успеху і тое, што выканаецца у разе частковага абярэння. Такі список пераканальвае ў тым, што пазнейшыя змены коду будуць чыстымі. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не элементамі пазнейшага дапрацоўвання. Зробіце пераканальну пазначку пасля дорогіх крокаў. Система вярнення не должна знову выклікаць той самы кантакт з LLM, калі аператар перапрыбуе працаваць з наступным вузлом. Калі працуеце на стадзіі інжынерскага проектавання, яка ў значныяй меры стосуецца надзейнасці, спачатку запішыце умовы кантракту: неабяжныя данні, сигнал успеху і тое, што выканаецца у разе частковага абярэння. Такі список пераканальвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрыймайце гэтую стадзію як кантракт межа даннімі, якія вносзяцца, і паўнастайшымі рэзультатамі. Даць назвы элементам, задаць критэрыя успеху і не падтрымляць тыхняе частковае завершэнне без паведамлення.
Выбір моделі — це рашынка парадзігу системы
Этап выбору моделі працюе найэфектывней, калі яго рассматрываць як вимерную характэрыстыку. Запісайце адны ідеальны прыклад роботы, адну ситуацыю неудачы і прыметкі па поверненні да пачатковага стану пры расширэнні масштаба. Запісвайце часы виконання і косты токенав або запытак праз адныя з функцыйнальных рэзультатаў. Відразлівае паказанне костаў з’являецца перашкодай неспакойным рахункам, калі працэс пераходзіць з дэмавай версіі ў спяльныя сераўысы. Задайце бюджет токенав на адну роўныню і на адну сесію. Інструменты з агентным падходам агрэсіўна расширваюць контекст; строгія ліміты не дазволяюць дэмавай версіям ператварыцца на неспакойныя рахункі.
Інжынерныя рашынкі, якія узгадваюць недэтэрмінізм
Інжынерныя рашэнні ў стадзіі разгляду недэтэрмінізма работаюць наякша, калі іх расследваць як вимерную паверхню. Запісаўце адна «золатая» транскрыпцыя, адин прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Зберагаюце канфігурацыю паза кодам прыемлі. Файлы сяродавішча, хранальнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжнага чытання всіх дадзеных. Зберагаюце стан графа ў простам і типаваным формате. Вярнутыя блокі маскуюць інфармацыю пра тое, який вузел запісаў які поле, і спакоююць працэс пасля перарываў.
Чек-ліст для эксплуатацыі
Калі працуеце над стадзіяй чек-ліста для эксплуатацыі, спачатку запісайце умовы викорыстання: неабяжныя данні, сігнал успеху і тое, што выходзіць на падчас неудачы. Такі чек-ліст дапамагае заставіць пасляэтапныя змены коду чыстымі.
Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшаў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.
Пауза пасля дорогіх крокаў. Продакцыя не должна знова выкліквати той самы календар LLM, калі аператар праказвае пазнейшы вузел.
Фіксуйце версіі залежнасцей і запішыце хэш адпраўленага зображэння, якое выканало дамэ. Возможнасць павторнага стварэння результата лепшыя за традыцыйныя знаёмства.
Спрытывайце гэты этап як кантракт між вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўайце назвы артыфактам, задаюце критэрыя успеху і адмовляйцеся ад беззвучнага частковага завершэння.
Пауза пасля дорогіх крокаў. Продакцыя не должна знова выкліквати той самы календар LLM, калі аператар праказвае пазнейшы вузел.
Перад апранаванням стэка заморажуйце версіі, зафіксуйце «золаты» транскрыпт для критычнага маршруту і паказвайце крокі для адвярнення змян. У спакульных сераўерах неабходны ліміты частоты запытоў, перакананні ў прыналежнасці ресурсаў і чысткі власнік для змены секрэтных даных. Лепшая надзеяная надзейнасць, чым крэатывныя разовыя дамэ.
Запіска параграфу 7c67cdf593b4: не трэба кантрацеўваць ключы прадаўцаў у репазітарыі, задаць максімальную кантроль на токены на адну сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены моделей заставалі пораўнанневымі.
Запіска па прыняццю заходаў абароны 0 стадіі найэфектывней працюе, калі яе спрыямаць як мерыемую плошчу. Зберагчы адну ідеальную транскрыпцію, адзін прыклад неудачы і запіску пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Канфігурацыю трэба кантрацеўваць за межамі коду прыемленае. Файлы сераўнавання, сховішчы секрэтных дадзеных і флагі функций должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць без неабходнасці чытання всей структуры.
Дзялічны пункт абароны 0/875: мерыць час выканання, класу каштоўкаў і выкарыстаныя токены для гэтай запіскі, а пасля — вырашыць, чы робіць змяну на адной падставе фіксаванага набора пытанняў, а не на адной лячбе.
Для першага пасэгу з ударожанняя захавання неабходна ўзначэнне вхідных дадзеных, адпаведальнага за крок і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перадзвануць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшае, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.
Дзялянка ударожанняя захавання 1/875: зважыце час выконання, класію памылак і колькасць выкорыстоўваных токенав для гэтага пасэгу, а потым вырашыце, чы робіць змену на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.
Калі працуеце над 2-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць па частым неудачам. Такі список контроля дапамагае заставаць пазнейшыя змены коду чыстымі. Запісвайце час выканання і вартасьць токена або запыту пад функцыйнальнымі рэзултатамі. Відразы вартасцей з самага пачатку запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.
Дзеянне прыемкі з паўнейшага захавання 2/875: звярніце увагу на час выканання, класы памылак і витрату токена для гэтай прыемкі, а пасля выберыце, чы робіць змены на адной фіксаванай сэтке пытанняў, а не на адной лічбе прыкладаў.
2-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як меравальную плошчу. Запісвайце адну ідеальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштаб. Дакументавайце як успішны, так і вярнэнчы паты. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не чымсь, што дадаецца пазней.
Дзеянне паўжасткі 3/875: звярніце увагу на час выканання, клас памылак і колькасць викорыстоўваных токенав для гэтага зьязку, а пасля вырашыце, чы робіць змяну на аднойчы назначанай сэткі пытанняў, а не на аднойчы інформацыі.