Галоўная / Артыкулы

Практычныя нататкі: шматагентны цыкл дэбатаў, які ніхто не правяраў

Практычны разбор тэмы «шматагентны цыкл дэбатаў і праверка таго, што ён насамрэч робіць»: кантракты, праверкі і гатовыя фрагменты кода для каманд, якія ўкараняюць гэты падыход.

Выдавец: REACTAPP.TOP7 хв чытання1652 слоў

Крыніцы: I built a multi-agent debate loop and never once checked what it cost me

Наступныя прытамкі восстанавляюць практычны шлях, які можна адпрацаваць, калі ў вас ёсць схема з калькольнікаў-агентамі, але вы ніколі не пераканаліся, сколькі гэта коштуе. Акцэнс ставяцца на контракты, перакананняя і шаблоны коду, якіе можна легка заменіць, а не на мотывацыйныя аспекты. Калі працуеце на стадзіі агляду, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што будзе адбывацца у разе частковага невыпання. Такі спіс дапаможае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына невыпання должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач.

Інстынкт, які вы прывезлі з сабой

Інстынкт, які вы прынялі на гэтым этапе, працюе найкрашча, калі яго расследжваць як вымерную велічыну. Запісаўце адна «золатая» транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да поперадньего стану, прычым расшыраючы масштабы. Расследжвайце гэты этап як кантракт межа вхіднымі данымі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і не падпісваюцеся на тыхое часткова завершэнне задання. Храніце стан графа ў простам і тыпаваным фармаце. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў кожны поле, і спакойваюць працу пасля перарываў.

Гэтыя два элементы не ёсць працоўнікамі

Этыя два элемента працююць наўсёх лепшая, калі іх розглядаць як вімерную паверхню. Запісайце адна «золатая» версія, адзін прыклад неудачы і прыметку па адвярненню змян перш чым расшырваць масштаб. Запісвайце часы выканання і косты токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае прадставленне костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Храніце стан графаў у простам і тыпаваным фармаце. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакшваюць продажчыку працу пасля перарываў.

Дзе вы навучыліся гэтаму на скарбце

Этап «Дзеянне, дзе вы гэта выучылі» працюе найкрашча, калі яго спрыяваць як меравальную паверхню. Зберагачыце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Храніце настройкі пазырочна ад коду прыемліка. Файлы сераўіснага сераўісу, базы секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць контроль без неабяжнага чытання всіх дадзеных. Храніце стан графа ў простам і тыпаваным фармаце. Вярнутыя структуры дадзеных маскуюць інфармацыю пра тое, канкрэтны вузел запісаў канкрэтную палатку, і спакойваюць працу пасля перарываў. Этап «Дзеянне, дзе вы гэта выучылі» працюе найкрашча, калі яго спрыяваць як меравальную паверхню. Зберагачыце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшаў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі задач.

Потым ён зламаўся, і саме спосаб зламу ёсць галоўны момант

Для тагу Then it broke and stage неабяжна прадзецьваваць інпуты, власніка крока і крэтыяры выходу пры змены коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы статус. Спрыяйце гэтам этапу як кантракту межа інпутамі і падтвердзенымы выходамі. Даўце назвы артыфактам, прадзецьвавайце крэтыяры успеху і адмовіцеся ад тыхоўскага частковага завершэння. Заставіце людзкую апраўду на тых элементах, якія вітрачаюць грошы або зменяюць даны праўай працы. Кампіляцыйныя наладкі не ўзроўнаваліся з абсолютным завершэнням бізнес-процэсу.

Тая частка, якой вы менейш заўсёды пахваляецеся

Для тагу stage неабяжна прадзеўдзіць вводныя даны, абавесць крока і крэтынія выходу пры перадзеўстве коду. Аператары павінны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы статус. Запісваць трэба час выканання і кост токена або запыту разам з функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакоўным рахункам, калі траекторыя пераходзіць з дэмаверсіі ў спакульнаныя сераўысы. Неабяжна атрымваць пашчаткованне чалавека для крокаў, якія вітрачаюць грошы або зменяюць даны ў працэсе. Кампіляцыйныя наладкі не ўзроўнаважваюцься з пачатковасцю бізнес-процэсаў.

Што на самай працэ патрабуецца ад распрацоўшчыкаў

Для этапы «Што на самай працо запрашваецца» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымаецца перазапускаць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Конфігурацыю трэба залічыць праза код аплікацыі. Файлы сераўіса, хранальнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Прызначайце людскія апраўды для рэлей, якія выкарыстоўваюць грошы або зміняюць даны у працоўным рэжыме. Підключэння ў час складання не ёсць адпаведным для пачатку бізнес-процэсаў. Для этапы «Што на самай працо запрашваецца» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымаецца перазапускаць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Валічыце маленькія, тэставальныя елементы пра велікія скрыпты. Калі крок не выйшаў, прычына нехасабносты павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцуг задач.

eline.

Прыклад, які вы трэбаеце мячыць у кашэлку

Калі працуеце над стадзіяй з выкарыстоўванням прыклада, які трэбаець мячыць у кашэлку, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковай нявыполненасці. Такі спіс контроля дапамагае заставіць пазнейшыя змены коду быць чыстымі. Спрыятлівае ставленне да гэтай стадзіі як да угоды межа данымі і перакананымі выходамі. Дайце назвы элементам, задаць правіла пераканання успеху і адмовіцеся ад тыхоўскай частковай завершэння. Ствараць контрольныя пункты пасля дорогіх крокаў. Програма не должна зноў ставіць плату за той самы вызов LLM, калі аператар праканае пазнейшы вузел.

Частка, пра якую вы хочаце быць справедлівымі

Калі працуеце над тым этапам, які вам патрэбны, спачатку запісайце умовы кантракту: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцвачваць змяны коду пасля таго, як яны былі адбыты.

Запісвайце час выканання і кост токена або запыту праз тэкст функцыйнальных рэзултатаў. Відразы коста з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя.

Зробіце контрольную пазнаку пасля дорогіх крокаў. Сістэма вярнення не павінна зноў нарахоўваць кост той самай вызову LLM, калі аператар прабуюць зноў выконаць пазнейшы вузел.

Дзе вы знаходзіцеся

Калі працуеце над стадзіяй «Дзе вы падаеце», спачатку запісайце умовы працы: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс контролю дапамагае заліцвачыць пазнейшыя змены ў кодзе. Зберагаюце настройкі паза кодам прыемліка. Файлы сераўіснага сэрвісу, хранальнікі секрэтных дадзеных і флагі функцый належаць у аднам месца, куды аператары можаць адрабоўваць аўдыт без неабяжлівага чытання всей структуры. Ставяйце контрольныя пункты пасля дорогіх крокаў. Сістэма вярнення працы не должна занова ставіць плату за той самы вызов LLM, калі аператар перапрыяўляе працу да наступнага элемента. Калі працуеце над стадзіяй «Дзе вы падаеце», спачатку запісайце умовы працы: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс контролю дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выканаецца, прычына нявыполнення должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаную структуру працы.

Контрольны спіс для аператараў

У стадыі практычнага чэк-лісту неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтарыя выходу пры зміне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан.

Дакументаваць трэба як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не якімсь пазнейшым дапрацоўкам.

Неабяжна ўключыць людзкую апраўдку для тых крокоў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе віробніцтва. Компіляцыйныя налашчэння не ёсць гарантыяй полной адпаведнасці продукту выклікам.

Напісці короткі посібнік: як роцыяваць кантрольныя клучы, як спрачыслаць чэргу, як анулюваць пярэдніе змены.

Валіць лепшая маленькія, тэставаныя елементы, чым велікія скрыпты. Калі крок не выйшоў, прычына неабяжна мусіць быць аднаковаю для всіх аспектаў, а не стосавацца сложнай сіткі крокоў.

Неабяжна людская празначэнне для тых элементаў, якія выдваюць грошы або зменяюць даныя праработкі. Працаванне ў часе компілявання не абяжаецца пачынкамі бізнес-процэсаў.

Перш чым пераводзіць стэк, заморажуйце версіі, зафіксавайце «золаты» транскрыпты для крытычных ліній працы і паказвайце крокі для атрыбуцыі. У спадзяльных срэдах неабходны ліміты частоты, перакананні ў прыналежнасці і чысты власнік для ротацыі секрэтных дадзенняў. Валіце надзейнасць працы над крэатывнымі разовымі дамазамі.

Запіс для пакета 45c0b695a477: не кладзіце ключы прадаўцоў у рэпазітарый, задаце верхнюю межу токенаў на сесію і храніце транскрыпты празаўседы ў фіксатырах для ацэнкі, каб пазнейшыя замены мадэляў заставаліся пораўнанымі.

Этап 0 пры падготовцы да захісту працюе найкрашча, калі яго спрыяваць як меравальную паверхню. Зберагчыце адна «золатая» транскрыпцыя, адзін прыклад неудачы і запіс пра вярненне да пачатковага стану, перш чым расшырваць сферу дзеяння. Дакументавайце як успішны, так і вярнучыся шляхы. Перапрыбуткі, людзкія контраліны і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымось, што дадаецца пазней.

Дзялей 0/773 пры падготовцы да захісту: змерайце час выканання, класыя ошыбакі і вітрату токенав для гэтага запісу, а пасля, на аднойчынку з фіксаваным наборам пытанняў, а не на аднойчынку з пераказамі, выявіце, чы хацеце застаўці змяну.

Для этапа 1 пры падготовцы да захісту, перш чым зменяць код, задаце вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аперацыёныя працавнікі должны магчымае перадзеяць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыявайце гэты этап як кантракт між вхіднымі данымі і паўнастацэннымі выходнымі рэзультатамі. Даце назвы артыфактам, задаце пераказы на успех і не прабоўваце прыймаць часткова завершаныя рэзультаты без паведамлення.

Дзеянне паўжырання 1/773: звярніце увагу на час выканання, класыя ошыбак і колькасць вікорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай сэтце запытаў, а не на асобістых спазырах, выявіце, чы хацяце застаўіць змены.

Калі працуеце над 2-й стадзіяю паўжырання, спачатку запісайце шаблон контракту: неабходныя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыпання. Такі спіс контроля дапамагае заставіць пасляэтапныя змены ў кодзе чыстымі. Зберагаюце канфігурацыю праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куда аператары можуць адбавіць аўдыт без неабходнасці чытання всей структуры.

Дзеянне паўжырання 2/773: звярніце увагу на час выканання, класыя ошыбак і колькасць вікорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай сэтце запытаў, а не на асобістых спазырах, выявіце, чы хацяце застаўіць змены.