Практычныя прытамулкі: Мой AI-агент належыць да ~Топ-0.01% у WorldQuant Challenge 4

У гэтым карыце парадоксальная дорага ад сыр'ёў да рабочай системы для: «Мой AI-агент» знаходзіцца ў ~Топ-0,01% чэсткі WorldQuant Challenge #4: Context Engineering. Акцэнт ставяцца на практычныя крокі, чысткія перакананні та код, які можна проста дадаць у репазітарый без неабяснення меты. У стадзіі агульнага відгледу неабходна практычна апісацыя вхідных дадзеных, адпаведальнага за крок і крэатарыяў завершэння працы перш чым змяніць код. Аператары должны магчымае перадзеісцаваць крок з вядомага пункта контролю без неабяснення схованага стану. Спрыятлівае ставленне да гэтай стадзіі як да кантракту межа вхіднымі дадзенымі та практычна перакананымі выходнымі рэзультатамі. Назваць всі элементы, практычна апісацыя крэатарыяў успеху та адмова ад беззвучнага частковага завершэння працы.

Проектаванне рэвалюцый доказаў

Калі працюеце над стадзіяй «Проектаванне рэвалюацыйных рэгламентаў», спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць змяны ў кодзе адкрыта і чэстна. Запісвайце час выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даны пра косцы запобегаюць неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Зробіце перапаконтроль пасля дорогіх крокаў. Система адновлення не павінна зноў нарахоўваць косты той самай вызову LLM, калі аператар прабуюць зноў запрацаваць пазнейшы вузел.

L1 — гэта статычная правда:

Калі працуеце на стадзіі статычнай правды L1, спачатку запісаце кантракт: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі список пераканаець у тым, што пазнейшыя змены коду буду чыстымі. Храніце настройкі параду ўнутры коду прыемленае. Файлы сераўіса, хранальнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжлівага чытання всей структуры. Стварайце контрольныя пункты пасля дорогіх крокаў. Функцыя вярнення роботы не должна занова ставіць плату за той самы вызов LLM, калі аператар перапрыяўляе роботу да пазнейшага вузла.

L2 — гэта дынамічная правда:

Калі працуеце з стадзіяй «Дынамічная правда» L2, спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў заходзіць пазнейшыя змены коду чыстымі. Документавайце як «шчаслівы» шлях, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць частью продукту, а не пазнейшым дапрацоўкам. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення не павінна зноў ставіць плату за той самы вызов LLM, калі аператар перапрыбуе пазнейшы вузел. Калі працуеце з стадзіяй «Дынамічная правда» L2, спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў заходзіць пазнейшыя змены коду чыстымі. Спрыймайце гэтую стадзію як контракт межа даннімі і перакананымі выходамі. Дайце назвы элементам, задаць критэрыя успеху і адмовіцеся ад тыхнага частковага завершэння без паведамлення.

L3 — гэта індуктыўныя уперадзівы:

L3 ў стадіі індуктыўнага скасавання працюе найэфектывней, калі яго спрыяваць як вимерную паверхню. Зафіксавайце адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра скасавання перш чым расширваць масштаб. Запісвайце часы виконання і косты токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае прадставленне костаў запобегае неспакойным рахункам, калі процес пераходзіць з дэмовай среды ў спакульную. Храніце стан графа як плоскі і з аднаковым типам дадзеных. Вярсткаваныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продовжэнне роботы пасля перерываў.

Контэкст — это платформа для дадзеных, а не папка

Контэкст у стадії обробкі данных працюе найэфектывней, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны ідеальны прыклад, адну справу з бягам і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Зберагаюце настройкі пазыроўна ад коду прыемлівача. Файлы сяродавішчыны, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць контроль без неабяжнага чытання всіх дадзеных. Зберагаюце стан графа ў простам і типаваным формате. Вярнутыя блокі дадзеных маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць продажчыку роботы пасля перарываў.

Стабільныя ID служыць для з’еднання всего контэксту

Стэдж з Stable IDs працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зберагачыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контраліны і обработка некоректных паведамленняў ёсць часткай продукту, а не чымось, што дадаецца пазней. Храніце стан графа ў простам і типаваным формате. Вярнутыя блокі маскуюць інфармацыю пра тое, калькі вузел запісаў калькі поль, і спакшуюць возз'яданне пасля перарываў. Стэдж з Stable IDs працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зберагачыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Спрыявайце гэтам стэджу як кантракту межаў вхідных дадзеных і перакананых выходных рэзультатаў. Даўайце назвы артыфактам, задаюце критэрыя успеху і не прымайце тыхню частковую узавершэннасьць.

Інструмент надае кожнам агенту толькі тое, што яму трэба

Для кожнага этапу пры выкарыстоўванні брэльса неабходна прадзефінаваць вхідныя даны, адпаведальную особу за этап і крэтыніяты для завершэння пры змены коду. Аперацыйныя працавнікі должны магчымае перзапускаць этап з вядомай точкі контролю, не прабуючы спадарацца пра схованы стан. Запісваюцься часы выконання і косты токена або запита праза функцыональныя рэзултаты. Відразлівасць костаў з самага пачатку запобегае неспакою, калі траекторыя пераходзіць з дэмавайнага сераўера ў спяльныя сераўеры. Аутентыфікацыя выкананае ў шлюзе, а прабачэнне прав на выкарыстоўвання — у плоскасці дадзеных. Сам токен-несучы не є межай арэны выкарыстоўвання.

Як далей развіваць гэю архітектуру дадзеных

Для стадіі развітку інструкцыі «Як» неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтыяры завершэння перад зменым коду. Аперацыяныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць парад унутранам коду прыкладнення. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцый павінны знаходзіцца ў адном месцы, якое аперацыяныя працавнікі могу пераглядаць, не чытаючы весь ланцуг задач. Пры выконанні дзеяння, якія коштуюць грошы або зменяюць даны у працоўным режыме, неабяжна ўключыць людзкую апраўду. Підключэння пад час компіляцыі не ўзначае повнасці бізнес-процэсу.

Што далей?

У стадії «Што далей?» неабяцо практычна вводныя даны, адміністратар шагу і крэтыяры завершэння пры перадзеіснаванні коду. Аператары павінны магчымаць перзапуск шагу з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабяцо задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкія пераказы і обробка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Неабяцо атрымаць людзкую згоду для тых крокоў, якія выкарыстоўваюць грошы або зміняюць даны прадукцыі. Працэс складання коду не ўзроўнюецца з повнасцю бізнес-функцыяў. У стадії «Што далей?» неабяцо практычна вводныя даны, адміністратар шагу і крэтыяры завершэння пры перадзеіснаванні коду. Аператары павінны магчымаць перзапуск шагу з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце цій стадіі як кантракту межаў вводных данных і перакананых выходных рэзультатаў. Дайце назвы артыфактам, практычная пераканання успеху і адмовіцеся ад беззвучнага частковага завершэння.

Чек-ліст для эксплуатацыі

Этап перагляду канцэлкі працоў выкарыстоўвання работае наякша, калі яго спрыймаюць як мерыемую структуру. Запісаўце адна ідеальная версія, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння.

Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісьць крок не выйшла, прычына неудачы павінна вказываць на аднойчыную адпаведальнасць, а не на заплутаную ланцюговую структуру.

Дзержаце стан графа плоскім і з адзінаковым типам дадзеных. Вкладаныя блокі маскуюць інфармацыю пра тое, який вузел запісаў кожна поль і спакоююць працу пасля перарываў.

Калі бюджет дазволяе, дадзіце тэст на перагляд критычнай дорогі ў системе CI з викорыстанням фіксатываў, а не рэальных платных API.

Спрыймайце этап як кантракт межа вхіднымі дадзеннямі і перакананымі выхіднымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Дзержаце стан графа плоскім і з адзінаковым типам дадзеных. Вкладаныя блокі маскуюць інфармацыю пра тое, який вузел запісаў кожна поль і спакоююць працу пасля перарываў.

Перш чым запускать практыку, заморозьце версіі, зафіксавайце ідеальны транскрыпт для критычнага шляху і паказвайце спосабы абяроны. У спільных средах неабходны ліміты частоты запуска, пераконтрольванне прав на выкарыстоўвання ресурсаў і чысткі власнік для змены секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым хітрыя разовыя дэманстрацыі.

Прыметка для пакета c8880027bac8: не кладзіце ключы прадаўца ў репазітарый, задаце верхнюю межу токена на кожную сесію і зберагачыце транскрыпты празаўсёды разам з фіксатрамі для ацэнкі, каб пазнейшыя замены моделей заставаліся порównанымі.

Прыметка па змяцнэнню безпекі на стадыі 0 найкраща працуе, калі яе спрыягчваюць як мерыемую плошчу. Зафіксавайце адны ідеальны транскрыпт, адзін прыклад неудачы і прыметку па абяроне перш чым расширваць масштаб. Дакументавайце як успішны, так і вярнучы шляхы. Перапрыбуткі, людзкія контролі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжасткі 0/818: звярніце увагу на час выканання, класы паказакоў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе паказакоў, а не на індывідуальных прыкладах, выявіце, чы хацеце застаўіць змяну.

Для першага этапу паўжасткі неабходна ўзначыць вхідныя даны, адпаведальнага за выкананне крока і критэрыяы завершэння працы перш чым змяніце код. Аператары должны магчыма было перзапусціць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Штодзе гэты этап трэба спрацавваць як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назвіце всі неабходныя элементы, узначыце критэрыя успеху і не праграмавайце можлівасці тыхамага частковага завершэння працы.

Дзеянне паўжасткі 1/818: звярніце увагу на час выканання, класы паказакоў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля, на аднойчынай базе паказакоў, а не на індывідуальных прыкладах, выявіце, чы хацеце застаўіць змяну.

Калі працуеце над 2-м ўрадзаем стадіям, спачатку запісайце умовы кантракту: неабяжныя даны, сігнал успеху і тое, што выходзіць пад частым неудачам. Такі список дапамагае залічыць пазнейшыя змены ў кодзе. Зберагайце настройкі параду ўнутры коду прыемленае. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжнага чытання всіх элементаў.

Дзеянне 2/818 па ўрадзэнню: замерайце час выканання, класію каштоўкаў і выкарыстоўванне токенаў для гэтага пункту, а потым выберайце, чы хацяце застаўіць змену, адпаведна фіксаванаму набору пытанняў, а не індывідуальным спостарэнням.

2-я стадія ўрадзэння працюе лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адны ідеальны прыклад работы, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.

Дзеянне паўжасткі 3/818: звярніце увагу на час выканання, класы паказакоў і витрату токенаў для гэтага зьязку, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы хацяце застаўіць змены.

Для 4-го этапу паўжасткі неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя працавнікі должны магчымае перадзьвяжаць крок з вядомага пункта контролю, не прыпускаючы стану, які застаўся нез’явным. Запісваюце час выканання і вартасьць токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра вартасьці запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжасткі 4/818: звярніце увагу на час выканання, класы паказакоў і витрату токенаў для гэтага зьязку, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы хацяце застаўіць змены.

Калі працюеце над 5-м падземам прыемкі забезпечэння безпекі, спачатку запісайце умовы кантракта: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыпалення. Такі список пераканаецца пазнейшыя змены коду быць чыстымі.

Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некоректных паведамленняў ёсць частью продукту, а не пазнейшым дапрацоўкам.

Дзеянні прыемкі забезпечэння безпекі 5/818: вымерайце час выканання, класію памылак і витрату токенав для гэтай прыемкі, а потым выберайце, чы робіць змену на аднойчынных крэтарах, а не на аснове індывідуальных спостарэнняў.