Практычныя прытамулкі: Журналы аудыту AI-агента патрабуюць 12 полей. Мы пісалі пра 6 фрэймворкаў.

Існавайце гэта як перапрацоўаны варыянт ідэй з артыкула “AI Agent Audit Logs Need 12 Fields. We Counted 6 Frameworks — the Median Records 5.”, адпрацоўаны для аператараў: чыстыя этапы, аранжаваныя блакі коду і прыметкі з вяснавання, якія застаюцца пасля перадачы задання. Этап Аналізу работае найэфектывней, калі яго розглядаць як мерыябельную плошчу. Запісаце адна ідеальная транскрыпцыю, адзін прыклад неудачы і прыметкі з вяснавання прычыны неудачы, перш чым расширваць масштабы. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісьць крок не выйшла, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны процес.

Ключовыя выводы

У стадії выявлення ключовых моментаў неабходна з’ясаваць вхідныя даны, адпаведальную особу за кожны крок і критэрыя завершэння працы перад змінайом коду. Аператары должны магчымае перазапускати крок з вядомай точкі контролю, не прабуючы спадарожваць схованы стан. Спрыяйце цій стадіўцы як даговору межа вхідных даных і перакананых выходных рэзультатаў. Даць назвы артыфактам, з’ясавіць критэрыя успеху і не падтрымваць безсловеснае часткова завершэння задання. Заставіць людзкую апраўдку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе виробніцтва. Компіляцыйныя налашчэння не є адпаведнікамі пачатковай цэлесообразнасі задання.

Короткая версія

Для стадіі TL DR неабяжна прадзеўдзець вхідных дадзеных, адпаведнага адпаведальнага за крок і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не прабуючы спадарацца пра схованы стан. Запісваюць час выконання і кост токенаў або запытаў праза функцыйнае рэзультаты. Відкрытыя данні пра косцы з’являюцца рана, таму не будзе неспадзянак у відплатах, калі процес пераходзіць з дэмавайнага режыма ў спяльныя среды. Пры кроках, якія витрачаюць грошы або зменяюць данні ў працэсе, неабяжна ўключыць пашчатковую апрацоўку чалавекам. Компіляцыйныя налашчэнні не ўзначаюць павнае адпрацоўкі для бізнесу.

Што мы на самай працы змерылі?

Для тага «Што мы на самай працо выканалі?» неабяжна прадзефінаваць вхідныя даны, адміністратара крока і критэрыя завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не спрабоўваючы здогадвацца пра схованы стан. Конфігурацыю трэба залічыць праза код аплікацыі. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый належыць у аднам месца, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг задач. Неабяжна працаваць з адзінам схваленням чалавека для рэшэнняя, якія зменяюць грошы або дадзеныя, выкарыстоўваныя ў працэсе. Підключэння пад час компілявання не ўзначае повнасці бізнес-процэсу. Для тага «Што мы на самай працо выканалі?» неабяжна прадзефінаваць вхідныя даны, адміністратара крока і критэрыя завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Валічыць кращэ маленькія, тэставаныя елементы над велікімі скрыптамі. Калі крок не выйшоў, прычына нехацкага рэзультата должна вказываць на адну адпаведальнасць, а не на заплутаны ланцуг задач.

Што павінна мяць лог-файл аудыту АІ-агента?

Калі працюеце над этапам «Што такое АІ», спачатку запісайце умовы кантракту: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контролю дапамагае заліцвачыць пазнейшыя змены ў кодзе. Спрэцьвачайце гэты этап як кантракт межа даннімі і перакананымі выходамі. Дайце назвы элементам, задаце критэрыя успеху і не падзволяйце частковаму завершэнню без паведамлення. Стварайце контрольныя точкі пасля дорогіх крокаў. Програма для продакцыі не павінна зноў выклікаць той самы календар вызову LLM, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам.

Скількі поль фактычна фіксуе кожная платформа?

Калі працуеце над пунктом «Сколькі полей ў стэйджы», спачатку запісайце умовы контракту: неабяжныя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список контроля дапамагае заліцвачыць змяны ў кодзе.

Калькі полей ніхто не запісвае?

Калі працуеце над пытаннем «Якія поля ніхто не выкорыстоўвае», спачатку запісайце умовы працы: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список дапамагае залічваць пазнейшыя змены ў кодзе чыста.

Зберагайце настройкі праза код прыемліка. Файлы сераўнавання, храненні секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжнага чытання всіх элементаў системы.

Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення роботы не должна занова ставіць плату за той самы вызов LLM, калі аператар перапрыямляе роботу да наступнага элемента.

Калі працуеце над пытаннем «Якія поля ніхто не выкорыстоўвае», спачатку запісайце умовы працы: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список дапамагае залічваць пазнейшыя змены ў кодзе чыста.

Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшаў, прычына невыпання должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Чаму фрэймворкі запішваюць так многа, а падтверджуюць так мало?

Этап «Чаму фрэймворкі запішваюць» працюе найэфектывней, калі яго розглядаць як вимерную плошчу. Запісаце адзін ідеальны прыклад, адзін кейс неудачы і прыметку пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Разглядзайце этап як кантракт межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхоўскага частковага завершэння. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць, який вузел запісаў канкрэтны поле, і спакшуюць продажчыку роботу пасля перарываў.

Разве стандарт OpenTelemetry GenAI ўжо не рашае гэту проблему?

Этап OpenTelemetry працюе найкраща, калі яго розглядаць як мэтрыябельную паверхню. Запісайце адны ідеальны транскрыпт, адзін прыклад неудачы і прыметку па абяроŭненні роботы, прычым расширяючы сферу дзеяння. Запісвайце часы выконання і вартась токена або запиту праз ці функцыональныя рэзультаты. Відразлівае прадстаўленне вартасей запобегае неспакою з боку расчыткаў, калі процес пераходзіць з дэмовай среды ў спяльнаныя сераўісы. Храніце стан графа ў простам і типаваным формате. Вярнутыя структуры масавых дадзенняў закрываюць ведамасць пра тое, калькі вузел запісаў калькі поль, і спакшваюць продажчэнне роботы пасля перарываў.

Што гэта не паказвае

Механізм, які не выкарыстоўваецца для зберагчыцтва дадзеных, працуе наякша, калі яго розглядаць як мерыемую паверхню. Зберагчыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Хавайте настройкі парадульна ад коду прыемліка. Файлы сераўнавальных сэрвісоў, хранілішча секрэтных дадзеных і флагі функцый должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабходнасці чытання всей структуры. Хавайте стан структуры простым і з адзінаковым типам дадзеных. Вярсткаваныя блокі дадзеных маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакоююць продажчык роботы пасля перарываў. Механізм, які не выкарыстоўваецца для зберагчыцтва дадзеных, працуе наякша, калі яго розглядаць як мерыемую паверхню. Зберагчыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Валідзіце малыя, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшаў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаную лінію виконання.

Што мы на самай працоўнай адзначылі б па гэтаму?

Для стадії «Што мы насправды будзем выконваць» неабяжна прадэфінаваць вхідныя даны, адпраўніка крока і критэрыя завершэння перад змінайом коду. Аперацыяныя працавнікі должны магчымае перайсці на гэты крок з вядомага пункта контролю, не спрабоўваючы здогадвацца пра схованы стан. Спрыяйце гэтай стадіі як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, прадэфінаваць перагляды успеху і адмовіцеся ад беззвучнага частковага завершэння. Заставьце людзкія падтверджэння для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны для працы. Компіляцыйныя налашчэння не ўзроўнаваны з абсягам выконання бізнес-задач.

Часта задаваемыя запитанні

Для этапа частаў запытаў неабходна пазначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры перадзмене коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выконання і кост токенаў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Пры кроках, якія витрачаюць грошы або зменяюць даны ў працэсе, неабходна людская апраўда. Прыўязкі ў часе компілявання не абавесць цэлыснасцю бізнес-процэса.

Ўрайкі і апавясненні

У стадії «Адресы выхадных джэраноў» неабходна прадзефінаваць вхідныя даны, адпаведальную особу за выкананне крока і крэтыніяты для завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічваць паза кодам прыкладнення. Файлы сераўіса, хранальнікі секрэтных данных і флагі функцый належаць у аднам месца, якое працавнікі можуць аудытаваць, не чытаючы весь ланцуг задач. Неабходна людская апраўда для тых рэштоў, якія выкарыстоўваюць грошы або зміняюць даны у працэйнай средзе. Підключэння пад час компіляцыі не є гарантіяй полнай адпаведнасці прыкладнення бізнес-трэбаванням. У стадії «Адресы выхадных джэраноў» неабходна прадзефінаваць вхідныя даны, адпаведальную особу за выкананне крока і крэтыніяты для завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выканаецца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцуг задач.

Чэк-ліст для аператыўнай роботы

Калі працуеце над этапам чэк-ліста для аператыўнай роботы, спачатку запісуйце умовы контракту: неабходныя даны, сігнал успеху і тое, што выканаецца у разы ўзелькая неудача. Такі чэк-ліст дапамагае заставаць пазнейшыя змены коду чыстымі.

Документавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не пазнейшым дапрацоўкам.

Зробіце чэкпоінт пасля дорогіх крокаў. Система вярнення не должна занова ставіць плату за той самы вызыв LLM, калі аператар перапрыбуе пазнейшы узел.

Фіксуйце версіі залежнасцяў і запісвайце хэш адобраза, які выканаў дэманстрацыю. Возможнасць перадарабаткі прыважней за камандны досвід.

Вядзьміце прыоритет над малымі, тэставанымі елементамі працы над вялікімі скрыптамі. Калі якісь крок не выйшае, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Пауза пасля дорогіх крокаў. Система абработкі заявок не должна знову браць плата за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы крок.

Перад апранаваньем стака неабходна заморазіць версіі, зафіксаваць «золаты» транскрыпты для критичнага шляху і паказаць крокі для вярнення да пачатковага стану. У спільных средах трэба встановіць ліміты на частоту вызоў, пераканацца ў правільнасці налаштавань тэнанты і вказаць чысткага адпаведальнага за зміны секрэтных дадзеных. Краща простая надзеянае працаванне, чым крэатывныя, але еднаковыя дамахі.

Прымечанне для 480b934cb5de: не трэба клаць ключы прадастальца ў репазітары, встановіць ліміт токена на кожную сесію і зберагаць транскрыпты разам з фіксатрамі для ацэнкі, ўпрымку празьмены моделей застаюцца поручнаеўпорнымі.

Калі працуеце над першым этапам зміцнення, спачатку запісайте умовы: неабяцковыя даны, сигнал успеху і тое, што выходзіць пад частковыя неудачы. Такі список дапамагае заліцварваць пазнейшыя змены коду. Зберагаюце настройкі празьма ад коду прыемліка. Файлы сераўнавання, храненні секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць пераглядаць іх без неабяцковага чытання всіх элементаў.

Дзялей 0/865 зміцнення: вымерыце час выканання, класію памылак і колькасць викорыстоўваных токенав для гэтага пункту, а потым выберыце, чы робіць змену на адной пазначанай базе пытанняў, а не на адной толькі прымітывнай інформацыі.

Першы этап зміцнення працюе лепей, калі яго спрыяваць як меравальную плошчу. Запісайце адны ідеальны прыклад работы, адзін прыклад неудачы і запіску пра вярнэнне да пачатковага стану, перш чым расширваце сферу дзейнасці. Валідзіце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок дзеянаў.

Дзеянне паўжасткі 1/865: звярніце увагу на час выканання, клас памылак і колькасць токенаў, выкорыстаных для гэтай змяны, а пасля, на аднойчынку з фіксаваным наборам пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацца застаўляць гэту змяну.

Для 2-й стадзіі паўжасткі неабходна перад змянай коду чытко апісаць вхідныя даны, адпаведальнага за выкананне крока і критэрыяы завершэння. Аперацыйныя працавнікі должны магчыма было перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісвайце час выканання, а таксу токенаў чы запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра витраты запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжасткі 2/865: звярніце увагу на час выканання, клас памылак і колькасць токенаў, выкорыстаных для гэтай змяны, а пасля, на аднойчынку з фіксаваным наборам пытанняў, а не на індывідуальных прыкладах, выявіце, чы рэшацца застаўляць гэту змяну.