Практычныя прытамулкі: AgentSRE: Аўтонамнае кераванне інцыдэтамі з выкарыстоўванням складальнай ШІ

У гэтым керавані перакладзены маршрут ад сыр'ёў да рабочай системы для: AgentSRE: Автонамна адрабатка інцыдэтаў з викорыстанням складальных AI-агентаў на AWS. Акцэнт ставіцца на практычныя крокі, чысткія перакананні та код, які можна прыўязаць да репазітария без неабязковасці здогадвацца пра мету. У стадзіі агледжэння неабходна практычна з'явіць вхідныя даны, адпаведальнага за крок та критэрыя завершэння пры перамены коду. Аперацыйныя працавнікі должны магчымае перадзваначыць крок з вядомага пункта контролю, не здогадваючыся пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехарактэрыстыкі должна вказываць на адзін конкрэтны элемент, а не на заплутаны ланцужок задач.

Проблема традыцыйнага адпаведзення на інцыдэты

Калі працюеце над стадзіяй «Проблемы з традыцыйным падходам», спачатку запісайце контракт: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладзець пазнейшыя змены коду ў правільны роўн. Спрыяйце цій стадзіі як контракту межа даннэмі і перакананымі выходамі. Дайце назву артыфактам, задаць правіла пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце перапытаку пасля дорогіх крокаў. Програма для вярнення роботы не должна зноў ставіць плату за той самы вызов LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел.

Падход AgentSRE

Калі працюеце над стадзіяй «The AgentSRE Approach», спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі список контроля дапамагае заліцвачваць будучыя змены коду. Запісуйце час выканання і кост токена або запыту праз ці функцыйнальныя рэзултаты. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверыяна ў спакульнаныя среды. Зробіце перапытаку пасля дорогіх крокаў. Програма не должна зноў нарачываць кост той самай вызову LLM, калі аператар прабуюць зноў запрацаваць пазнейшы вузел.

Аптака архітэктуры

Калі працуеце над стадзіяй «Аптэктура», спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі список пераканаецца, што пазнейшыя змены коду буду чыстымі. Зберагаеце настройкі паза межамі коду прыемлена. Файлы серавэра, хранілішча секретных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адрабоўваць аудыт без неабяжлівага чытання всей структуры. Зрабіце контрольны пункт пасля дорогіх крокаў. Функцыя вярнення не должна занова выклікаць той самы календар LLM, калі аператар перапрыяўляе роботу да наступнага вузла. Калі працуеце над стадзіяй «Аптэктура», спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі список пераканаецца, што пазнейшыя змены коду буду чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выканаецца, прычына нявыполнення должна вказываць на адну адпаведальнасць, а не на заплутаную лінію обработкі.

Выконанне через складальныя агенты

Этап адміністрацыі за допаможчыю складальных агентаў працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны ідеальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштаб. Спрыявайце гэты этап як кантракт межа вхіднымі даннымі і падтвердзенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць критэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задачы. Зберагаюце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў які поле, і спакоююць продажчую роботу пасля перарываў.

Як класыфікацыя выбірае правильнага агента

Механізм выбору стадії класыфікацыі «How» працюе найэфектывней, калі яго розглядаць як вимерную плошчу. Зафіксавце адны ідеальны прыклад, адну справу з бягам і запіску пра выкананне атрыбутаў назад, перш чым расширваць дыялянку дзеяння. Запісвайце часы выканання і косты токеноў або запытак праза функцыйнае рэзультат. Відразлівае паказанне костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмовай среды ў спяльнаныя сераўеры. Зберагачце стан графа простым і з аднаковым типам дадзеных. Вкладаныя блокі маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакшваюць продажчэнне працы пасля перарываў.

Два спецыялізаваныя агента

Этап «Двух спецыялізаваных агентаў» працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зберагачыце адна ідеальная копія даных, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Храніце настройкі парадульна ад коду прыемлі. Файлы сераўнавальнага сяродовішча, базы секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куда аператары можуць адбавляць контроль без неабяжнага чытання всіх дадзеных. Храніце стан графа ў простам і типаваным формате. Вярнутыя структуры дадзеных маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакшваюць продаж чытання пасля перерываў. Этап «Двух спецыялізаваных агентаў» працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зберагачыце адна ідеальная копія даных, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Валічыце маленькія, тэставаныя елементы працы над велікімі скрыптамі. Калі якісь крок не выйшаў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцоўкі дзеяння.

Агент аператыў базы дадзеных AI

Для стадіі аператывах базы дадзэнняяў AI неабходна прадзефінаваць вхідныя даны, адпаведальную особу за выкананне крока і критэрыя завершэння пры зміне коду. Аператывы должны магчымаць перыякорэнне крока з вядомага пункта контролю без неабясненняя скрытага стану. Спрэцыявляйце гэтую стадію як кантракт межа вхіднымі данымі і падтверджанымі выходнымі рэзультатамі. Даўце назвы артыфактам, прадзефінаваць перакананняя ў успеху і адмовіцеся ад тыхнага частковага завершэння без паведамлення. Заставьце людзкія апраўданні для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны для працы. Прыўязка ў часе компілявання не адпавядае пачатковай цэлесообразнасі бізнесу.

Агент для выправлення SQS

Для этапу SQS Remediation Agent неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і критэрыя завершэння пры змены коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выконання і кост токена або запыту праза функцыйнальныя рэзултаты. Відразлівасць костаў з самага пачатку запобегае неспакою, калі процес пераходзіць з дэмовай среды ў спяльнаваныя сераўсы. Пры кроках, якія витрачаюць грошы або зменяюць даны ў працоўнай среде, неабяжна выкарыстоваць людзкую апраўдку. Падключэнне праз час компілявання не ўзначае повнасці бізнес-функцыйяў.

Інтэрфейс спецыяльных аперацый

Для стадіі The Custom Operations Interface неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба захаваць паза кодам прыкладнення. Файлы сераўіса, хранальнікі секрэтных данных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Прызначайце людскія апраўды для рэлейнаў, якія витрачаюць грошы або зменяюць даны у працэсе. Прыўязка на час компілявання не є падтверджэннем полнайасці бізнес-процэсаў. Для стадіі The Custom Operations Interface неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Валіце маленькія, тэставальныя елементы над велікімі скрыптамі. Калі крок не выйшоў, прычына нехарактэрыстыкі павінна вказываць на адную адпаведальнасць, а не на кантэкст.

заплутаная сітка пайплаўнікоў.

Возможнасць адзірвання за дапамогою візуалізацыі топологіі

Калі працуеце над этапам возможнасць адзірвання за дапамогою візуалізацыі топологіі, спачатку запісайте умовы: неабяжныя вхідныя даны, сигнал успеху та тое, што выходзіць у разе частковага абякання. Такі список контролю дапамагае заліцвачыць пазнейшыя змены коду. Спрэчвайце гэты этап як угоду межа вхіднымі данымі та перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць критэрыя успеху та не падтрымайце безследны частковы завершэння. Зробіце контрольны пункт пасля дорогіх крокаў. Система вярнення не павінна знову ставіць плату за той самы вызов LLM, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам.

Чаму важна складаемасць

Калі працюеце над этапам «Чаму важна композабельнасць», спачатку запішыце умовы викорыстання: неабяжлівыя даннэ, сигнал успеху і тое, што выходзіць пад частыя неудачы. Такі список дапамагае заліцварваць можлівыя змены ў кодзе. Запісваце час выконання і кост токеноў або запытаў разам з рэзультатамі функцый. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўсы. Зробіце перапыт пасля дорогіх крокаў. Система вярнення працы не должна зноў нарахоўваць косты за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы элемент.

Тэхналогічны стак

Калі працуеце над стадзіяй «Тэхналогічны стак», спачатку запісайце умовы вярбунка: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі список дапамагае заліцвачыць пазнейшыя змены ў кодзе. Зберагаюце настройкі паза кодам прыемлена. Файлы серавэра, хранілішча секретных дадзеных і флагі функцый належыць у аднам месца, куды аператары можаць адрабатаваць без неабяжлівага чытання всей структуры. Ставяце контрольныя пункты пасля дорогіх крокаў. Система вярнення не должна зноў выклікаць той самы вызов LLM, калі аператар перапрыяўляе роботу да наступнага элемента. Калі працуеце над стадзіяй «Тэхналогічны стак», спачатку запісайце умовы вярбунка: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі список дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок абякае, прычына абякання должна вказываць на адну адпаведальнасць, а не на заплутаную лінію обработкі.

Рэзультаты

Этап рэзультаў работае наякша, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адна ідеальная версія, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштаб. Спрыяйце гэтым этапам як кантракту межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхняй частковай роботы без паведамлення. Зберагаеце стан графа ў простам і типаваным формате. Вярнутыя структуры маскуюць інфармацію пра тое, який вузел запісаў кожны поле, і спакшуюць продовжэнне роботы пасля перарываў.

Заключэнне

Этап вынікнення рэшты працюе найэфективней, калі яго спрыяваць як меравальную плошчу. Зберагачыце адны ідеальны транскрыпт, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выконання і косты токеноў або запытак праза функцыйнае рэзультат. Відразлівае прадставленне костаў з’являецца перашкоду неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Чэк-ліст для эксплуатацыі

Этап чэк-ліста для эксплуатацыі працюе найэфективней, калі яго спрыяваць як меравальную плошчу. Зберагачыце адны ідеальны транскрыпт, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба.

Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Зберагаюце стан графа у простам і типаваным формате. Вярнутыя структуры маскуюць інфармацію пра тое, який вузел запісаў якое поле, і спакоююць працэзвяршэнне пасля перерываў.

Калі бюджет дазволяе, дадзіце тэст на перакананне, які працюе над критычным шляхам у CI з викорыстаннем фіксатываў, а не рэальных платных API.

Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, адказ за гэтае бяспекацкіе явышчанні павінен быць прысвечаны адзіной адпаведальнасці, а не заплутанай лянцюговой працэзвяршэнню.

Зберагаюце стан графа у простам і типаваным формате. Вярнутыя структуры маскуюць інфармацію пра тое, який вузел запісаў якое поле, і спакоююць працэзвяршэнне пасля перерываў.

Перад апраноўкай стэка заморозьце версіі, зафіксуйце ідеальны транскрыпт для критычнага шляху і паказваце крокі для адворачэння. У спакульнаваных средах патрэбны ліміты частоты запытоў, перакананні пра адпаведальнасць власнікаў і чыстае веданне пра таго, хто адпавядае за зміну секрэтных дадзенняў. Валіце простую надзяю на надзейнасць замест крэатыўных, але разовых дэманстрацый.

Запіска параграфу 45be5f4e0812: не трэба кантрацеўваць ключы прадаўцаў у репазітарыі, задаць максімальную кантроль на токены на адну сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены моделей заставалі пораўнанневымі.

Запіска па прыняццю заходаў абароны 0 стадіі найэфектывней працуе, калі яе спрыяваць як мерыемую плошчу. Зберагчы адну ідеальную транскрыпцію, адзін прыклад неудачы і запіску пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Канфігурацыю трэба кантрацеўваць за межамі коду прыемленае. Файлы сераўнавання, сховішчы секрэтных дадзеных і флагі функций должны знаходзіцца ў аднам месцы, куды аператары можаць адбавляць без неабходнасці чытання всей структуры.

Дзялічны пункт абароны 0/815: мерыць час выканання, класу каштоўкаў і выкарыстаныя токены для гэтай запіскі, а пасля — вырашыць, чы робіць змяну на адной падставе фіксаванага набора пытанняў, а не на адной лячбе.

Для першага стадыі змецелення неабяжна прадзефінавацыя вхідных дадзеных, адпраўніка крока і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перадзеўжваць крок па вядомай точцы контролю, не спрабоўваючы здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптаў. Калі крок не выйшоў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.

Дзеянне змецелення 1/815: вымерыць час выканэння, класію адказаў і колькасць выкорыстоўваных токенаў для гэтага пункту, а потым вырашыць, чы робіцца змена на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

Калі працуеце над 2-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць па частым неудачам. Такі список контролю дапамагае заставаць пазнейшыя змены коду чыстымі. Запісвайце час выканання і вартасьць токенаў або запытак па боку функцыйнальных рэзультаатаў. Відразлівае паказанне вартасцей з’являецца прыклад для запобежэння неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне прыемкі з паўнейшага захавання 2/815: замерьце час выканання, класію паканаў і витраты токенаў для гэтай прыемкі, а пасля выберце, чы хацеце застаўіць змену на адной фіксаванай сэтке пытанняў, а не на адной лічбе прыкладаў.

2-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як мерыму аб’ект. Запісвайце адну ідеальную транскрыпцыю, адзін прыклад пакана і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштаб. Дакументавайце як успішны, так і вярнэнчы паты. Перапрыбуткі, людзкія контролі і обработка неканальных паканаў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

Дзеянне паўжасткі 3/815: звярніце увагу на час выканання, класы памылак і колькасць выкорыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацеце застаўіць змяну.

Для 4-го этапа паўжасткі неабходна перад змянай коду задаць вхідныя даны, абавесцяўца шагу і крэтырыі завершэння. Аперацыяныя працавнікі должны магчыма было перазапускаць шаг з вядомай точкі контролю, не падозрываючы прыхованы стан. Штодзе гэты этап трэба спрацавваць як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назвіце артыфакты, задаць перакананні на успех і адмовіцеся ад беззвучнага частковага завершэння.

Дзеянне паўжасткі 4/815: звярніце увагу на час выканання, класы памылак і колькасць выкорыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацеце застаўіць змяну.

Калі працуеце над 5-м падземам прыемкі забезпечэння безпекі, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі список контроля дапамагае залічыць пазнейшыя змены ў кодзе чыстымі. Зберагаюце настройкі пазначыльна ад коду прыемлена. Файлы сераўіса, хранальнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжлівага чытання всей структуры.

Дзялёўка забезпечэння безпекі 5/815: вы мераваеце час выканання, класію каштоўкаў і выкарыстоўванне токенаў для гэтай прыемкі, а пасля выявляеце, чы хацеце застаўіць змену, спынюючыся на апранаванай сэтцы пытанняў, а не на індывідуальных прыкладах.

5-й падзем 6-й прыемкі забезпечэння безпекі работае лепей, калі яго спрыямаць як меравальную плошчу. Зберагаеце адну ідеальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваце сферу дзейнасці. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісьць крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач.

Дзеянне паўжчання 6/815: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.

Для 7-го этапу паўжчання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя працавнікі должны магчымае перадзвануць гэты крок з вядомага пункта контролю, не прыпускаючы невядомага стану. Запісвайце час выканання і колькасць токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра витраты запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжчання 7/815: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.

Калі працуеце над 8-м стадзіям заўважэння па забезпечэнню безпекі, спачатку запісайце контракт: неабяжныя вхідныя даны, сигнал успеху і тое, што выходзіць у разе частковага абякання. Такі список пераконтроўкаў дапамагае заліцвачваць пазнейшыя змены ў кодзе.

Документавайце як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не пазнейшым дапрацоўкам.

Дзялей 8/815 па забезпечэнню безпекі: вымерайце час выканання, класію памылак і колькасць викорыстоўваных токенав для гэтага заўважэння, а пасля вырашайце, чы робіць змены на адной пазначанай базе пытанняў, а не на адной лічбе прыкладаў.

8-я стадзія заўважэння па забезпечэнню безпекі працуе лепей, калі яе спрыямаць як вимерную плошчу. Запісайце адну ідеальную транскрыпцыю, адзін прыклад абякання і заўважэнне па вяснаванні, перш чым расширваць масштаб.

Спрыяйце гэтай стадзіі як контракту межаў вхідных даных і перакананых выходных рэзультатаў. Дайце назвы артыфактам, задаць критэрыяі успеху і адмовіцеся ад тыхнай частковай роботы без паведамлення.

Дзеянне паўжырання 9/815: зважыце час выканання, класію адказаў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашыце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на аднойчы інформацыі.

Для 10-го этапу паўжырання неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за шаг і крэтырыя завершэння. Аперацыёныя працавнікі павінны магчымае перадзванаць шаг з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Конфігурацыю трэба зберагчы за межамі коду прыемленае. Файлы сяродавішча, хранільнікі секрэтных дадзенняў і флагі функцияй павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь граф.

Дзеянне паўжырання 10/815: зважыце час выканання, класію адказаў і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашыце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на аднойчы інформаціі.