Ад мадэляў да агентаў: перагляд трох ліній абароны
Як кіраванне MLOps пераносіцца на агентныя сістэмы: што павінна дадаць кожная з трох ліній, дзе прабелы і якія сігналы падаюць рэгулятары ЕС, FDA і фінансавага сектара.
Крыніцы: From MLOps to AgentOps: Redrawing the Three Lines of Defense
Агентныя AI-сістэмы наражаюцься на правіла керавання, напісаныя для звычайнага програмнага забезпечэння і традыцыйных модэляў, але гэта тверджэння легча падтвердзіць на конкрэтным прыкладзе. Гады працы ў сферы MLOps, якія включаюць ведэнне інвентара модэляў, працэсы верыфікацыі, назіранне за змянамі модэляў і працэсы затверджэння ў корпаратыўных і фінансавых установах, не застаюцца без ужытку, калі організацыя перэходзіць на LLM-сістэмы і агенты. Тое, што змініцца, ёсць болей вузкім і конкрэтным, чым думае большасць людзей.
Уявіце кампанію з керавання рызыкамі, якая апрацоўвае звычную заявку. У форме ставяцца звычныя запытанні пра даны для навчання, номер версіі, статус затверджэння і дату пасляпэльнага перагляду, і кампанія ужо обробіла багато такіх заявок. Потым прыходзіць апісанне сістэмы: чатыры агента, якія саўместна працуюць, шасць інструментаў, якія ўсі яны дзеліцца, індэкс аднаходжэння, які перабудовваецца ў кожны дзень, і рэзультат, які выходзіць у рэзультаце ланцоўкі, у якой кожны окрэмы крок выглядаў нормальна. Нічога з таго, што напісана ў форме, не падходзіць.
Апытака McKinsey AI Trust за 2026 год, якая абліковала адпаведныя даны пра або пяцьсот організацыяў, паказвае падобную карэнтную сітуацыю: прыблізна трохі з трох цэхоў стверджуюць, што ўжо існуючая сістэма керавання ў яных адпаведная для автонамных агентаў, якія вяду сваю працу. Рэшта продовжаюць вікорыстоўваць старую форму заявок і спадзяюцца, што яна дастатньа хорашая. Зазвычай так не бывае, таму важлівая задача — выявіць, дзе яна не працуе належна.
Што ужо пакрывае існуючы праект
Управленьне MLOps — гэта сукупнасьць мераў, якія падтрымліваюць доверлівасць традыцыянскага модэлю машыннага навучэння ад момента трэніравання да завершэння яго выкарыстання. У практыцы:
- Версіяванне модэля, ўнаследке чаго завжды ясна, які модэль працуе ў працэсе выкарыстання і чаму.
- Монітарынг змін, які выяўляе падышчу карыстоўнасці модэля праз змены у вхідных даных.
- Відстэйканне дадзеных да набораў для трэніравання і паўтарнага пераканання.
- Працэсы затверджэння першыя чым модэль будзе выпусканы ў працэсе выкарыстання.
- Правілы CI/CD і кантролю змян, якія ўмовны для будзь-яга працэсу выкарыстання програмнага забавы, і якія ўключаюцца ў гэтыя працэсы, а не стояць па боку яных.
Ніякі з гэтых элементаў не працюе сама сабою. Хтосьці павінен быць адпаведальны за кожную меру, а іншы — пераканацца, што гэты чалавек выканаў сваю працу.
Адміністрацыя адпаведнасці зазвычай практыкуецца праз тры лініі захавання — канструкцыю, яюя банкі і іншы рэгулююцыяяся галузі вжываюць да распадзелу адпаведнасці. Адна паўтарка: Інстытут внутраніх аўдытараў у 2020 годзе перайменаваў яе на Модэль трох ліній, перакіраваючы акцэнт на стварэнне цяніны, а не толькі на захаванне. Сферы фінансаў і рызыкаў, асоўваных з модэлямі, яшчэ вжываюць тэрмін «тры лініі захавання», як і гэты тэкст, хоць офіцыйны назва змянілася.
У традыцыйным праекце MLOps распадзел выглядае так:
- Першая лінія, якая абходзіць продукт, даны і інжынерыю, адпаведная за разработку, тэставанне, запуск і документаванне модэляў.
- Другая лінія, якая абходзіць супакоўка з правіламі і рызыкамі, стварае правілы вжывання модэляў, сочыць за уперадзею і пераглядае высакарызыкованыя прыкладнікі пры ўпуску ў эксплуатацыю.
Гэта структура ўжо вырашаная і добра разумелая, і яна працуе для сістэм, для якіх была створана, тыя-то ёсць мадэлі з фіксаванай структурой, якія паўтараюцься раз і стояць під наглядам між цыкламі перагляду.
Як кожны элемент павінен змяніцца для агентаў
Управлінне AgentOps пачынаецца з тых сабе троха элементаў, але сутнасць, якую кожны з іх пераглядае, разлічыцца, таму што сістэмы праявляюць разныя якосты. Ніжэйшыя разлікі сводзяцца да пяці конкрэтных разніц.
Адзін артэфакт стае многамі. Класычныя модэлі — гэта адзін элемент, які трэба версіяваць. Сістэма з чатырма агентамі — гэта сумка: базовы модэль, чатыры запросы для сістэмы, шасць ваказаў пра інструменты і слой адзыскання, які апдэйтуецца сама па сваім гадзінніку. Кожны з гэтых элементаў можа змяніць прыемнасць работы, таму першая лінія мусі версіяваць і тэставаць кожны элемент. Гэта больш садзіцца на кшталт запросаў і схем інструментаў, якія спрацоўваюць як код адпаведальнасці, з кантролем версій, пераглядам запросаў пра падключэнне і тэстамі канарыяў проты незалежнага набора дадзеных, прычым усё гэта робіцца перад тым, як ўвесты ў эксплуатацыю. Адстаўка толькі модэля заставляе прыблізна тры чвярты аспектаў прыемнасцы работы без кантролю.
Такі правільныя выходныя даныя належаць да прыемлемага дыяпазона. Якшо да традыцыянскага модэлю даць тыя ж уводныя даныя, ён дае тыя ж выходныя даныя, і самэй гэтам паўтарэнне ёсць простым. LLM можа даць два разныя, але обгрунтаваныя адказы праз розныя запускі. Таму другая лінія перастае спытваліць, чы рэшэння правільнае, і пачынае спытваліць, чы рэшэння большую частку часу застаюцца ў прыемлемым дыяпазоне. Гэта вымагае сістэмы ацэнкі з узначанымі порогамі, напрыклад, мінімальнага коефіцыента успеху на праймечанай сэтке тэстаў пры выпуску, а таксама актывацыі перагляду чалавекам, калі рэвальяцыя або балы ацэнкі падыходзяць ніжэй за заданы ліміт. Дагадка ўсёго пра тое, што значыць «прыемлема большую частку часу» для конкрэтнага кейса вікорыстоўвання, ёсць сама па сабе задача, якая не можа быць завершана за аднаго дня.
Адзін власнік стае частынай ланцуга. Адзін модэль, які дэлае адзін прагноз, мае явны власніка. Сістэма з чатырма агентамі такога власніка не мае. Калі заканчоўны рэзультат некорактны, але жадны з крокаў не быў некорактны сама па сабе, для дыягназы трэба журнал рашэнняў, які фіксавае проміжныя перадачы, а таксама канечны рэзультат: даны для кожнага агента, кожна рашыння і тое, што было перадана далей. Без такога журналу ніхто не можа сказаць, які агент несе адпаведнае адпаведнасць, і першыя і другія групы спарчваюцца па гэты вопыс пасля інцыдэту, замест таго каб прадзецідаваць загадзя.
Кантроль дрыфту — гэта не кантроль паведамленняў агента. Перакантрольванні дрыфту паўставляюць прыкладзеныя прогназы з вядомым базовым рэвэлем. Яны не бачаць таго, што агент рабіць пад час выканання: якія інструменты ён выклікае, якія дзеянні выконвае, чы робіць ён у межах заданага дыяпазона. Платформы для абзірнасці агентаў усунуць гэты слепы пункт, фіксуючы весь траец выканання — аж да выклікаў інструментаў, параметраў і спосабу, як выходны даныя аднае адмовы стаюць вхіднымі для наступнай. Багато з іх выкарыстоўваюць адкрытыя стандарты, такія як OpenTelemetry, якія дазволяюць перэносіць траецы між рознымі вэндорамі. Для гэтай сістэмы траец ёсць ежым артыфактам, з якога аўдытар можа пазней перабудаваць адбыўшыяся здарэнні. Без яго трэція лінія аўдыту пераглядае «чорную скрынку» і называе гэта незалежным перакантрольваннем.
Перапранаванне календара стае непаўзовым змянам. Традыцыяныя мадэлі перапранавляюцца за паведамленым графікам: ў месяц, кожны чатыры месцы, калі накапліваецца достатнькі лік новых дадзеных. Сістэма, пабудованая на RAG або непаўзовай дробнай наладзе, можа змяніць сваю эфектыўную працэздатнасьць столькі разоў, сколькі апошніяя абнаўленні ў ўсіх ее знаннях, можа ўжо ў кожны дзень. Калі слой выкарыстоўвання дадзеных апдэйтуецца ўвечары, трэція лінія, пабудаваная на квартальных пераглядах, пераглядае сістэму прыблізна у дзевяці разоў рэдзе, чым яна сама змініцца.
Дзе суходзяюць два прыемы
Працэсуючы ў прымытку, можна пазначыць, што два прыемы маюць аднаковую структуру. Застаюцца тыя ж тры лініі, і абодва выклікаюць патрэбу версіявання, тэставання, перагляду і незалежнага аўдыту. Разлікі заключаюцца ў ступені дзеярожнечы, частоце і об’ектах, якія кожны з прыемаў пераглядае.
У сферы MLOps управленьня тут немаець памылак. Яго пытанні былі паставлены на асумпцыі, што паведамленне мадэлі застаецца стабільным между пераглядамі, а сістэма, якая ўсё нова стварае індэкс адзыскання кожную ноч, не можа застацца на аднам месцы так давго. Усе пяць разлікаванняў вынікаюць з таго, што гэтая асумпцыя не спраўдзіцца: тое, што раней змінялася ў месяц, цяпер можа змініцца ў дзень, іноды нават без якога-лібо втручання ў саму модэль.
Ёжыць гэтыя разлікаванняў не трэба ствараць новую функцыю управленьня з нуля. Для гэтага трэба расшырыць існуючыя падходы новымі можлівасцямі, якія раней не былі неабходныя, і чыста сказаць пра выкладкі кожнай з іх:
- Першы падход: кантроль версій для запросаў і інструментаў, з тэставаннем першымі прыкладамі пры ўведэнні ў эксплуатацыю. Гэта пераважна змена інжынерных практык, а не стварэнне новай каманды.
- Другі пункты: крытэрыі адзначэння прыемлемасці, а таксама пісьмовы спосаб падняць пытанне для рашэнняў, якія абарачваюць кальколька агентаў. Оось справжні праект стварэння правілаў, і першы етап будзе включаць рэальныя пераговоры з юрыдычным і аддзелам са адпаведнасцю.
- Трэція частка: інструменты для стэкхолдарскага адзірвання пад час выканання і навыкі аўдыту логу рашэнняў замест статычнай карткі модэлю. Для большасці функцый, якія кантролююць рызыкі модэляў, гэта значыць неабходнасць прыему новага працавніка або серйознага навучэння, а не проста паказчык у старым шаблоне адзірвання.
Нічога з гэтага нельга прыймаць як неабавязкова, калі мета — правадзіць надзеямы адпаведна да таго, кальколькі з чатырох агентаў выдала рашэнне.
Што сказалі рэгуляторы паўтароўна
Жадная адна рэгуляторная структура ўсё ўсё не адпавядае тэхналогіям AI-агентаў, але тры існуючыя модэлі з разных галузей паказваюць, куды працюе розвітак.
- Закон ЕС праўільнае аблікаванне іскуснага сімулявання дыяўчыць у всіх сектарах. Павіннасці ў сферэ праўільнае аблікаванне, выказаныя ў статты 50, пачынаюцца 2 серпня 2026 года, незалежна ад іншых абставінаў. Болей строгіяя павіннасці, прызначаныя для высокарызыковых прыладоў, указаныя ў Дадатку III, таксама пачынаюцца тым жа датам, але запраектаваны пакет мераў Digital Omnibus, прынцыпова схвалены ў мае 2026 года, але яшчэ чакаючы формальнага узяць, можа адклаць іх на 2027 год. У календары прыдарожненняў трэба зазначыць гэты адкладчык як у стадыі адлікавання.
- Падход FDA да медычных прыладоў, якія выкарыстоўваюць іскуснае сімулявання, ёсць вертыкальным і спрамованым на прылад, а яго ключовым інструментам ёсць План кантролю змян. За дапамогою гэтага плану первачная згода ужо дазволяе певныя пасляэтапныя абнаўленні прылада, за ўмовы, што яны застаюцца ў межах заданых парадактных параметраў. Ён таксама включае рэкамендаціі па правільнай практыцы машыннага навчання і сістэму кантролю якасці, якая прагчыцца да стандарта ISO 13485. Фактычна, кантроль змян стае часткай процэсу згоды, а не павіннасцю, якая дадаецца пазней.
Ні адна з трох практык не можа служыць шаблонам для копіювання. Чытаныя разам, яны паказваюць напрамак развіцці: неабходна змяніць заранее узгаданыя межы, рангі рызыка, а таксама адкрыта адзначыць несувяз між чыннымі правіламі і поведэннем агентаў.
Працягом да формы заповнення
Існуючы форма заповнення можа застацца. Але каманды патрэбны адзінэчны анкета для багатаэнтэйных сістэм, структураваная апошнім трыма аспектамі, на якія ўжо спынілася, і яе учаснікі должны розумець, што чыстая адпаведзь трэба старацца даўаць.
Які крок будзе адрабоўвацца першы? Ў большай частцы версіяванне, адколі гэта супамінае проблему кантролю версій, якую інжынеры вядомы як рашаць. Адпаведнаесць за адзіну ланцоўку рашэнняй, верагатна, застанецца проблемай найдольш час. Гэта проблема організацыйнага дзеяння, пакрытая тэхнічнымі аспектамі, і жадныя етапы ацэнкі яе не вылечыць.
Супаўязаныя матэрыялы
- Адзент агентных цыклаў да графаў рабочых пралэцэсаў: тыпаваны стан, брамы падтверджэння і обмежаная вяснаванасць — Чаму агенты, якія працуюць дзялейна, не падходзяць для аднаго цыкла, і як явныя вузлы, рэшткі, тыпаваныя артыфакты, пераходы, якія перакананы, і правыя на кожны вузел робяць іх надзеянымі.
- LLMOps для агента-памагчыка: MLflow Traces, Evals і брама CI — Створыце памагчыка для задаўанняў на базе PydanticAI з FastAPI, адстэпліце яго за дапамой MLflow, оценіце яго за дапамой евалюатораў GenAI і заблокіруйце рэгрэсіі ў GitHub Actions, усё на локальных мадэлях.