Бяспечнае выяўленне інструментаў для карпаратыўных AI-агентаў: рэестр, шлюз і палітыкі

Запіт, які стоіць за інструментамі для агента

Калі даць агенту калькі API і парадыктуець модэлю выбіраць, якія з іх выкорыстоўваць, то доступ да інструментаў выглядае як рашаная проблема. Але ў корпаратыўных умовах сітуацыя іншая: там каталог мае сотні чыста тысяч інструментаў. Дзеякія з іх — безнебяжныя інструменты толькі для чытання, іншыя можуць змяніць даныя кліентаў чы асобавы даны, а ўжо няшматыя можуць запускаць фінансавыя транзакцыі, пераканфігураваць абліквы чы выканаць адміністрацыявыя операцыі. «Як агент знаходзіць правы інструмент?» — гэта просты запыт. Ёшчы сложнейшы ў тым, як гарантаваць, што агент будзе бачыць і выкорыстоўваць толькі тые інструменты, якія яму разрэшаны для выпалення конкрэтнага запыту кліента.

Гэта тое, што тут дакладна аналізуецца як дыягностычнае даследжэнне. Цэлая архітэктура розраблена для сферы фінансавых служб і не павінна спрыявацца як апіс адпрацоўванага сістэмы платэжаў.

Не падпускайце модэль да меж сябецы безпекі

Прыменэнне тэхналогій ML дае важны урок: крытычны для бізнесу працэс не знаходзіцца ўнутрь самага модэлю. Модэль можа прагназаваць, рэкамендаваць або класіфікацыяваць, тады як абяранне, парадактычна перакананне, бізнес-правіла, автарызацыя і апрацоўка транзакцый належаць да дэтэрміністычнага програмнага забезпечэння, якое знаходзіцца за межамі модэлю. Агенты робяць гэтыя правіла строгейшымі, а не слабейшымі, адколі агент можа выконваць дзеянні. LLM можа быць сільным аргументавальнікам, але ўсё раве застаўся паслаблёным выборам для абярання сістэмы падпрыемства.

Просты фінансовы сцэнарый паказвае прычыну. Кліент прасіць агента пераглянуць няўзабавны транзакцыю і сказаць, чыя была адбыта вярненне. Агент павінен зрозумець запіт і выкарыстаць інструменты для пошуку кліента і транзакцый, што ёсць звычайной практыкай.

Цяпер зменімо запіт: калі вяротна сума ўсё ўсё не пераказана, яе трэба выдаты. Агент больш не проста збірае інформацыю, адколі гэта можа спрычыніць фінансавыя наследкі. Гэта невеліка зміна стварае падставу для прынцыпа, на якім базуецца все іншае:

Агент можа обдумаць дзеянне і запропанаваць яго. Чы будзе гэта дзеянне рэальна адбыцца, вяршыцца на дэтэрміністычной платформе.

Разлік між обдумваннем і выкананнем дозволяе сістэме вікорыстоўваць тое, у чым LLM-ы сільны, не пакладаючыся на яны для задач, якія яны не можуць адбыць надзеяйна.

Рэестр інструментаў заместо вялікага спіску

Як агенту выучыць, якія інструменты існуюць? Адна з аптавакаў — даць модэлю вельмі дзьяўны спіс апісаў інструментаў і парадзіць яму самаму выбраць тыя, якія ўжыткавыя. Гэта можа падыяць для прататыпа, але не падходзіць для карпоратыўных масштабаў. Тыясчы апісаў ствараюць додатковыя вакументы і падвышаюць час адпаведзення, а неакранізаваная пошукавая функцыяя прыносіць рызыкі для безпекі без жадных выгод.

Лепшы варыянт — Рэжыстры інструментаў, карпоратыўны каталог можлівасцяў. У яму ўключаюцца не толькі назвы API і схемы. Кожны элемент мае метаданы, якія платформа можа выкарыстоўваць для пошуку, керавання і прыняцця рашэнняў па правілах:

• бізнес-домэн, власнік і версія
• чы робіцца інструмент толькі для чытання чы можа выконваць змены
• класыфікацыя рызыка і неабходныя можлівасці
• класыфікацыя дадзеных
• схемы вхідных і выхідных дадзеных
• характэрыстыкі ідэмпотэнцыі
• трэбаванні да аўдыту

Метаданыя маюць вельмі важлівую ролю пад разлічэнні разных тыпаў операцый. Пошук транзакцыі — гэта дасліджэнне з досыць нізкім рызыкам, вярненне грошаў — гэта фінансавая операцыя з вялікім адзінакам, а адміністратыўная операцыя можа несці ўсё большы рызык. Гэтыя разлікі не можа застацца толькі ў дасведчэннях; яны павінны існаваць у самай платформе, каб дэтэрміністычная інфраструктура магла на іх адпрацаваць.

Адкрыцце не ўзначае автарызацію

Гэта можа быць найпрыдатнейшы разлік у всім дызайне: адкрыцце інструмента і наявнасць права на яго выкарыстоўванне — гэта разныя рэчы.

Адкрыцце адпавядае на пытанне, якія інструменты павінны быць доступныя для данага агента для выканання данага заведама. Автарызацыя адпавядае на пытанне, чы розрахунак у даны момент дазволены.

Такім чынам метаданы рэйстры служыць падставай для кроку фільтрацыі, які выконваецца раней, чым LLM прыменяе свае алгорытмы для выбору опцый. Спачатку платформа візначае, хто ёсць корыстнік, які агент дзейнае, які ёсць тэнант, які ўмовы кантэксту і калі ўсё гэта прагнесяцца дасягнуць. Пасля чаго ёй ствараецца скарбнік інструментоў, якія падходзяць па цій меце, а потым гэты скарбнік скорачваецца з узяццем у расчытанне можлівасцяў агента, прав наўпрыемніка, меж тэнанта, рэгіону і правіл абаранення рызыкаў. Мадэль бачыць толькі тое, што засталося.

Але гэты фільтр усё ж не можа быць апошнім рубункам абаранення. Мадэль можа выдаты запыт, якога ніхто не чакаў, неправільна зрозумець намеры корыстніка або быць пад вплывам інжэкцыі запыту. Таму кожны вызов праходзіць чэрз кантролюемы Tool Gateway на шляху да базовага API падпрыемніка.

У сваім сэнсе, шлюз аналізуе сумку фактов адночасна (хто ўжоўка, які агент выкананаў калленд, што запрашваецца, на якім рысурсе, з якімі параметрамі, у якім кантэксце) і прыменяе відпаведную політыку.

Автарызаваць намер, а не толькі інструмент

Прыклад вярнення грошаў паказвае ўсё жа адну пункт. Автарызацыя не можа залежаць толькі ад таго, які інструмент выкананаў калленд. Яна павінна браць у расчыт намер і дзеянне, якое яго вынікае.

Перакантрольванне статусу вярнення грошаў і пачатак самага вярнення — гэта не адна і тая ж функцыя: адна з яёў — гэта чытанне інформацыі, а другая — фінансавы наследак. Платформа должна чытра адзначыць іх адна адной. Запрос, класыфікаваны як запіт пра статус вярнення грошаў, можа прайсці праз інструменты для пошуку кліента і транзакцый, але такая класыфікацыя не дае автаматычна права на адклекчэнне операцыі вярнення. Нават калі мадэль неправа вырашыць, што трэба выдаты вярнення, шар автарызацыі можа парабіць супорак спрабаванага дзеяння з дазволеным намерам і адхіліць яго.

У гэтым аспекце падход да безпекі змініцца з пытання пра тое, чыі агент мае доступ да API для вярнення грошаў, на пытання пра тое, чы розрахованы гэты корыстнік, агент, намер, рэсурс і дзеянне ў даным кантэксце.

Калі палова рабочага працэсу не выйшла

Калі дзеянне стане дазволеным, з’являецца другая проблема: што, як часць працэсу выканання задачы успее, а іншая — не? Падумаймо, калі відшкодаванне будзе апраўлена, а паведамленне пра падтверджэння — ні. Перазапуск усяго працэсу можа прывесты да двойнага відшкодавання.

Безпечнейшы падход заключаецца у тым, каб побачны эфект стаў часткай стойкага працэсу выканання задачы. Автарызацыя затверджае відшкодаванне, API для відшкодавання яго выканана, а рэзультат успеху зберагаецца. Што зберагаецца, выдае змест RefundCompleted, які запускае паведамленні. У разе невыпадку з паведамленнем запускаецца толькі пракатка яго апраўлення, а фінансавая операцыя не павтараецца.

Наявнасць LLM у сістэме не пазначае канец класычнаму набору інструментаў для падпрыемаў. Практыкі павторных спроб і усунення дуплікацыяў, прыстроі захоплення цепей і компенсацыйныя дзеянні, ідэмпатныя операцыі, стойкі стан і апрацоўка на адной з адбуваючыхся подзеяў яшчэ застаюць актуальнымі. Агенты можу дапамагаць у прыняцці рашэнняў пра тое, што трэба зрабіць, тады як дэтэрміністычная інфраструктура контролюе важлівыя змяны стану.

Затверджэнні належаць да правіл

LLM таксама не павінен адначы выявляць, калі чалавек павінен затвердзіць які-небудзь элемент. Гэта ўжо пытанне правіл. Арганізацыя можа дазволіць автаматычныя вярненні сум гэтакіх, што ніжэй за певны порог, а для сум вышэй за ўказаны порог — вымагаць пацверджэння; адначы для адміністратыўных операцый завжды павінна быць неабходна згода, а таксама трэба дадаць контроль за транзакцыямі з нестандартнымі пунктамі назначэння або высокім рызыкам. Мадэль можа павесты, што можа знадобіцца певная дзеянне. Сістэма правіл выявляе, чыраць пацверджэння неабходна, а Tool Gateway выконвае гэтае рашэнне. Гэта таксама паўніцяюць кераванне, адколі правілы ўсёчытныя, можна іх пераглядаць, ствараць версіі і аўдытуваць, і яны не захаваны ўнутрь запіту.

План керавання і план выканання

Пасля аналізу гэтых сцэнарыяў дызайн стае значна менш сэродзевацкім, ніж простая лінія «выкарыстоўнік → LLM → інструменты», і болей сэродзевацкім, ніж платформа для керавання падпрыемствам. Ён ежыстаўна дзеліцца на два роздзелы.

Контрольныя планшэты — гэта тое месца, дзе арганізацыя запісвае сваія правілы. Яны включаюць каталог агентаў, рэестр інструментаў, апісанні можлівасцяў, класы рызыка, правілы автарызаціі і затверджэння, а таксама загальныя настаўкі керування.

Планшэты выканання — гэта тое, што працуе у рэальны час. Яны маюць шлюзы для API-сервісаў і агентаў, самыя агенты, раней вужа фільтраваныя даныя, апыленне правіл, абмянку аутантыфікацыйных дакументаў, інструменты, якія выкананы, статус рабочага прайсупутку, а таксама стрэм аўдытных запісаў. Правілы можна кераваць цэнтралізавана, тады як апыленне правілаў выконваецца бліжэй да месца, дзе выкананы рабочыя навантажэнні.

Такое раздзеленне мае важна значыню у масштабных сістэмах. Калі існуе сотні чыста тыячы агентаў і вельмі вялікі колькісць інструментаў, ніхто не хоча, каб кожная перацэнка праваў на выкананне дзеяння чакала на адну цэнтральную службу. Палітыкі керуюцца ў аднам месцы, тады як точкі ўжытку палітык распадзелены, а даны палітыкі кэшуюцца чыста рэплікуюцца там, дзе гэта неабходна.

Ацэнка дзеянняў, а не толькі адпаведзей

Этот дызайн гармонійна спаўнае з корпаратывным машынным навучэннем, адночаса дагаўляючы новы клас задач. Традыцыянальнае машыннае навучэнне звертае увагу на точнасць, якасць дадзеных, ўхіл, затрымкі, безпеку, манітарынг чыста надзею на працэсавую надзею. Агенты сохраняюць усе гэта і дагаўляюць ацэнку дзеянняў.

Толькі правільна заканчэвальная адказва недаст апаведчання. Рэвізорам таксама неабходна інфармацыя пра тое, чы гэты агент выбраў правы інструмент і задаў правыя параметры, чы застаўся ў межах сваіх прав, чы ухіліўся ад дзеянняў, якія яму не было разрашана выконваць, чы следав запланаванаму алгорытму работы, чы прагучаў падтрымкі у чалавека, калі гэта было неабходна, і чы стварыў тыя побачныя эфекты, якія былі прынятны. Ацэнка пераходзіць ад оцэнкі адказаў да оцэнкі дзеянняў.

Засада, якая дзейна

Адна правіла ўсё павтараецца: спрыягаць LLM як недазволены компонент для прыняцця рашэнняў, а ніколі як межу безпекі. Агент можа рассуждаваць, адкрываць значымыя можлівасці і прымыляць дзеяння. Дэтэрміністычная корпоратыўная інфраструктура вяршыць, што можа рабіць агент, якія рэсурсы ён можа выкарыстоўваць, якія параметры ёсць прыйнятнымі, чы патрэбна падтрымка чалавека, як безпечна выконваць побачныя эфекты і як аўдытуваць увесь працэс.

Гэта і ўсё справжняя архітэктурная задача агентных AI. Зробіць агента дастаткова розумным, каб ён мог утрымліваць інструменты, — гэта проста частка. А платформа, на якой тыячы агентоў працуюць для мільйонав чытачаў, пры чым ідэнтыфікацыя, автарызацыя, бізнес-правілы і надзея на надзею працы застаюцься пад контролем, — гэта складная частка.