Пераклад чаго робяць агентахі AI: правы, бар’еры затверджэння і рангі рызыку

За апошнія кальвы большая частка зусиль у сфере генератывальнага ІІ была спрямована на стварэнне кращых запытанняў. Калі моделі набіваюць можлівасць вызываць інструменты та змянюваць рэальныя системы, пачынае стаўляцца на першы план іншая навык: пераконтаваннеся, што саме зрабіў ІІ. У этай статыцэ пояснюецца, чаму неправильныя дзеяння ўскладнююць ситуацыю не так, як неправільныя адпаведзі, і даёмацца практычныя рэкамендацыі ўжо ў паводзе кантролю над правамі, апраўлення дзеянняў чалавекам та падбора автаноміі ў залежнасці ад рызыку пад час стварэння чы ўжывання агентаў.

З систем, якія адпаведзяюць, на системы, якія дзейнуюць

Першыя чат-асистэнты былі пасывнымі. Вы задавалі запытанне, модель адпавядала, і вы вялі рашэнне пра далейшыя дзеяння. Агент змінюе такое распадзелленне ролей. Маючы мету, ён можа інтэрпрэтаваць запытанне, спланаваць крокі, вызываць інструменты, выконваць дзеяння, аналізаваць рэзультаты та продовжваць работу без чакання на вас між крокамі.

Разлік найлегкая можна побачыць на прыкладзе звычнага запиту. Запытайце чат-бота, як арганізаваць хаотычны набор папак, і вы отрымаете прадасты, якія можна прыйняць або ігнараваць. Якшы даце агенту права на арганізацыю, ён можа пераглядаць каталогі, перайменаваць і перасунуць файлы, ствараць новыя папакі, апдэйтаваць данні і выдаліць тое, што ён счыляе дублікатамі. Чат-бот працоўвае як радчык; агент выкаанае дзеянне. Самэ гэта разлік яшчэ больш падкрэслвае, чаму неабходна пераосмысліць надзеяннае калі ў гэты процес увайшаюць агенты.

Чаму неправильнае дзеянне коштае больш, чым неправильная адпаведзь

Калі модель дае вам некоректную інфармацыю, у вас є калькі магчымасцей яе выявіць. Вы можете запазнаць, што ў чымсь не так, зноў пасцукаць у пошук, пораўняць з іншым джэрелам або проста ігнараваць адпаведзь. Чалавек стоіць межы выходным рэзультатам і будзь-якімі наследкамі.

У автонамным пайплайне такі буферы не існуе. Наведзены выкладкі паказваюць типовую структуру: агент чытае інфармацыю, прыме рашэнне, вызывае іншую систему, зменяе стан і праходзіць да наступнага крока. Заўважыце, што нічога ў ланцузе не зупіняецца для перагляду.

Reads information
↓
Makes a decision
↓
Calls another system
↓
Changes something
↓
Continues automatically

Памылка на першым кроце распространяецца па ўсіх наступных кроках. Неправильна прачытаная інфармацыя стае неправильным рашэннем, якое з’яўляецца у вачынку неправільнага вызову API, што прыводзіць да змены запису, які наступныя крокі спрыймаюць як абсолютную правду. Самэльга падыходжанне мусі змяніцца з запитання пра спроможнасць моделі на запытанне пра тое, насколькі безпечна можа быть яе дзейнасць.

Мінімальныя правыя: адзначыце, што можа зробіць агент

Развярце, як бы вы прыемлілі новага працавальніка. У першы ж дзень вы не даў бы яму безакцэсныя правы на базы дадзеных для працы, данні клёяў, фінансавыя системы, вучорны код і процес развядкі. Вы даў бы толькі тыя правы, якія неабходны для выпання його абавесці, і расшырювалі б правы ў меру падтверджэння довяры.

Агенты заслугвальваюць на тое жа ставленне. Даўайце толькі тыя правы, якія неабходны для выпання задачы, і, калі толькі можна, раздзеляйце права на чытанне і запіс:

• Агент, які чытае дакументы, не патрабуе разрэшэння на ўдаленне іх.
• Агент, які аналізуе вучорны код, не патрабуе разрэшэння на развядку версый для працы.
• Агент, які складае электранявіснення, не патрабуе разрэшэння на ўпадзенне іх.

Правілла простыя: агент отрымае толькі тыя правы прыступу, без якіх немагчыма выконаць його задачу. У практыцы гэта зазвычай означае вузкаспецыялізаваныя інструменты та тымчасовыя кранты, а не універсальны токен, так што найгорэйша дзеянне агента, які памыліўся, будзе обмежана самой структурой системы, а не його суджэнням.

Пяршыя падтверджэння чалавека для значных дзеянь

Адна з найэфектывнейшых схем ёсць таксама і адной з простыяў: дазвольце агенту выканаць роботу, але заўсёды трэба, каб чалавек пяршы вырашыў пра значныя дзеяння, перш чым яны будуць выкананы. Наведзеныя нижэй этапы дзеляюць процес на фазу падготовкі, якая контролюецца агентам, і фазу выканання, якая запускаецца толькі пасля таго, как чалавек пераканаўся і пяршы выразіў згоду на запроектаваныя змены.

AI identifies issue
↓
AI proposes solution
↓
AI prepares changes
↓
Human reviews
↓
Human approves
↓
System executes

Вы застаўляеце большую частку швайнасці, таму ўпраўлівач усё яшчэ расследуе, прыменяе практычныя рашэнні та готавіць неабходнае, а рашэнне застаёцца у чалавека, які прымае гэтыя рашэнні. Этап затверджэння працюе найкраща, калі упраўлівач представляе конкрэтны, можна пераглядзіць матерыял – напрыклад, разлік змян, спіс записаў, якія трэба зменіць, або праект паведамлення – а не расплывчаты опис намеру.

Не кожнае дзеянне павінна абавесці затверджэнням, інача пераглядачы будуць затверджваць ўсё без раздумаў. Падсумаванне сотні дакументаў можа без апасцярыбы працаваць без нагляду. Стандарты для такіх дзеянняў павінны значна падысці:

• пераказ вялікага капіталу
• выдаленне дадзэнняў з працоўнай сістэмы
• публікацыя чаго-небудзь для шчырых адвітаў
• розгортанне програмнага забезпечэння
• змена прав на адзынаковасць
• кантакты з кліентамі

Якщо вы реалізуєте этот паттерн, наші інструкціі ў агентах з контролем схвалення за допамогай LangGraph, перерывах і контрольных точках а таксама ў станах, схваленні і ідемпотентнасці для дзейнуючых агентаў охопляюць усі тэчнікі.

Перакананне як ключовая навык

Большасць увагі прывлекае проектаванне запытоў, а ўсё больш — проектаванне контэксту. Перакананне таксама заслуговае на такую ж увагу: чы можна ведаць, чы рэзультат даслівна правільны?

Гэта залежыць ад спецыялізаваных знанняў. Разработчык павінен умець критычна адгледзець створаны код. Фінансавы спецыяліст патрэбуе достатньых навыкаў, каб заперачыць расчытанні, якія былі створены. Дзеярнік павінен пераканацца, што цитаваныя істочнікі існуюць, і з’ясавіць, што самэ прытвараецца. Дизайнер павінен адмаўліць, чы рашэнне, створанае за дапамою алгорытму, рашае практычную проблему. Штучны інтэлект можа значна прышвартаваць выкананне, але шырокая скорасць без пераканання зазвычай значыць болей шырокія памылкі.

Спаўненне автаноміі з рызыкам

Формулюванне пытання «Чы можна даверыць штучнаму інтэлекту?» з адказам «та» чы «нет» не ўжоць карысна. Давера павінна надавацца за кожным заведамленням, пры чым трэба вярнуцца да ступеня рызыка. Простая трываршовая модель ёсць хорашым пачаткам.

Низкі рызык: дазволіць працаваць

Прыкладам можа служыць падсумаванне нотатак з сяброўства. Негатывныя наследкі памылкі ў такім случае є маленькімі і лёгкаявыяўленнымі, таму высокі ступень автаноміі є разумным.

Середній рызык: автоматызацыя, а потым пераконтроль

Змена функцыяў программнага забезпечэння ёсць типовым прыкладам середніх ситуацый. Агент можа запісаць змены, але автаматызаваныя тэсты і перагляд коду павінны парадактаваць рэзультат пры выданні продукту.

Высокі рызык: неабходна явная разрэшэння

Запрос пра пераказ грошэй на рахунок належыць да гэтай категорыі. Неабходна строгая людская разрэшэння, незалежна ад таго, насколькі впэўненым выглядае агент.

Гэты прынцып ўзагальняецца: пераконтроль павінен прыменявацца прыбліжна працоўна да выкарыстоўвання помылак.

Большая автонамія не значыць апошней кращасць

Існуе спадчына прыпускать, што самая автонамная агентка ёсць найкращая. Болей корыстным запитаннем є тое, які рэвэль автонаміі падходзіць для данага заведамчыка. Корыстныя рэвэлі ствараюць лестніцу:

• толькі прыпускаць
• падготавіць работу для выканання іншым
• выконваць пасля парадактавання

Працюе абсалютна автаматычна.

Якісна спроектаваная система размешчае кожную можлівасць на правым рэвені, а не ставіць усё на верх.

Пытанні, якія трэба задаць пры падключэнні інструмента

Разрабоўцы больш не під’яўляюць модэлі толькі да пола з текстам. Агенты все частае падключаюцца да шырокага спектру систем, такіх як тыя, якія пераказаны нижэй.

APIs
Databases
Browsers
File systems
Cloud infrastructure
Development tools
Business applications
External services

Кожная інтеграцыя дадае новую можлівасць, а разам з яй — і новы спосаб парадкі. Перад тым, як запитаць, чы можа агент завершыць заданне, рассмотрзіце этыя пытанні для кожнага інструмента, які вы викорыстоўваете:

• Калія даныя і системы ён можа адчуваць?
• Калія з іх ён можа зменіць?
• Які стан застанется, якщо ён зупініцца пасредзі задання?
• Чы існуе спосаб анулюваціі таго, што ён зрабіў?
• Хто падтверджвае чутлівыя операцыі?
• Чы кожны акт фіксуецца так, што яго можна будзе пазніяй пераглядзець?
• Як быстра яго зупініць?

Этыя адказы можаць мець такое ж значэнне, як і выбор моделі. Корыстны прыемлівы правіл — гэта тое, што ўсё, што не можа быць вярнуцца у пачатковы стан і чаго не фіксуюць, ніколі не должна быць доступной без участку чалавека.

Граматыка ШІ тепер включае граматыку рызыка

Дастаткова ўжо толькі зналёзка, як отрымаць рэзультаты з інструмента ШІ; трэба таксама разумець, дзе ён можа зламацца. Гэта не прычына для страху, а тое, што розлічваяць спакоўнага корыстувальніка ад недбалага. Зрэлы корыстувальнік не толькі спытаецца, чы можа ШІ ўжо ўсё гэта зробіць, але і чы трэба яго робіць без нагляду.

Чалавечыя рашэнні, выконанне машыны

Агенты можуць даць адной людзі возможнасць робіць тое, што раней трэбавалася цэлая команда — у сферах дзецерчэння, аналізу, програмавання, стварэння контента, автаматызаціі, обробкі даных і аперацый. Гэта дадатковая можлівасць супакоўана дадатковай адпаведнасцю. Рэальны падзел працы выглядае так:

• Людзі выявляюць мету.
• Агент здыячвае выкананнем.
• Апоўнюючыя системы ствараюць межы.
• Людзі пераканальваюцца ў значных рэзультатах.

Ключовыя выводы

• Першая хвіля генератыўскага ІІ была прызначаная для спілкування з машынамі; эпа агентаў — для делегавання задач ім, пры чым делегаванне залежыць ад довер'я, меж, пераканальвання і адпаведнасці.
• Паклёсы ў автонамных практыках нарастаюць, таму неабходна проектавацыя для ўзрэгулювання: мінімальныя правы, можлівасць вярнуць дзеяння і повныя лог-файлы.
• Дазвольце людзям затварджваць дзеяння, якія маюць значэнне і якія важка абраты, а працу з низкім рызыкам нехай вядома без нагляду, каб пераканальвання заставалася значным.
• Ключоўны вопыт пераходзіць з таго, што можа зрабіць ІІ, да таго, што вам следуе дазволіць яму зрабіць самастоятельна, і правильная адпаведзь на яго стае асновным інжынерскім навыкам.