Прататып, траса, ацэнка, рэд-тымінг: працэс стварэння AI-агента ў Microsoft Foundry

Ёжыліцкі спробы атрымаць кальколькі хорашых адказоў ад AI-агента займаюць кальколькі хвілін. Адлічэнне таго, чы рэальна яго публікацыя, займае набагато больш часу, адтолькі каманда спачатку должна выясніць, чы выбраны модэль адпаведае яго цене, чы агент выкарыстоўвае правільныя даны, якія інструменты ён запускае, які рэйтынг маюць яго адказы і як ён выстоіць проты таго, хто актыўна намагаецца яго зламаць.

Microsoft Foundry аб’еднвае вялікую частку гэтага цыклу ў адну працоўную суперфісу браузера, якая включае порэвнянне модэляў, інструкцыі, інструменты і знання, аналіз, ацэнку, створаныя тэстовыя даны і аўтаматызаваные тэсты на працездатнась. Яго справжняя цэннае не ў тым, што код можна адкладаць на некальколькі часоў. Ён дазволяе прыймаць дорогія дызайнавыя рашэнні, калі праект ўсё ўсё легка зменіць, перш чым код для працы стане жорсткі і не падлягаў змянам.

У наступным апавяданні працоўнае месца агента пераходзіць ад пустога праекта да пратотыпа, які базуецца на даных, які аналізуецца, оцінюецца і падвергаецца тэстам, а пасля паказваецца момент, калі праца пераходзіць з портала ў SDK. Сераўерная супэрвізія адбываецца ў срэдовышчы Microsoft Build retail-agent у новым дасвідзе Foundry, які розмешчаны ў рэгіоне Sweden Central. Портал служыць для шыранага цыклу тэставання, а шлях да фінальнай версіі застаецца ў тым жа праекце Foundry, таму нічога не павінна будавацца з нуля.

Пачніце з таго, што вядома працавае

Новы праект Foundry — гэта працоўнае месца, якое мае агенты, мадэлі, інструменты, знанні, апараты для ацэнкі і назірання. Точныя крокі налаштавання, стандартныя параметры і наявныя функцыі разлічаюцца за рэгіонамі і зміняюцца з часам, таму сам портал павінен вважацца остатнім джэрэлам інфармацыі пра тое, што можа робіць праект.

Пасля стварэння агента самэй там, дзе пачынаецца справжня праца. Там задаюцца мадэль і інструкцыі, прыўязваюцься інструменты чы рэчавіны знаёмства, а рэзультат працы пераблакуецца ў вікні чату. Самэй таксама там протатып упершыне паказвае, насколькі ён слабы. Калі задаць агенту, які ўсё ледзь настроены, шырокая пытанне пра продукт, адпаведны адказ зазвычай будзе бялкавым. Ён можа звучаць абавязкова, хоць нічога не ведае пра каталог, правілы чы бізнес-сэрвіс. Зберагце такі адказ як базовы, калі ўсе пасляэйшныя змены трэба ацэніваць за яго меркамі.

Выбір модэлі на адной падставе

Моцная стандартная мадэль не павінна заўсёды быць правільной для працы ў практычных умовах. Дзеяныя задачы выкалікаюць патрэбу ў глыбокай аналізе, тады як іншыя ценяць швальнасць чы нізкую цэну, таму выбір трэба робіць на адной падставе ацэнкі, а не інтуўіцыі. Foundry прэдстаўляе калькі інструментоў для сортавання каталогу:

• Табліца лідэраў, якая класіфікуе мадэлі за показнікамі якосцю, безпекі, працэздатнасці і вартасці.
• Дыяграмы компромісаў, якія паказваюць два параметры на адной дыяграме, напрыклад якосць проты цены.
• Відображэнне мадэляў паўза-паўза, якое скорачае спіс да модэляў, прыдатных для данага завантажэння.
• Маршрутазатор модэляў, які прызначае кожны запіт прыдатнай модэлі на адной заснове правіла вартасці проты якосці, тады ўсе запіты не патрэбна адпавядаць адной модэлі.

Самыя бенчмарк-рэзультаты ўсьледжваюцца як слабыя доказы. Больш пераконлівым ёсць адрабатка таго ж завантажэння кожной з модэляў. Маршрутазатор стае корыстным, калі запіты сільна разніцяюцца па складзе. У настоячны час ён працуе у рэжымах «Збалансаваны», «Вартасць» і «Якосць», а актуальныя версіі автаматычна пераходзяць на іншую прыдатную модэль, калі тая, якая была выбрана, перастае працаваць.

Наступным крокам ёсць адправка тых сабе прамптов к кожнай кандыдатскай наладзе і парабяранне якосці адпаведзей, часу адпаведзення і вітрачаных рэсурсаў. Бенчмаркі скарочваюць колькасць варыянтав, а ваша сопрацоўнае навантажэнне выбірае пераможця. Microsoft Learn опісвае як працэс бенчмаркавання, так і інструменты для ўправління ў свайскай дакументацыі Foundry.

Інструкцыі — гэта самы дашчавы спосаб

Змена модэляў не завжды ёсць правым першым крокам. Нечыстыя або неадкладныя інструкцыі могу ператворыць дорогі модэль у звычайнага чат-бота. Аптымізатор прамптов у Foundry перапісвае і пераструктуруе інструкцыі, пояснюе прычыны змян у конкрэтных частках і дазваляе здзейсніць калькі перад тым, як яны будуць застосаваны. Такім чынам інструкцыі стаюць версіяваным вхідным даным для інжынераў, у замяну на нечысты параграф, які перапісваецца, пакуль адпаведзь не стане крашчай.

Ўмелая перапісва мало чаго дазваляе. Лепшы спосаб з’явлення правды — цэлавае перашчытанне набора дадзеных на старайшую і новую версіі. Будзь-якія правілы паведамлення, фармат адпаведзей, спосаб дзеяння ў разы некантрольваных сітуацый чы граніцы для запыткаў, не адносныя да тэмы, якія агент павінен прытрымвацца, павінны быць як у яго інструкцыйях, так і ў крытэрыях, якія ацэнююць яго рэзультаты.

Адпаведзі, прыязначаныя да затверджаных дадзеных

Інструкцыйі керуюць тым, як агент дзеяе, тады калі ж знання вядомае, на шта ён можа адпавесці. У малых случаях прыкрэпленне файлаў і ўпрыемліванне іх за дапамогою засобаў пошуку дазволяе адпаведзям цітаваць выхадны матэрыял.

Большыя корпаратыўныя структуры могу выкарыстоўваць Foundry IQ — спяльны шар знання, які аб’едначае многа джэрэла. База знаёмых можа быць насоедзінаная з Azure Blob Storage, SharePoint, OneLake, існуючымі індэксамі пошуку і публічным веб-контэнтам, а механізмы пошуку агента плануюць запыткі, выбіраюць джэрэла, шукаюць у іх і вяртаюць цітаваныя, падкрэпленыя рэзультаты.

Ёсць адзін застэрэжны савет, які стосуецца кантролю доступу. Правыя на рэвэле дакумента ўжываюцца толькі для істочнікаў і налашоўкаў, якія іх падтрымляюць, таму ніхто не павінен апісваць базу знанняя як такую, якая ведае пра правыя, пакуль істочніковыя правыя і працэс атрыбутавання ідэнтычнасці насправды не будуць налаштаваны.

Ёсць спосаб разгледзець эфект: запытайце адну пытанне два разы, перад і пасля налаштавання. Першая адпаведзь паказвае загальныя знанні модэлю, а другая должна паказаць разліку, якую ствараюць вашы даныя.

Увёмкніце трэйсінг якомога раней

Возможнасць абзярлівасці найбольш корыстна, калі агент усё ўсё не функцыонуе. Сістэма трэйсінгу Foundry адпавядае стандартам OpenTelemetry і падключаецца да Azure Monitor Application Insights, фіксуючы шлях агента чы ўтварэння, такім чынам праз тое можна пазніць вызовы модэлю, выкарыстоўванне інструментаў, вхідныя і выходныя даныя, а таксама часы ўжывання.

Тры слоі выкарыстоўваюць гэтыя спакушаныя даныя пра працу, кожны з яых адпавядае на сваё пытанне:

• Аналіз парадыгмы паведамляе працэю, якая адбылася пад час адзінаго конкрэтнага запуску.
• Ацэнка паведамляе, чыяжо тое паведамленне адпаважалася заданым стандартам.
• Следжаванне паведамляе, як змянюецца стан запускаў з часам.

Памятайце, што тэлеметрыя Application Insights мае цену, якая залежыць ад колькасці дадзэнняў і часу ўтрымання. Заложыце бюджэт на магчымасць аналізу як частку архітэктуры продакшна, а не як бесплатны прыемлівак для дэбагавання.

Меркуйце паведамленні, а не прыпускі

Практычныя тэсты падходзяць для дакладнага аналізу, аднак яны не можу паведаміць, чыяжо змяны паднялі карыстнасць агента. Foundry уключае готовыя інструменты ацэнкі па розным параметрам паведамленняў: якосць, рызык і безпека, а таксама спецыфічныя показнікі агента — чыяжо была выпаная задача, чыяжо яна завершылася, чыяжо быў зрозумелы намер і насколькі добра былі выкарыстоўваны інструменты.

Спецыяльныя атрыбуты ацэнкі зазвычай маюць адну з двух форм. Тые, якія базуюцца на рубрыцы або запітах, выкарыстоўваюць мадэль як суддзю для крэтэрыяў, якія ёсць суб’ектывнымі або залежнымі ад кантэксту. Дэтэрміністычныя атрыбуты – гэта простыя функцыі для крэтэрыяў, якія можна вылічыць безпосерэдна. Напрыклад, для ацэнкі дружэльнасці адпаведзі можа знадобіцца рубрыка, тады як ліміт дужоў ніколі не будзе неабходны. Ацэнка сама па сабе дагаўляе дапамогі і шуму, таму калі функцыя можа надаць надзею надзеямі, яшчэ адна запуск модэлі – гэта марна трацыя грошаў.

Наборы дадзеных робяць ітэрацыі болей строгімі

Адзін запіт паказвае, чы робіць функцыя сваю работу, але набор дадзеных адкрывае патэрны. Foundry можа ацэніць файл JSONL або CSV, які вы падготавілі, вяскрасленыя даны, якія у вас вялікія, або сінтэтычныя тэстовыя даны. Сінтэтычныя даны ўжыткавыя перад запускам і тады, калі обсяг рэальных даных занадта малы, ўбліжна не пакрываючы важлівыя крайнія кейсы.

Рэзультатам яе ёсць цыкл, які можна павтараць:

1. Вылечыце прыкладны набор тэстаў, каб ён заставался стаячым.
2. Запрацаваце на ям сэрчыю версію агента.
3. Змяніце толькі адну зменную – будзь то мадэль, інструкцыі, настройкі інструментаў або іншы параметры.
4. Знова працаваце на тым жа наборэ.
5. Паруцьце рэзультаты, часы адпаведзей і вітраты.
6. Прыйміце або адклэсце змену.

Ёнкліво тут работа перастае нагадваць практычныя налагоджэння і прыемлівае форму тэстав на рэгрэсію для прыменняў.

Атакі з боку „чырвонай команды“ выяўляюць тое, што прахідныя методы оцэнкі прапускаюць

Звічайні перэвіркі якосты перэвіраюць, чы агент належнім чыном віконуе своі обов’язкі. Тэстування з вікорыстанням „чэрвоноі команды“ досліджуе, што робіць сістэма, колі ій навмісно подаюць ворожый вхідній даній. AI Red Teaming Agent у Foundry поеднуе праект open-source PyRIT із оцінкою рызіків і безпекі ад Foundry. Ён тэстуе підтрымувані мадэлі і агентаў за допомогою методыв атак, створэніх для обходу стандартніх захісніх механізмів, і повідомляе про рывень успішносты атак (ASR).

Серэд підтрымуваніх методыв — трансформаціі, такі як Flip і Tense, а таксама способі обходу захісту (jailbreak) і іншы атакуючы прыйомі. Сценарыі рызіків враховуюць шкідлівій кантэнт, вітык конфідэнційніх даных, заборонені дыі і непраме ўводу команд. Гэты працэс прыносіць рэзультаты, колі яго показнікі спонукаюць до чэрговоі серыі інжэнерніх досліджэнь, а не лішэ колі створуецца одын скрыншот для звітносты. Розглядайце гэта як цыкл.

1. Адзьнакайце скануванне там, дзе гэта не ў рэжыме працы.
2. Выявіце, якая катэгорыя рызыку і метод атакі працавалі.
3. Усуніце прычыну, чыя бы то ні было — гэта можа быць інструкцыя, межа інструмента, кантроль контэнту або права доступу.
4. Адзьнакайце зноў.
5. Сачыце за тым, чы не падае кантэкст атакі.

Сачыце за всім флотам

Пасля таго, як агенты запускаюцца, пытанне перастае быць у тым, чы працавала адна інструкцыя, і становіцца у тым, як сістэма працуе працоўнае вакалітас у тыя ж недзелі. Віджэты монітарынгу і керавання паказваюць показаткі для всей працы, такія як колькасць вызоваў, выкарыстоўванне токенав, абыекты і показаткі, заснованыя на вітоках, пры чым, калі гэта можліва, праблемы можна дэталізаваць да адзінаковых агентоў і модэляў.

Мысленне ў тэрмінах мікросервісаў ў гэтым случыку корыстна, але толькі ў певных межах. Агента можна расследжваць як елементаў поведзення з сабойным варыянтам, які складаецца з інструкцый, інструментаў, ведамасцей, модэлю правілаў і рэзультатаў, якія можна спазіраць. Кожны агент не павінен стаўацца окрэмым запускаемым сервісам. Галоўная мета — паказаць межы, каб агента можна было рэдагаваць, оцінюваць і паднімаць у ранг без перапісвы всего, што знаходзіцца поблізу яго.

Цыкл пад порталам

У практыцы цыкл складаецца зэхтованняў: стварэнне, вімеры, оптымізацыя, каранне і знову ад начала, калі паказы вярнююць, што агент не гатовы. Працэс праходзіць далей, калі даны і оцэнкі падтрымліваюць пярвотны стандарт, а не тады, калі дэманстрацыя выглядала добра. Экраны продукту зміняюцца, але рутына застаёцца той самай: пратотып, аналіз, ацэнка, зміцненне, манітарынг і павторэння.

Адзін застэрэжны момент на дзесяткі гадоў: Microsoft плануе завершыць падтрымку Foundry Workflows 1 грудня 2026 года і спрамоўвае новыя рашэння для адработкі задач на Microsoft Agent Framework. Новыя рашэнні не павінны будавацца на тых апаратных/програмных базах, якія будуць знятыя з падтрымкі.

З пратыпу браузера да коду для практычнага выкарыстоўвання

Портал павінен скрацыць шлях да коду, а не заменіць яго. Такія патрэбы, як індывідуальная організація процэсаў, CI/CD, глыбокая інтэграція чы адработка коду агента на серверэ, выклекаюць патрэбу ў Foundry SDK і яго інструментах, якія наразе доступны для Python, C#, JavaScript і Java. З архітэктурнага точка зору актываў праекту і ўсі канцэнтры застаюцца центральнымі. Портал, SDK і інструменты — гэта проста разныя способы доступу да аднаго праекту Foundry і яго рэсурсаў; таму можна уявіць сабе адны праект з аб’еднаным канцэнтрам, без окрэмай платформы для пратыпаў і платформы для практычнага выкарыстоўвання. Спуск з нуля за дапамогою SDK на Microsoft Learn — гэта тое месца, дзе пачынаецца гэты пераход.

Наступныя експерыменты

Далей йду два тэмы. Першыя — гэта кантролюванне калькуляцый колькасцю агентаў, дзе незалежныя адзін ад другога агенты, кожны з якіх мае чыстаю угоду і базовыя показнікі ацэнкі, спаўнаюцца за дапамогою савэтнага каркаса для кантролювання, а не ўтрамбовваюцца ў адну вялікую інструкцыю. Другія — гэта пераспектаванне модэляў, якое варта ацэніць толькі тады, калі інструкты, падставы, маршрутызацыя і дызайн інструментаў усе не падкрэпілі працу. Кожны з эых тэмаў належыць пасля дысціпліны ацэнкі, опісанай тут.

Заключныя мысці

Першая рабочая адаптацыя агента запускаець працэс, але не завершае яго. Кандыдат на выпуск трэбуе падтверджэння ў калькі аспектаў: выбор модэлю, які паспеліў у параваненні пад навантажэнням, падставы, якія явна зменяюць адпаведныя адпаведзі, вызовы інструментаў, якія можна пабачыць, можлівасць павтарнага ацэнкавання, а таксама показнік рызыку ад зусібніх атак, які зменшаецца з часам. Портал забезпечвае шыраны цыкл працы, а праект і SDK пераводзяць гэту працу ў рэальную працэсную інжынерыю. Ствараюце быстра, з самага пачатку дадаюце інструменты для монітарынгу, тэстуеце кожную змяну на тым самым навантажэнні, пераглядаеце свой сыстэму раней, чым гэта зрабяць сторонніяя, і пераходзіце на код, калі браузер будзе правільна адпавядаць на запыты.