Асновы AI-агента: мэта, дызайн промптаў і выбар мадэлі

Адміністрацыя стартапу у сферы охоры здароўя пасвятыла шасць месцаў на стварэнне агента на базе ШЫ для сортавання паціентав. Ён працаваў на найновейшай модэлі GPT-4, у командзе былі апытныя інжынеры з машыннага навучэння, інтэрфейс выглядаў чудова, а інвэсторы спадабалася дэмаверсія. Але калі прылад пачаў выкорыстоўвацца ў рэальных клініках, за калькі дзён медпрацавнікі перэсталі яго вжываць. Агент ставіў запытанні, якія не мелі нічынага з жалобай паціента, ігнораваў серьёзныя сімптамы і даваў неоднаковыя рэкамендаціі. Іноды ён быў занадта аберэжны і направляў паціентаваў з незначнымі проблемамі у віддзял невядомых станоў. Іншыя разы ён прыменшаў значэнне станоў, якія вымагалі увагі.

Мадэль не была прычыной, як і код. Адміністрацыя была нестабільная. Команда не чытко візначыла, для чаго патрэбен агент, спешна працавала над дызайнам запітоў і выбрала неправільную конфігурацыю мадэлі. Пасля ўсьмох месцаў перэработак агент цяпер апрацоўвае больш чым 10 000 аб’ектаў вазначэння з паціентамі ў дзень, пры чым рэбяткі задаваліся яго работай на 94% і у паціентоў спостыраліся значна лепшыя рэзультаты.

Тры адміністрацыйныя ступені вялікага значэння выявляюць, чы робіцца агенту успех: візначэнне яго меты, дызайн запітоў і выбір мадэлі. Якшчы ўсё зроблена правільна, рэшэнне іншых задач стае простым. Якшчы ж няправільна, жадных інжынерных зусілей недастаткова, каб гэта падкорагчыць.

Ступень 1: візначэнне меты

Перш чым пачатковаць напісанне коду, неабяжна адказваць на чатыры пытанні. Какія проблемы трэба рашыць? Хто будзе вжываць агента? Як выглядае успех? Якія існуюць абмежэнні? Нечыстыя адказы прыводзяць да невыкараных праектаў, а часткавыя — да сістэм, якія вытрымваюць у рэальных умовах.

Калі агент — гэта правы інструмент

Агент не ўсёвыходна адпаведзь на кожную проблему. Сістэмы, заснованыя на правілах, лепей справляюцца з простымі рабочымі практыкамі, класычныя мадэлі ML падходзяць для чыстага прогназавання, а людзкія эксперты — лепшы выбар, калі для важлівага рашэння патрэбны адпаведальныя особы.

Агенты становяцься корыснымі тады, калі задача выкалічвае автонамныя рашэнні ў складной, багатоэтапной рабочай практыцы з выкарыстоўваннем калькі інформацыйных джэрэл і інструментоў.

Возьмем дэтэкцыю шахрайства ў банку. Простая правіла выяўляе явныя патэрны, такія як дублікаты транзакцый чыя-то карта, якая выкорыстоўваецца адразу ў двух далёкіх месцах. Складнае шахрайства вымагае расследавання: агент павінен аналізаваць історыю транзакцый, практычваць яе з нормальной поведэнням кліента, пераглядаць базы даных з рэйтынгамі продавцаў, вырачваць кантэкст рызыку на адной з многах модэляў, выявляць зв’язкі з вядомымі сеткамі шахрайства і складваць пакет доказаў для людзкага адгукніка. Гэта вымагае автонамнасці, адколькі працуе цэлы час над тыямі тысяч транзакцый, а таксама вікорыстоўвае інструменты з разных баз даных і API, аргументацыю, якая спаявае слабкія сігналы, і організацыю багаташагоўнага расследавання. Гэта чырпае агенту.

Перагляд залішку на рахунку — гэта працоўны прыклад наадворот. Для гэтага трэба толькі адна вызовка API, а не автонамны агент. Правіла — выбраць самы просты спосаб, які работае.

Калі ўжоўцы

Пользоватары формуюць архітэктуру. Тэхнік на месцах хочаць магчымасць працы без падключэння да інтэрнэту, аналітык дадзей хочаць панелі керавання з можлівасцю дэталізацыі, а автоматызаваныя сістэмы — чыстыя API з прагнозавальнымі фарматамі адпаведзей. Калекцыя конкрэтных прыкладаў:

• Менеджэры запасоў у роздробнай торгавлі хочаць краткія прыказы, якія ўмогаць прыйняць або змяніць. Прыказ на кшталт "Павторачыце замовленне на 150 екземпляраў Продукту X да пятніцы" можна рэалізаваць; жорсткія показнікі оптымізацыі у розмерэ 0.847 — няма. Агенту неабходна гаварыць так, як гаворыць пользоватар, і адпрацоўваць усё ў рамках існуючых процедураў.
• Агенты, які працуюць з малаземельнымі фермерамі ў сельскіх районах, вынужданы планаваць свою дзеяльнасць з урахоўванням слабкай працездатнасі з’ѐеднання. Уведчыкі па тэлеграмах можа заменіць веб-панель керування; агент павінен магчымаць ненадзеяныя з’ѐеднання, а яго рэкамендацыі павінны быць выданы на местных мовах. Простая прыметка пра неабходнасць перагляду поле 3 на наявнасць шкадніка сёння апоўдні дапамагае набагато больш, чым паведамленне пра анамалію ў сектары з рэверансам 0,73.
• Клінічныя спецыялісты і паціўнты патрабуюць разных інтэрфейсаў. Лекар, які аналізуе рэкамендацыі, хочаць бачыць клінічныя аргументы, показнікі рэверансу і цітаты з літаратуры, тады як паціўнт хочаць простых пояснэнняў і чыстых наступных крокаў. Цэна агента, які працуе з двума інтэрфейсамі.

Успех, які можна вымерыць

Цялі на кшталт „падышчыць эфектывнасць“ практычна гарантуюць неудачу. Саме вымерымыя цілі становяць аднойчыну для прыняцця рашэнняў.

Для спецыяста па контролі якосці ў промышленні успех можа выражацца у тым, што ён знаходзіць 95% дэфектаў, якія фіксуюць людзкія інспектары, трывогі з неправяднымі рэзультатамі залічваюцца менш чым 10%, кожны артыкул обрабоўваецца за 2 секунды, агульны практык дэфектаў, якія застаюцца незнайдзенымі, зменшаецца на 30%, а час працы за гадзіны вырабоцтва становіць 99,9%. Гэтыя паказнікі безпасцей вплываюць на архітэктуру. Ліміт у 2 секунды не дазволяе вікорыстоўваць дзеякія модэлі, 95%-ны практык выяўлення трэбуе велікай колькасці дадзеных для навчання, а показнік часу працы вымагае рэдандантнасі і астаточнай обработкі пакрыць.

Агента па адтрыманіі авіяцыйнай тэхнікі ацэнююць па іншыя крытэрыя: можлівасць праўдападобна ўпрынцы 30 дзён прадвяржаць аб бядах компанентоў з точнасцю 80%, скасаваць незапланаваны адтрымання на 40%, дасягнуць 100% сарабіткі з правіламі ў рэкамендаціях, ніколі не радзіць адкладаць работы, крытычныя для безпекі, і ствараць повну хроніку аўдыту для кожнай рашэнні. Цялевая сарабітка з правіламі абяроўвае строгія тэставання і людскі нагляд, а правіла безпекі — консерватыўныя прагрызы для прымэння рашэнняў. Гэта архітэктурныя трэбаванні, а не налашчванні пасля запуску.

Абмежэнні

Кожная сістэма вырабоцтва сталкаецца з трыма відэмамі абмежэнняў. Тэхнічныя включаюць прагрызы латэнсу, абмежэнні інфраструктуры і патрэбы інтэграціі. Бізнес-абмежэнні — гэта бюджэт, часовы графік і тое, што організацыя можа фактычна падтрымаць. Рэгуляторныя абмежэнні стосуюцца прыватнасці дадзей, сарабіткі з прынцыпамі галузі і трэбаванняў аўдыту.

• У банкавуччыне домінуе рэгулявання. Спеціялісты з борьбы з аферамі веду повныя летакі аўдыту, пояснююць кожнае рашэнне, ніколі не чапаюць даныя кліента без разрэшэння і дазваляюць сабе толькі тыя правілы, якія ўсталяны для данай тэрыторыі. Нічога з гэтага нельзя перэгаварываць.
• Спеціялісты ў сферы охорны здароў'я павінны салідарвацца з стандартамі HIPAA. Даныя пацэнтав зашыфруюцца як у базе дадзеных, так і па час перавозкі; кожны доступ фіксуецца і можа быць пераглянуты, час зберагачэння дадзеных становіцца на адпаведных правілах, а дзеяную інфармацыю нельзя зберагчаць нават на короткі час. Гэтыя обмежэння безпосерэдна вплываюць на праектаванне сістэмы і можлівасці ўпрацоўкі.
• Спецыялісты у роздробнай торгавлі сталквуюцца з разнымі тычаннямі. Піковыя перыяды праз свята выклікаюць неабходнасць горызонтальнага масштабавання, інтэграцыя з старымі сістэмамі касавых апаратаў скарочвае выбор тэхналогій, а чутлівасць да костаў спрыяе выбору дышэўшых варыянтаў. Усё гэта адначасова формуе всю структуру сістэмы.

Запісайце гэтыя обмежэння. Яны візначаюць, што ў магчымасці.

Пяць практычных прыкладаў

Кожны з іх адмініструецькія дастакі разам паказваюць мэт, корыстувальнікаў, паказнікі успеху і абмежэнні.

• Банкава справа – агент для монітарынгу транзакцый. Ён выкрывае і расследуе падозрычныя транзакцыі ў рэальны час, кожны дзень мільйонамі, для аналітыкаў шахрайства і спецыялістаў з дапэльнення правілаў. Успех адначыцца з выкрываннем 90% шахрайстваў пры менш чым 5% хутарых паслядков, адработкай кожнага кэсу за 30 секунд і зберыцью полнага лэгасу аўдыту. Абмежэнні включаюць дапэльнення прававых норм, адказ на кожную рашынку, нельга блакаваць легітымныя транзакцыі без перагляду аналітыка і 99,95% часу працы цяпер жоўткі.
• Роздробная торгавля – адэнт для дынамічнага кантролю цэн. Ён налажоўвае цены для тыяч SKU, выкарыстоўваючы попытак, конкурэнцію, рублікаванне запасоў і цялявы маржы, для менеджэраў катаграфіяў і аналітыкаў цэн. Успех выражаецца ў 8% адныя большых доходаў пры заданых маржах, цены аднавляюцца два разы на дзень, справляюцца з сезоннымі колываннямі, а таксама дазволяюцца ніжнія і верхнія межы цэн. Абмежэння включаюць існуючую інтэграцыю з ERP, немагчымасць ставіць цены ніжэй за вартасць, падтрымкі конкурэнтоспроможнасці і сяброўства з правіламі кантролю цэн.
• Здравоцохранэнне – адэнт для трыажу паціѐентоў. Ён ацэнюе сімптамы, вялічыну трыудзела, рэкамендуе фармат дагляду і бронюе прыемы, для медсестэр, паціѐентоў і адміністратараў клінік. Успех выражаецца ў 95% згоднасці з ацэнкамі медсестэр, 30% меншым часе ачаквання, лепшай задоволеносці паціѐентоў і негайнай перадачы трыудзельных касоў. Абмежэння включаюць правіла HIPAA, немагчымасць затрымлівання экстрэнай дапамогі, эмпатычную комунікацыю, інтэграцыю з EHR і падтрымку калькі мов.
• Адміністрування прыбороў, агент для прагназіўнае тыямо. Ён сочыць за станам абладнання, прагназавае нештачы, плануе профілактычныя працы і распадзеляе каманды для керавальнікаў тыямо, менаджэраў заводоў і тэхнікаў. Успех выражаецца ў прагназаванні нештачоў за 30 дзён наперад з точнасцю 85%, на 50% меншым колькасцю непланаваных перыядоў зупінкі, ніжых вітках на тыямо і абладнанні, якое працуе на 20% дыяўальней. Меры обмежэння включаюць апрацоўку даных сенсараў у рэальны час, існуючы CMMS, старое абладнання, сарабітанне з правіламі безпекі і працу паўнастацейна.
• Сельское гасцтво – апарат для становішча здароўя культураў. Ён сочыць за культурамі за дапамогою сярэгавых знімакоў і наземных датчыкаў, выявляе спалахі захвороўняў, прымае рэкамендаціі ў часе кантролю за зрошэнням і піджывленням, прызначаныя для керуючых фермамі, агронамаў і керуючых кооператывамі. Успех апрацоўкі выражаецца у выявленні захвороўняў на тыдзень ранейш, ніж праз ручную перапрацоўку, застосоўкі на 25% меншай колькасці вады, паўшчэй урожайнасці на 15% і рэкамендаціях на мове местнай аўдытарыі. Серэд абмежэнняў – неравнамерная працёздатнась цяпоў, тэлефоны нізкага класу, існуючыя програмы для ферм, паведамленні праз SMS і вельмі разныя тыпы культураў.

Кожны варыянт выкарыстоўвання мае сваія трэбаванні, і яны формуюць усю архітэктуру, таму гэты крок выкарыстоўвае рэальны час.

Крок 2: праектаванне запытаў

Сістэмны прампт — гэта інструкцыя для працы агента. Ён задае персанія, можлівасці, меры і шаблоны паведамлення. Якша саставлены прампт забезпечвае адносны, безпечны і надзейны спосаб дзеяння, а паслабы прампт прыводзіць да непрадвіджальных рэзультатаў, якія не функцыонуюць у практычным выкарыстоўванні.

Цялі

Пачніце з таго, што агент павінен выконаць, і будзіце конкрэтныя і полныя ў своіх апісаннях.

Агенту-аналізавацу банкавых шахрайстваў можа быць паказана задача аналізаваць транзакцыі на наявнасць пазнак шахрайства, атрымліваць рэйтынг рызыку за дапамою заданых модэляў, парабялансаваць рызык з вядомымі шаблонамі шахрайстваў, пісаць дэталізаваныя атласы расследаванняў і негайна перадаць справы з высокім рызыкам. Яго таксама прасябрэць застаўцца професійным у всіх кантактах, ніколі не адкрываць кліентам дэталей расследаванняў і завжды прадставляць падстаўы для своіх оцэнак рызыка. Усе гэта вяліча меркі і межы дзеяння агента, так што ён ведае, што робіць і чаму трэба ухіліцца.

Агент службы падтрымкі для спожыццаўляў атрымлеў іншы спіс задач. Ён развярняе запытанні пра замовленні, продукты і правілы, вышукае історыю замовленняў і наявнасць тавароў, апрацоўвае вярненні ў рамках правілаў, перадае запытанні пра вярненне грошаў за суму пад 500 долераў людзям, падтрымлеў прыязны тон і збірае адзначэнні пасля кожнай вярсоўкі. Йому забрана обяцваць што-небудзь паza межамі правілаў компаніі, і ён павінен працаваць з альтэрнатывамі, калі не можа задовольніць запытанне. Межы чыста адзначаныя: ён не можа схваліць велікія вярненні грошаў, ён павінен перадаць іх вышэй і павінен дарожыць у межах правілаў. Гэтыя ліміты запобегаюць праблемнаму паведанню.

Персанаж

Персана вплывае на тое, насколькі агент выглядае надзеяным і насколькі ўпэўненыя ў яму корыстнікі. Агент, які займаецца трыажам у сферы охороны здароў’я, павінен гаварыць спакойна і професійна, што дапамагае людзям адчуваць ся спакойна. Агент-рэпетытар павінен быць падбаджваючым і тэрпячым, каб падтрымаць мотывацію учняў, а агент тэхнічной падтрымкі — знаючым і методычным, каб яго рашэнні вярбавалі довер’е.

У сферы тэхнічнага адтрымкі летакоў персанай ёст маёжны інжынер з адтрымкі летакоў, які мае 20 гадоў дазволу на працу з разнымі тыпамі летакоў. Безпека мае першасць над усім, строго дазволеныя вырабнікамі інструкцыі выконваныя, комунікацыя — чыстая і тэхнічна точная, рашэнні ніколі не прыемліваюцца паспешна, калі йдзе пра безпеку, а ўсё задокументавана для рэгулятораў. Гэтая персана вплывае на тое, як агент падходзіць да проблем, адносіцца да нараджэнняў і прыемле рашэнні, і ёй дапамагае падтрымаць адносна стабільныя тысячы взаімадзеянняў.

Кансалтант па сельскага чырагу для малых фермераў прасіць аб іншым голасе. Ён знае местныя культуры, клімат і методы ведчыбы, выказваецца простаю і практычной мовай, розумее абмежэння ў рэсурсах, з якімі сталкаюцца фермеры, дае парады, якія падходзяць да наявных інструментаў і бюджэту, шануе традыцыйныя знанні, адночасна прыняшчаючы савэцкія методы, і застаецца тэрплявым і адраджваючым.

Персанаж павінен падходзіць аўдытарыю. Тэхнічны жарган падходзіць для экспертаў, простая мова — для шырокай аўдытарыі, а культурная чутлівасць мае значэнне падчас працы ў глобальным масштабе.

Інструкцыі

Інструкцыі паведамляюць агента, як выканаць задачы. Нечыткая інструкцыя ведае да неравнамернай дзейнасці, а конкрэтная — да надзеямасці. Нумераваныя процедуры добра работаюць, і гэтыя два прыклады паказваюць такі стыль.

Агент, які атрыбутуе якосць, разглядаючы фота продуктав, выконвае восьма крокаў:

1. З’явіце зображэнне і выкарыстаце мадэль візыі, каб выявіць ўсе характэрыстыкі.
2. Пораўняйце іх з стандартамі якосці для данага тыпу продукту.
3. Знайдзіце всі дыфекты і пазначыце іх прыметнікамі і класамі.
4. Оцэніце ступень сер’ёзнасці кожнага дыфекту за даўжаным крытэрыям.
5. Калі ступень сер’ёзнасці перасягае заданы ліміт, адхіліце продукт і зазначыце всі дэталі.
6. Калі ступень сер’ёзнасці ў межах допустымага, запрасіце людзкую перакантрацыю з адпаведнымі доказамі.
7. Абнавіце паказнікі якосці ў базе дадзеных.
8. Негайна адправіце паведамленне керуючым, калі адразу з’яўляецца калькі дыфектаў аднаго тыпу.

Такія крокі зменшаюць неяснасці, і агент ведае, што робіць у кожной сітуацыі.

Агент для ацэнкі пацяўкальніка следуе дзесяць крокаў:

1. Зберыце сімптамы, час іх трывання і ступень ўжоўважнасці за дапамогою структураванага апытніка.

Задавайце дапаможная запытаннія залежна ад скупкі сімптамаў.

Пераканайцеся ў наявнасці апазнак, якія вымагаюць негайной дапамогі.

Як толькі з’являюцца апазнакі, класыфікуйце сітуацыю як надзвычайную і направіце па негайным шляху.

Расчытайце бал трыажу за адпраўнам алгорытмам.

На адваротаце бала і сімптамаў запропануйце адпаведную форму дапамогі.

Забронюйце прыемку, калі гэта неабходна.

Чытка адказайце паціенту пра наступныя крокі і часовы горызонт.

Ніколі не ставіце дыягназу і не прапануйце конкрэтнага лечэння.

У разе неяснасці сітуацыі будзьце абераглівы.

Пункт «ніколі не ставіць дыягназу» мае найбольшое значэнне, таму што ён стварае чыстую межу, якая запобегае праблемам з адпаведнасцю.

Абаранітэльныя меры

Абаранітэльныя меры запобегаюць шкодзічнай або проблематычной дзеяльнасці, і сістэмы вырабоцтва не можуць адзінцай без іх. Існуе тры групы такіх мераў:

• Рэгуляры прынцыпы кантролю за тэкстамі запобегаю неняпрашаным выходным даным. Адпаведнік службы падтрымкі кляўэнта ніколі не вжывае выразоў з лайкамі, нават калі кляўэнт гэта робіць, а адпаведнік фінансовых кансалтатываў ніколі не гарантуе дохады чы не робіць обявы пра рынак.
• Рэгуляры прынцыпы кантролю за безпекай запобегаю апасным дзеянням. Адпаведнік авіацыйных служб ніколі не радзіць адкладаць тэхнічныя рэмонты, крытычныя для безпекі, адпаведнік службы здравоцохранення ніколі не прасіць адкладаць экстрэную дапамогу, а адпаведнік промышленніх служб ніколі не выключае прыстроі безпекі.
• Рэгуляры прынцыпы кантролю за прыватнасцю запобегаю вылівам дакументаў. Адпаведнік банкаўскіх служб ніколі не дзеліць інфармацыю аднае кляўэнткі з іншай, адпаведнік службы здравоцохранення ніколі не афармавае даныя пацяўек без разрэшэння, а адпаведнік роздробных служб ніколі не адкрывае чутлівыя алгорытмы цэнаваць.

Агент з адказвання працэўнікам фальсафактав у банку можа выкарыстоўваць гэтыя правілы. Ніколі не адкрывайце інформацыю пра методы чы рэштры выкрывання фальсафактав ніяму з корыстувачаў. Ніколі не дзеліце дакладнасцяў розследавання з власнікам улічкі, якая перабувае пад розследаваннем. Ніколі не ачыняйце улічку без законных падстав, related да фальсафактав. Ніколі не прымайце рашэння пра закрыцце улічкі без схвалення аналітыка. Ніколі не пераносіце інформацыю пра кліентаў з адного розследавання на іншае. Заўжды ведзіце журналы аўдыту праблем з доступам да улічак. Калі не ўпевнены ў саасветленні прававых норм, адкажыцеся да людзкага керавальніка. Гэтыя заходы захоўваюць банк, яго кліентаў і цэлесообразнасць розследаванняў.

Спеціяліст з трыажу ў сферы здравоцохранэння могаў бы пераносіць іншых. Не даюцца конкрэтныя дыягнозы чы рэкамендацыі па лечэнні. Неабяжна адразу ж прыняць заходы ў разе болю ў грудзях, труднасцяў з дыханнем, сільнага крывавявання чы іншых сімптамаў надзеі. Не прымаюцца рэкамендацыі адкладаць лечэнне па сур’ёзным сімптомам рады заўсёды. Не ёсць можлівасці доступа да медычных дакументаў паціента без актыўнай взаімадзеі. Павінен быць стабільна эмпатычны, професійны тон. Неабяжна наладзіць звязак з рэсурсамі дапамогі ў разе, калі паціент выказвае думкі пра самахваленне. Інфармацыя паціента не дзеліцца з неуповноважанымі асобамі. Пры неяснасці ступеня тыятэння павінна быць прадпачальнае ставленне да болей сур’ёзных станоў. Гэтыя прынцыпы захоўваюць безпеку паціента і гарантуюць, што лечэнне будзе адпаведным.

Тэставанне і практычнае адточэнне

Першы праграматызм не будзе ідэальны. Прыкантруйце яго ў рэальных сценарыях, шукайце крайнія случаў і удосконаляйце паэтапна. Рабочы цыкл — гэта запуск з базовага праграматызму, адработка 20–30 рэпрэзентатыўных сценарыяў, фіксацыя неудач, пошук законамасцей, перакорэктаванне праграматызму і повторэнне.

Агент з цэнаў у роздробе можа радзіць пры высокай популярнасці цены ніжэй за скоўку. Рашэнне — чыстае правілам проты цэнаў ніжэй за скоўку плюс мінімальны маржынальны процэнт у 10%. Агент з трыажу можа ігнораваць частыя проблемы, счытаючы іх незначнымі, хоця яны могу сведчыць пра ўжо серйозную сітуацыю; рашэнне — інструкцыя прабаваць завжды рэкамендаваць медычную дыягнастыку для сімптамаў, якія трываюць больш чым две недзелі, незалежна ад ўжо відчуваемай ўжо серйознасці.

Тэставанне адкрывае прасочыні ў інструкцыях, відсутныя захоўнікі і нечыстае кераванне. Гэта удосконаленне не ўзначальнае — так ствараюцца надзеяныя прыметныя сістэмы.

Прыклады цэлых праграматызмаў

Якшча адаптаваць усе разам, кожны запіт мае аднаковую структуру: роль, цілі, інструкцыі і правіла, прычаменавучаныя да ўзеўзецкага сферы.

Аналітык банкавых шахрайстваў выступае ў ролі спецыяліста па шахрайствах, які мае падтрымку панздзесяць гадоў досвяду ў розследаванні фінансавых злочынаў, і стварае дакладныя ацэнкі рызыка для іншых аналітыкаў. Яго цілі — выявляць анамаліі ў патэрнах транзакцый, вырачаць кантэкст рызыка за дапамогою затверджаных модэляў, перагледваць транзакцыі ў спісах вядомых шахрайстваў, пісаць дакладныя атласы з доказамі і перадаваць транзакцыі з высокім рызыкам безпосерэдна людскім аналітыкам. Пры аналізе транзакцыі ён дзейначае так:

1. З’являець паўную історыю транзакцый абліку.
2. Шукае анамаліі ў частоты або сумах транзакцый, тое ўсё, што ёст манячным.
3. Пераканваецца, што продавец і месца знаходжэння паслугоў падходзяць да профілю кліента.
4. Ацэнюе верыгоднасць шахрайства за дапамогою комплекснага модэля.

Як толькі рэштун перасягне 0,8, негацыяўна трэба адразу павышыць прыглед з дакладнымі дапаможнымі доказамі.

Калі рэштун знаходзіцца межа 0,5 і 0,8, трэба павесты ўвагу аналітыкаў з супакомляючымі дадзеннямі.

Калі рэштун ніжый за 0,5, трэба затварыць транзакцыю і задаць запіс пра прынятыя рашэнне.

За кожны раз трэба фіксаваць праблемы, якія прывелі да рашэння, і джэрыя дадзенняў.

Яе прынцыпы: не адкрываць інформацыю пра методы выяўлення, не обсужваць актуальныя расследаванні з власнікамі аблікацый, не выходзіць у сістэму без законных падстав, ведаць аўдытную хроніку кожнага рашэння, павышаць рэгуляторныя сумневы да керавання і не затвараць аблікацыю без падтверджэння аналітыкаў.

Агент службы падпрыемнага адказу для спожычальніка выступае як дапаможны, прыязны прэдставнік прэміум-брэнду, які дапамагае з замовленнямі, таварамі і правіламі, адночасна забезпечваючы высокія стандарты адказу. Яго меты — шырокае і эфектывае рашэння проблем, адменстрацыя і замена тавароў у рамках правіл, точная інфармацыя пра тавары і рэкамендаціі, адносны стыл брэнду і належная перадача складных справ вышэйшым кантролерам. Па запітамі пра замовленні ён:

1. Шукае замовленне па номеру або электроннай паштцы.
2. Паведамляе тэкушчы статус і прыбліжную дату доставкі.
3. Пяшчотліва адказвае на прычыны запазджэння і працоўвае з альтэрнатывамі.
4. Контролюе стан доставкі і развяляе будзь-якія сумневы.
5. Перадае справу командзе, якая займаецца выпалненням замовленняў, калі тавар не прыбыў.

Па запітамі пра адменстрацыю тавароў ён:

1. Пяракладае, чы рэалізацыя адбылася ў трычысячадзённым перыядзе.
2. Пераканваецца, чы стан тавара падпадае пад умовы адменстрацыі.
3. Выдаець разрэшэнне на вярненне і этыкетку.
4. Працюе над вярненням грошаў пасля таго, як тавар прыбудзе.
5. Вярнення грошаў, якія перавышаюць $500, апраўляецца манеджэру на затверджэння.

Яго прыметы: жаданае вярнення грошаў за межамі правіл без затверджэння манеджэра, жадных абяцанкаў па часу доставкі, якім нельгае кантролюваць, жадной паведамлення інформацыі пра постачальніка чы сэкундзы, професійны і спавяжаны тон нават па вазгляду на разчароўваных кліянтав, вважлівае завершэнне дыялогу і перавод справы вышэй, калі кліент стане агрэсыўным, а таксама вярнення тавару без належной пераканальнай процедуры.

Спеціяліст з трыажу ў сферы охороны здароў’я — гэта спавнены саперцяйнасцю, апытны медбрат-трыажыст, які дапамагае паціўтам знайсці належны варыянт дагляду, адмацаваючы сімпты і ступень тэрміновасці, адночасна прабачаючы ўпэўненасць у іх безпеці. Яго цялі — точная адмацавання сімптамаў і ступеня тэрміновасці, направленне паціўта да аддзела невялікай тэрміновасці, аддзела тэрміновай дапамогі, первінной медыцыны або самадагляду, негайная дапамога у ўзгоднасці з станам, меньшая колькасць непатрэбных візітав у аддзел невялікай тэрміновасці і падтрымка доверлівасці паціўта. Пад час адмацавання ён:

1. Запісвае галоўную скаргу і дакладныя відпаведзі на пытанні пра сімпты.
2. З’ясоўвае пра трываласць, ступень тыяжкасці і развітанне сімптамаў.
3. Шукае аб’екты, якія выказваюць патрэбу негайнай дапамогі.
4. Пераканальвае наявнасць абнормаў у жытэчных показаннях, калі яны ёсць.
5. Расчыляе ступень тэрміновасці па адмацаваным алгорытмам.
6. Дае рэкамендацію з чыстым обгрунтуванням.
7. Забронюе візіт, калі гэта неабходна.
8. Паспісвае наступныя крокі.

Дае рэкамендацыі ўчынку, якія апісваюць, калі трэба звернуцца за дапамою на вышэйшым рэвэлем.

Сігналы, якія указваюць на неабяжную дапомогу, — грудны боль чы роўнерчанне, труднасці з дыханнем, сур’ёзная крывотэча чы траума, раптовы сур’ёзны галавны боль чы змяны ў зорэ, памешчанне чы змянена псіхічная становішча, сімптамы інсульта, такія як опусканнее ліца, слабыя рукі чы труднасці з мовленнем, сур’ёзная алергічная рэакцыя, а таксама самагубныя чы вочагоўныя думкі. Ейных захоўнікі: жадных конкрэтных дыягнозаў чы рэкамендацый па лечэнні, сігналы завжды спрацоўваюць як неабяжныя становішчы незалежна ад іншых фактараў, жадных прапаноў адкладваць неабяжную дапомогу з-за костаў чы зручнасцяў, адночуваннее з паціентам і адночуваннее на яго потрэбы, магчымасць дапамогі пры крызе, калі з’яўляюцца самагубныя думкі, жаднага доступу да дакументаў без актываўнае сагласнасці паціента, наклоннасць да вышэйшага рэвэлу, калі трыбацьнасць неясна, і перадача складных случаў надзірніку медпрацоўніка.

Кожны праграматы падае пад свой сферу дзейнальнасці, тып корыстніка і профіль рызыку. Банкавы агент сфокусаваецца на раследаванні і салідарнасці з правіламі, роздробны агент балансавае задоволенне кліента і правіла, а агент у сферэ здравоохраны ставі безпеку праўей усяго.

Шаг 3: выбіраем мадэль

Выбор мадэлі безпасебна вплывае на карыстнасць, косцт, час адпаведзення і можлівасці, а неправільны выбор пашкодзіць усё іншэ.

Варыянты базовай мадэлі

Рынак быстра зміняецца, але основныя прырэшчанні застаюцца незменнымі: можлівасці проты косцт, час адпаведзення проты якосці, хоставанне проты самастоятнага хоставання і універсальныя прылады проты спецыялізаваных.

• GPT-4 і GPT-4 Turbo адміністрацыі OpenAI добра разумеюць, строго выконваюць інструкцыі, ствараюць якісны творчы контэнт і надзеязна вызываюць функцыі, пры чым падтрымляюць шырокі спектар інструментаў. Недакладнасці — вышэйшая цена, сяроднія часы адпаведзення і залежнасць ад API адміністрацыі OpenAI. Яны падходзяць для складнага разумеў, творчай працы, універсальных агентоў і сітуацыяў, дзе якасць мае большое значэнне чым цена.
• Claude 3.5 і Claude 4.5 адміністрацыі Anthropic выдзеляюцца ў аналізе дугіх дакументаў, сільным разумеў, стварэнні высокакалітэтнага коду, строгам выканаванні тонкіх інструкцыяў і прадаюць вікна кантэксту на 200K-токенав, пры чым асабліва сільна падтрымляюць безпеку. Яны коштаюць дорожэ, доступны толькі праз API, а ў бесплатнай версіі існуюць ліміты на колькасць запытанняў. Яны падходзяць для аналізу дакументаў, доследчых агентоў, падрабнікаў для програмавання, прыкладнасцей з дугім кантэкстам і сітуацыяў, дзе важлівыя безпека і адпаведнасць.

Llama 3 70B і 405B адміністрацыі Meta ўжо ёсць адкрытымі за кодам і можна ўстановіць самостойна без даплатаў за API; яны парадную працуюць, маюць сільную падтрымку спяльнай адуменства і доступныя ў багацькоўсконалікованых варыянтах. Для ўстановкі іх патрэбна інфраструктура, неабходныя даплаты за апрацоўку даных, а таксама экспертыза для ўпрацоўкі; яны астаюць позаду найсучаснейшых модэляў. Яны падходзяць для вікорыстання на сабе, калі патрэбна прыватнасць даных, у вялікіх обсягах, дзе вартасць API будзе занадта высокай, а таксама для глыбокай пераспектавання.

Gemini Pro і Ultra ад Google падтрымляюць калькі фармата даных, эфектыва прыменяюць логіку, інтэгруюцца з сервісамі Google і маюць конкурэнтныя цены. Яны менш перавераныя для вікорыстання ў працэсах з агентамі і маюць меншы экасістэм. Яны падходзяць для застосоўкаў, якія выкарыстоўваюць візуальныы дадзеныя, інтэграцыі з Google Cloud і багафункцыйных агентоў.

Існуюць мадэлі, прызначаныя для спецыфічных сфер: охорны здароўя (Med-PaLM), кодування (CodeLlama, StarCoder), фінансаў і іншых. Яны лепшая справляюцца з вузкімі задачамі, але не маюць шырокіх можлівасцей.

Параметры налашоўкі для практычнага выкарыстоўвання

Параметр тэмпературы кантролюець адыякратнасць. Нізкія значэння з 0,0 да 0,3 даюць стабільны, дэтэрміністычны выхад, тады як высокія значэння з 0,7 да 1,0 даюць творчы, разнарадны выхад. Агент для борьбы з мошчанніцамі у банках павінен працаваць з значэннем 0,0, адколі стабільнасць важлівей за творчасць, і адна і тая ж транзакцыя павінна отрымаць адно і тое ж ацэнкаванне рызыку ў кожны раз. Агенты службы падтрымкі кляўэнтаў працуюць з значэннямі 0,3 да 0,5, што дазволяе певную натуральную разнараднасць у формулюваннях, пры чым тлумачэнне правіла застаецца стабільным. Агенты, якія пішуць маркетынгавы тэкст або апісанні продуктам, лепшая справляюцца з значэннямі 0,7 да 0,9, калі разнараднасць дадае дапамогу у стварэнні ценнасці.

Top-p, або выбір парадоксальная маса, — гэта ўзначны спосаб кантролю адыякальнасці. Нізкія значэння з 0,1 да 0,5 обмежваюць выбір толькі найболей верагоднымі токенамі, а высокія значэння з 0,7 да 0,95 дазваляюць большую разнаўтучасць.

Параметр Max tokens абмежвае дужыну выходу і павінен паспаўляць да конкрэтнага вакулінацыі. Для адчынення рэпорта пра мошчанаванне патрэбна 1000–2000 токенав, для адпаведзі ва службе падтрымкі кляўэнта — 200–500, а для простай адпаведзі на запыт API — 50–100.

Настройкі трэба адрабатваць на базе рэальных дадзеных, а не на дэмавых сцэнарыях. Ўжывайце рэальны ввод ад корыстувача, меркуйце якасць і стварайце парадоксы.

Вікна кантэксту

Вікно кантэксту вялічына, якая агент можа прыймаць у ўвагу за раз. Большыя вікна дазваляюць болей складныя мантэвранцыі, але збільшуюць вартасць і час адпаведзення. Размеры вікна сільна разніцяюцца: 128K токенав для GPT-4 Turbo, 200K для Claude 3.5, 8K для Llama 3 70B (до 32K у дзеяных варыантах) і аж 1M для Gemini Pro.

Агент для трыажу ў сферы охоры здароў’я можа працаваць з 8K, таму што кожная взаімадзея ўключае калькіляванне колькасці токенав размовы плюс калькіляванне колькасці сторанак клінічных рэкамендацый. Агент для аналізу прававых контрактов выгадвае ад 200K, таму што ўсі контракты разам з адпаведным судовым правам і рэгуляціямі могу быць прадставлены ў аднам вікна, што значна палягчае працу і пасілквае лепшую якосць у пораўнанне з розбівам дакументаў на часткі. Агент службы падтрымкі кляўэнта, які працуе з каталагамі продуктав, історыяю замовэнняў і дакументамі правіл, чыста справляецца з 32K–64K, што ўтварае хорашы баланс між можлівасцямі і вартасцю.

Архітэктура памяці таксама вплывае на гэты выбор. Вектарныя базы дадзеных могу знаходзіць неабходную інфармацыю, што зменшае патрэбу ў вялікім прасторэ для зберагчэння дадзеных.

Вартасць, затрымка і точнасць

Кожная прыменныя сістэма суперамоўляе гэтыя тры факторы адно з другім.

О паводзе з костамі, GPT-4 коштае апоўну 30 долераў за мільйон токенаў уводу і 60 долераў за мільйон токенаў выходу, пры чым Claude 3.5 Sonnet знаходзіцца ў той жа дыяпазоне. У свою чаргу Llama 3 70B включае косты інфраструктуры, але не мае платы за кожны токен. Агент службы розпродажу, які ўсё час працуе і апрацоўвае 100 000 взаімадзейнасцяў на дзень, кожая з якіх складаецца прыблізна з 500 токенаў, можа заплатыць апоўну 1 500 долераў на дзень за вікорыстанне API, тое ў 45 000 долераў на месцы, што можа стаць праблемай для самастойнага адключэння Llama чы вікорыстання меншых модэляў. Агент авіяцыйнага тыпу, які ў месцы апрацоўвае 1 000 складных взаімадзейнасцяў, можа заплатыць апоўну 500 долераў, і тут якіснае рашэнне — гэта GPT-4.

Чытаючы працэздольнасць, час апрацоўкі першага токена крыўцяеся ад 200 мілісекундаў да 2 сэкунд у залежнасці ад размеру мадэлі і месца хоставання, а загальны час адпаведзі ўключае працэс інферэнсу, вызовы інструментаў і ўпрацоўкі дадзеных. Чат з кліентамі у рэальны час падае за медленны, калі час адпаведзі пераходзіць за 3 сэкунды, таму трэба вікорыстоўваць шырэйшыя мадэлі або тэхнологію стрымінгу. Розследавання мошчыння ў пакетах можа займаць ад 10 да 30 сэкундаў на кожную транзакцыю, калі падвышаецца точнасць. Агент з контролю якасці на лініі складання павінен адпавядаць за 2 сэкунды, таму яму патрэбна оптымаізаваная рэалізацыя або меньшыя мадэлі.

О паводзе з точнасцю большыя мадэлі зазвычай лепшая рашучаюць і стрэлкаваюцься з інструкцыямі, а разлік межа GPT-4 і менжых модэляў можна вымерыць. Калі рашэнняя маюць вельмі значныы наследкі, як у трыажы развіцця здароў’я, фінансавых шахрайствах і сістэмах, крытычных з точка зору безпекі, купуйце найлепшую модэль, таму што аднойчына коштуе больш, чым сама модэль. Для задач з менжымі наследкамі, такіх як рэкамендацыі продуктав, простая каталогізацыя служб і контэнту, часта падходзяць менжые мадэлі. Апробавайце ў рэальных даных, каб пазнакаць фактычную разліку ў якасці для конкрэтнага случая, таму што адчутныя рызыкі часта не збігаюцца з рэальнасцю.

Спалучэнне калькольных модэляў

Сістэмы для рэальнай працы часта выкарыстоўваюць разныя мадэлі для розных задач, і запыткі направляюцца да таго модэля, які падходзіць. Дышчыя, быстрыя мадэлі віконваюць простыя задачы, а дорогія, моцныя — складныя. Вымерыце косц і якасць для свайго конкрэтнага завантажэння.

• У банку работа з падзеямі шахрайства можа выконвачыцца трэмая способамі: GPT-4 для глыбокага аналізу патэранаў і складання звытакоў (высокая якосць, мало вызоваў), GPT-3.5 Turbo для большай колькасці паведамленняў клёянтам (достатня якосць і дышэўшая цена), а таксама спецыяльна настроены Llama 3 8B для шырокага і дышэўшага класіфікавання транзакцый.
• Сістэма трыажу ў сферы охорны здароў’я можа выкарыстоўваць Claude 3.5 для аналізу сімптамаў, якім патрабуецца дзейны медычны кантэкст, GPT-4 для натуральнай, ампатыйной комунікацыі з пацэнтамі, а таксама спецыялізаваную медычную мадэль для падтрымкі клінічных рашэнняў.
• У роздробной торгавлі можна выкарыстоўваць GPT-4 для дыялогаў з клёянтамі, якія выказуюць патрэбу ў логічных размышленнях, мадэлі для адналежнага прадставлення інфармацыі пад час пошуку і рэкамендацый прыладоў, а таксама настроены класіфікатор для простага направлення запытак.

Выбір модэляў па галузях

• Адказванне абманаў у банкавасці: Claude 3.5 як асновны інструмент, таму што ў яго 200 К зместу ёсць цэлы історыя транзакцый плюс рэгуляторныя нарады, а GPT-4 Turbo — як дапаможны для кантактаў з кліентамі. Для расследаванняяў патрэбна глыбока аналіза патэранаў у дужа дзейных історыях і рэгуляторных дакументах, што праграмавае вышэйшыя косты.
• Оптымізацыя запасоў у роздробнай торгавлі: GPT-4 Turbo як асновны інструмент для прогназавання попытку, а самастаўлены Llama 3 70B — як дапаможны для цэнавання ў рэальны час. Стратэгія патрабуе якіснага аналізу, тады калі цэнавання ў рэальны час адбываецца у вялікых масштабах, самастаўлены інструменты становяцца выгоднымі.

Трыаж паціўнакоў у сферы охорны здароўя: GPT-4 як асновны за ўпэўненую надзею на правільнае прыняцце рашэнняў, крытычных з точкі зору безпекі; Claude 3.5 як альтэрнатыва для складных случаў з давгай медычная історыяй; а таксама спецыяльны мадэль, настроены для данай сферы, як адпаведны варыянт для рутынарной класыфікацыі. Для складных случаў патрэбна высокая якосць, а для рутынарных можна вікорыстоўваць дышэўшых спецыялістаў.

Контроль якосці ў працэсе вырабніцтва: GPT-4 Vision як асновны для аналізу зяўроў, плюс настроены Llama 3 8B на месцы для шыранай класыфікацыі дэфектаў. Пры адпрацоўцы на лініях зборкі патрэбна нізкая вяласць, маленькі мадэль падходзіць для рутынарных случаў, а GPT-4 Vision — для складнейшых візуальных задач.

Манітарынг сяляжных культураў: самастойна размешчаны Llama 3 70B на прыстроях на месцы як асновны варыянт, пры чым GPT-4 выступае як адпаведны варыянт для складнай дыягнастыкі захвороўнасцей на адпаведных зяўрах. У разлічных умовах канектывацыі і на аддаленых падстанціях прыемнае самастойна размешчання модэляў; рутынарны манітарынг застаецца на месцы, а складныя случаі перадаюцца ў хмару.

Авіяцыйны тэхнічны адзёрбаванне: GPT-4 як галоўны выбар, таму што для рашэнняў, крытычных з точкі зору безпекі, патрэбна высокая якосць; Claude 3.5 служыць запасным варыянтом для чытання інструкцыйй з адзёрбавання і правілаў. Безпека не падлягае пераговорам, правілы вымагаюць наявнасці дугіх дакументаў і рэдандантнасці, а таксама неабходныя ўчастка людскага надзору.

Выбір павінен адпраўляцца да вашых сопных патрэбаў у чыстасці рашэнняў, лімітаў затрымкі, эканамічных аспектаў колькасці дадзеных, трэбаванняў да прыватнасці, сяродовышча размешчэння і ступеня толерантнасці да рызыкаў.

Стварэнне аднойчынных падстав

Аднойчыныя падставы валідацуюць усё, што будзе следаваць. Чытка адзначыце мэта з меркамі успеху, якія можна вымерыць; разрабатывайце запрошэння, якія забезпечваюць адносны і безбедны характэр работы, і выбірайце мадэлі, якія паўнаважна сбалансаваюць якосць, косць і затрымку для конкрэтнага варыянта прыменення.

Этыя тры шагі станавяць адпаведна 60% успеху агента. Іх прыкідванне чыстаўка або спешка прыводзяць да сістэм, якія не функцыонуюць у рэальных умовах, тады калі яны выпанавляюцца належна, рэшта архітэктурных элементаў становяцца простымі для рэалізацыі.

Спадневаная літэратура

• Практычныя прыметкі: Стварэнне агента для кодавання ў прыватным воблака: OpenCode + локальны LLM — Паследовны апіс практычных прыметак: Стварэнне агента для кодавання ў прыватным воблака: OpenCode + локальны LLM: контракты, перакрыцчы і слоты для коду для команд, якія вікорыстоўваюць гэты патэрн.

Паспорт DS-STAR: агент дадзейнаўскай наукі Google і прычыны ўспэху яго рацыянару — Дзеянне агента дадзейнаўскай наукі DS-STAR ад Google: яго сэм модуляў, цыкл атрыбутаў DS-STAR+, публікуемыя запросы, рэзультаты абляцый і існуючыя абмежэнні.

Шокавыя хвалі вулканаў у домашніх барометрах: раннее апавешчэнне на адлегласці 29,334 станцыяў метэоралагічнага назіркі — Як Нетатмо, фізыка хвалей Ламба і агенты AI выявілі кратэры, расчылі сілу выбуха і далі апавешчэння за кальколькі хвілін без ложных сігналаў.

Практычныя прытамкі: Рэальныя інцыдэнты безпекі, якія адбыліся з АІ-агентамі ў трэцью недзелю — Паследовыя інструкцыі па вікорыстоўванню Практычных прытамакоў: Рэальныя інцыдэнты безпекі, якія адбыліся з АІ-агентамі ў трэцью недзелю: контракты, перакрытчыкі і шаблоны коду для команд, якія рэалізуюць гэты патэрн.

Стварэнне локальной мульты-агентскай сістэмы з Ollama і CrewAI на 16GB RAM — Выберыце мадэль, якая пасвядзе 16GB, запустыце ёю Ollama, а пасля з’ўязайце агенты CrewAI для кодавання, даследжэнняў і стварэння прэзентацый, а таксама знайдзіце способы выправлення бяговых памятных прычын, адказоў на выклікі інструментаў і цыклаў.

Структураваныя прампты для сістэм Rust AI-агентаў: шары, кэшаванне, перакантрольванне адхылень — Створэнне шаравай структуры прампта для агента на Rust: ідэнтыфікатор, інструкцыі, правілы выходу, прыклады і актуальны кантэкст, а таксама межы кэшу і «відблеск» дадзеных для аптэкты CI.

Практычныя прыметкі: стварэнне AI-агентаў на Rust – частка 8 — Практычны паследоўны кароткі вядомаць пра Практычныя прыметкі: стварэнне AI-агентаў на Rust – частка 8: контракты, перакантрольванні і готовыя фрагменты коду для команд, якія вікорыстоўваюць гэты патэрн.