Чаму агенты, што ўражваюць у дэма, падаюць у прадакшне, і што будаваць замест іх
Чаму AI-агенты, якія ўражваюць у дэманстрацыях, ламаюцца ў прадакшне: дзе яны падаюць, адзін агент супраць многіх, паўторы і рэзервовыя шляхі і рэальны кошт працы.
Што ніколі не паказвае дэман
Хорашы дэман агента ствараецца на аснове «шчаслівага шляху». Выклік інструмента вяртае самэ гэта, чаго чакалі, мадэль правільна чытае заданне, і нічога не заканчваецца з працэй. За такіх умов агент, які выклікае інструменты і рашуе заданне, выглядае майжэ завершаным. Адстань межы гэтым станом і тым, на чым залежыць праця людзей, часта недаўаецца належна оцаніць.
Продакшн — гэта проста все, што знаходзіцца за межамі «шчаслівага шляху». Сертыфікаты выканчваюцца тэрмін. Схема можа змяніцца без паведамлення. Каманда можа быць неправільна прынята. Адпаведзі з’являюцца пазней, ў непаштоўным фармаце або вовсе не прыходзяць, а кожны зовнішні API, з якім працюе агент, мае свае особлівасці. Нічога з гэтага — не нечысць. Гэта тое, чаго можна чакаць, калі ў центрэ сістэмы знаходзіцца недэтэрміністычны элемент, а сяродзеўшчы продовжае рухацца.
У дэмаверсіях таксама частае ўскосленне ацэнкі і стазіравання. Без іх галюцінацыя чыста або тая, што таямніча перапоўняе вікна кантэксту, не вызывае ажыткі. Агент продовжае адпавядаць, адпаведзіцы буцця зблудныя, і першым знакам ёсць скарга корыстніка чыста або парадураныя даны. Сістэма, якая выглядае добра толькі калі яе стазіруваць з блізка, не гатова працаваць без нагляду.
Маленькі прыклад паказвае гэтыя проблемы на практыцы. Уявіце агента, які бронюе зустрэчы, вызываючы API календара. У дэмаверсіі календар адпавядае за 200 мілісекунд з апранутым JSON. У рэальных умовах API іноды вяртае поле з іншым іменем, іноды — порожнюю сторунку, а іноды застрэгваеся на трыдцаць секунд. Тады модэль можа выдумаць правдападобны часовы прызначак, каб запаліць шчыліну. Кожны з гэтых случаев выклікае неабяжнае адпаведзенне: параболіць форму, спрацоўваць порожнечу як адзінэцкі стан, обмежыць час чакання чыста або адмовіцца ад дагадкі.
Дзе агенты выконваюць помылкі пасля адправкі
Тыя ж калькі прычын неудач практычна завжды з’являюцца знова.
- Ненадзеяны выхід модэлю. Модэль выдае інформацыю, якая не мае падтрымання ў рэальнасці. Калі агент праўяжаеся да жывых сістэм або яму запытаюцца крытычныя даны, выдуманыя дэталі ператвараюцца на неправільныя дзеянні.
- Прамыслы інструментаў. Агенты завісяць ад API і зовнішніх інструментаў, якія могу змяніцца, перыясніць зв’язкі або адхіліць нечаканы вхідны даны. Агенту патрэбен план на случай прамыслу інструмента, напрыклад, спроба зноў або пераход на простыяйшы метод.
- Бесканечныя ціклы. Недастатковы адлік стану або нераскіяны экстрэмальны кейс можу заставіць агента ціркулюваць без прыбылі. Чыстыя запісы пра тое, што было зроблена, запобегаюць павтарэнню працы.
Больш агентаў не значыць большай надзеяйнасці
Звычайны інстынкт кажа, што распад работы між кількома агентамі павышыць карыстоўнасць і надзеяйнасць. Аднак часта гэта прыносіць больш проблем, чым рашае іх, таму што кожны дапаможны агент дадае дапамогі ў камунікацыі і коордынацыі.
У аднаго агента ёсць ясная перадчыннасць: ўсё, што трэба налаштаваць, і ўсё, што трэба сочыць, знаходзіцца ў аднам месцы. Калі задача выконваліцца па чыстай, лінейной последовасці, як у простам пошуку з чыткімі крокамі, аднаго агента зазвычай яшчэ достатнька.
Для складнейшых заданняў, якія можна разбіць на незалежныя часткі і выконваць адночасна, падходзіць кальколька агентаў. Але нават у такім случае ёсць паследкі. Хтось павінен старацца, каб агенты не працавалі па розныя направленні або не падражналі працу іншых. Без коордынаціі яны працуюць на астарэйшай або суперсуперэчлівай інформацыі. Кожны дадзены агент — гэта ўсё новая прычына для парадкі, а кожна перадача інформацыі — момент, калі кантэкст можа быць зраблены неправільным або спутаным. Залежнасці між агентамі дазволяюць аднай парадці распрострацівацца на іншыя, таму нагляд павінен быць адпаведна строгішым.
Оркестрацыя стае корыстной, калі заданне можа быць прыродна разбіце на часткі. У сэрвісе падтрымкі кліентаў адны агент можа збіраць інформацыю, іншы — ацэніваць настроў паведамлення, а трэці — прабываць адпаведны адказ, пры чым оркестрацыя з’едынае всі эты часткі ў адну адпаведнасць.
Уявіце саблоковы случай: калькі сотка практычна ідэнтычных заяваў на падтрымку, якія всі патрабуюць аднаковай класыфікаціі і аднаковага стандартнага адпрацоўвання. Фіксаваны працэс з адным вызывам модэлю ў момент прыняцтва рашэння лёгкій для тэставання, лёгкій для калькуляцыі цены і значна простэйшы для пояснення аўдытару, чым група саўместна працюючых агентаў.
Аднак у багатых случаях просты дэтэрміністычны прабег задачы прыгожыяе командзе агентаў. Калі задача не патрабуе паралелізму, або адпрацоўка керування перавышае будзь-якія выгоды, адзін агент, які следуе фіксаванай последовасці, эфектывней адпрацоўвае групу схожых запітоў, адтолькі ў яе мало варыяцыяў, якія трэба было б урахаваць.
Рашэнне павінна базавацца на самай задачы: на ёё складнасці, чы праца паралельна дапамагае і на тым, сколькі коордынацыі і манітарынгу будзе патрабавацца. Акранецкае адліквіванне гэтых фактараў дапамагае стварыць дызайн, які будзе выкарыстоўваць сілы кожнага падходу і ухілявацца ад яго слабасей.
Праектаванне для працы ў прыметнай асяроддзя з самага пачатку
Стварэнне сістэмы для працы ў прыметнай асяроддзя значыць адмова ад меты стварыць вражаючую дэманстрацыю і нація на сістэму, якая можа вярнуцца да працы пасля тых нештачакоў, якія неабходна выйду. Некалькі практык маюць найбольшы важылівы эфект.
Структураваныя выходныя даны. Застава ўніверсальнага фармата выходных даных зменшае рызык няправільнага адчытання і спрыяе простэйшам адлучэнню бягаў. Сістэмы, якія працуюць пасля, можаць раслучацца на прыемлівы фармат даных.
Павторныя спробы з адстаўкамі, а таксама таймаутамі. Тымчасовыя проблемы, такія як перыяды занятасці сеткі або кароткакалісна недоступнасць службы, трэба ўсваяць за дапамогою павторных спробаў з адстаўкамі між ямі. Таймауты не дазволяюць агенту вечна чакаць на тое, што так і не прыйдзе.
Альтэрнатыўныя варыянты. Ланцуг альтэрнатыўных варыянтов трэба запісаць і працаваць з яму так жа, як і з будзь-ям другім шляхам коду, адтак як неапранаваны альтэрнатыўны варыянт зазвычай не функцыонуе ў найгоршы момент. Калі основны шлях не працуе, альтэрнатыўны інструмент або метод можа даць той самы рэзультат, але з меньшай точнасцю або дыямэтрам. Служба продовжае працаваць, а не зупіняецца.
Участнікі працэсу. Складныя або неясныя справы — гэта тады, калі агент сталкнуцца з труднасцямі. Перадача іх людскаму аператару дапамагае прыймаць рашэнні ў найважлівейшых справах з урахоўванням експертызы і забезпечвае яснасць у адпаведнасці за дзеянні.
Маршрутызацыя за мадэлямі. Разныя мадэлі маюць разную сілу. Перадача кожнага заведамства модэлі, якая яму наіболей падходзіць, павышае точнасць і карыстнасць, хоць гэта залежыць ад ведомаў пра тое, што кожная модэль можа, а што — не можа рабіць.
Наборы для адміністрацыі. Корыстны набор сумешчае звычныя запіты з тымі, якія створаюць проблемы: некарэктны вхідны даны, суперсуперэчлівыя інструкцыі, інструменты, якія заканчваюць сваю працу за певны час. Постаўленне тэстаў на розныя сцэнарыі дапамагае якомога раней выявіць слабасці і з’ясавіць, чы робат застаецца надзеяным па меры змян у умовах.
Аналіз і сачыце за вітратамі. Аналіз следуе за шляхам дадзеных і рашэнняў у сістэме, што дапамагае у адлагоджэнні і выявленні бягаў. Сачыце за вітратамі дапамагае падтрымваць выкарыстоўванне рэсурсоў у падтрымліваных межах і паказвае, чы сістэма отрымае тое, на што ёй купіваюцца рэсурсы.
Запланавана дэградацыя. Робат, які не можа выкарыстаць свой інструмент пошуку, можа ўсё ж адпавядаць на запыты на адной кэшаванай інфармацыі і пры тым прызнаваць гэта, што ёсць лепшым рашэннем, чым стораніца з адной. Пад тэнзамі сістэма должна паслабляць сваі функцыі апорадкована, а не зламвацца. Планаванне можлівых абяканняў дапамагае шыбкаа восстанавіцца і зменшыць вплыв на корыстнікаў.
Рэальная цена адміністрацыі агента
Плата за токены — гэта тое, што відна на счытку, але гэта толькі частка абоўшчыны. Справедлівыя расчыты включаюць ў сябе ўсё іншае.
- Выклікі інструментаў. Кожны выклік зовнішньяго сервісу коштае грошы і час, а таксама прыносіць дадатковыя рызыкі. Агент часта не можа працаваць без іх, але такая залежнасць робіць сістэму дорожэй і сложнейшай.
- Інфраструктура. Серверы, сховыш і сеткі павінны быць падобраныя па патрэбам, якія зміняюцца залежна ад актывацыі корыстувачаў і складзіць задач. Забезпечэнне высокай доступнасці гэтай інфраструктуры таксама прыносіць дадатковыя вітраты.
- Перапрыбуткі і карэнтаванне адказоў. Гэта неабходна для надзеямоўкі, але кожны перапрыбутак спрацоўвае рэсурсы вычыслювальнай сістэмы. У сістэме, дзе часта трапляюцца тымчасовыя адказы, такія вітраты шыбка накапліваюцца.
Одным з спосабоў адрабоўваць точнасць аналізу ёсць вычысленне косту за адна завершаная задача, а не за кожны вызов модэлю. Задача, якой патрэбна была трохі праказы, два вызовы інструментаў і перагляд працавніком, коштуе значна больш, чым можа падсказаць колькасць токенав, і самэ гэта чысло трэба выкарыстоўваць для паўтарнага аналізу разных рашэнняў і назірання за ўзростам/спадам з тыдня ў тыдзень.
Практычны вывад гэта тое, што расходы трэба кантролюваць у всіх этых катэгорыях адночасна. Сістэма, якая здаецца дышэчай за счытам толькі на токенах, можа віявіцца дорогай, як толькі будуць урахавлены практыкі, персонал падтрымкі і серверы.
Што на самай працо значыць «надзеяны»
Будучына агентных AI залежыць меней ад найбольш аўтонамных, прыглядных дэманстрацый і больш ад таго, чы рэштаюць сістэмы, вярнуцца да працы і пакрываюць своі расходы у рэальных умовах. Увага трэба пераключыць з показу тэхнічных навыкаў у контролюемых умовах на рашэнне складных працоў пад час развёртвання.
Надзяйна працэсна здатнасць — гэта галоўная цэль. Яна значыць карыстацца нештатнымі сітуацыямі без панікі, прыстосавацца да змян у умовах і застацца стабільным пад навантажэнням. Архітэктура, якая яго падтрымлівае, спрыяе структураваным выходным даным, разумнам карыстаццю сабой у разы ўскладненняў і рэгулярнам монітарынгу. Чырвоўна прыпускаючы, дзе можа з’явіцца проблема, і включаючы функціі павторных спроб, тайма-аутаў і альтэрнатыўных рашэнняў, каманда стварае сістэму, якая восстанавляецца і продовжае стабільна працаваць.
Эканамія — гэта другая цэль. Прыгожыя віткі AI-сістэмы включаюць інфраструктуру, взаімадзею з інструментамі, затрымкі, людзкі час і таксы для модэляў. Ёй заставацься доступной трэба за дапамогою адзяйнага выкарыстоўвання рэсурсоў і чыткага розумення таго, скількі кошта кожны архітэктурны выбар. Дышчы модэль, якая вымагае больш павторных спроб і большай кількасці людзкай пераглядкі, можа лёгка коштаць больш, чым моцнейшы модэль, які рашае проблему з першай спробы.
Прыткая спіска пераконтроўкі перад кожным запускам. Чы можна назваць кожны з вышэйзгаданых варыянтов абякання, і чы ў кожнага ёсць адпаведальны і план дзеяння? Чы можа чалавек пабачыць, што агент зрабіў вчора? Чы існуе ліміт на выдаткі і глыбіню цыклу? Чы ёсць спосаб прыткаа выключыць агента? Якшо на будзь-які з гэтых пытанняў адпаведзенне «нет», сістэма застаецца толькі дэмаверсіяй.
Нарэшце, успех будзе ацэнювацца па тым, насколькі добра агенты падходзяць да існуючых рабочых процэсаў і якую конкрэтную цэннасць яны прыносяць. Гэта вымагае змены манталітэту — ад агентаў, якія выглядаюць добра самыя по сабе, да сістэм, якія расшыруюць можлівасці людзей. Якшо акцэнт застаецца на надзеямасці, розумный эканомічныя прынцыпы і патрэбах тых, хто іх вядома, штучны інтэлект у форме агентаў можа стаць надзеямасцым партнерам як для рашэння складных задач, так і для повсякдзеннай працы.
Супаўзялыя матэрыялы
- Практычныя прыемы: стварэнне сістэмы выкрычання шахрайства на агентнай базе, гатовай да выкарыстання ў працэўнай сэрвісе — Паследовы апіс практычных прыемаў: стварэнне такой сістэмы: контракты, перакрыццяі і месцы для коду, якія можна прыўязаць для команд, якія рэалізуюць гэты патэрн.
- Практычныя прыемы: Claude Code Agent Teams: практычныя вядомасці пра стварэнне команды — Паследовы апіс практычных прыемаў: Claude Code Agent Teams: практычныя вядомасці пра стварэнне команды: контракты, перакрыццяі і месцы для коду, якія можна прыўязаць для команд, якія рэалізуюць гэты патэрн.