Агентнае AI-тэсціраванне для SaaS: як мэтавыя агенты замяняюць крохкія скрыпты
Чаму наборы тэстаў SaaS увесь час ламаюцца, як мэтавыя AI-агенты даследуюць праграму і падладжваюцца, дзе ім не хапае і як правесці вымерны пілот агентнага тэсціравання.
Скорасць доставкі не ёсць тым, што заважае сучасным командам SaaS. Проблемы пачынаюцца тады, калі все наваколо продукту змінюецца быстрэй, чым працэсы, якія мяжу яго пераканаць. Команды, якія выпускаюць продукт колькісць разоў на дзень, часта вітрачаюць столькі ж зусіль на падтрымкі тэстаў, як і на ўдосконаленне іх. Тэсты зазвычай не напісаны па-глупаму. Проста працоўнае програма, якая тэстуецца, не застаецца статычной.
Кожны выпуск чагосьці змінюе: перапісаны компонент React, другі варыант парадоксу відвідальніка, прадаўцы айдэнтыкацыі, які змінюе сваі крокі для заходжання. Нічога з гэтага не ёсць дыфектам, пры тым гэта самэ тое, што разбівае аўтаматызацыю, пабудаваную на фіксаваных прыпусках. Гэта неадаптацыя адказвае за адзростанне інтэрэсу да тэставання за дапамою AI, чыяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя
SaaS рэдкасцю мае такую срэду, якую можна было б чыстаці назваць прыемліваемым прыладам. Двое кліентаў, якія выкарыстоўваюць аднойчыны код, можаць бачыць разныя планы цэн, працэсы автарызаціі, функцыі чыста правыя на доступ. План тэставання, які праходзіць на чыстай асяроддзі для тэставання, можа зазнаць няудачы ў супрацоўцы з настройкамі кліента, якія пашкодзяюць рэальную срэду.
Шчыльны тэмп выдавання апдэйтаў таксама ускладняе справу. За дапамогою развіцця на адной базе коду абнаўленні выдаваюцца дзесяткамі разоў, таму кожная рэгрэсія стае супернічаннем. Тым часам атмасфера наваколі змініцца без жадных змян з боку команды. Stripe перэрабоўвае свой прыемліваемы працэс платэжаў, Auth0 чыста Clerk мяняюць працэс абліковання, Salesforce змінюе адпаведзь API. Нічога з гэтага не ўжо багі ў вашам кодзе, але кліянты спрыймаюць гэта як частку продукту, таму стратэгія тэставання павінна ўрахоўваць гэта.
Тэставанне тут означае перакананне ў сістэме, якая постаўляе змяны ў разных сэрвісах, інтэграціях і індывідуальных налаштаваннях кожнага кліента, а не проста перакананне ў адной статычной прыкладнай програме.
Нестабільнасць і ненадзеяныя селектары
За нестабільныя тэсты часта караюць за недбаласць у ўтварэнні, хоча ў большай частцы прычына крыўціцца ў часавых параметрах самай прыкладнай программы:
- Пад высокай навантажэнні модальныя вікна показваюцца на калькі сотках мілісэкунд пазней.
- Адпаведзі з API прыходзяць у неспадзеванай парады.
- Фонавая задача завершаецца адразу пасля выканання пераканання.
- Праказа зноў прабуецца ў локальных умовах і ўспыхвае ў CI, дзе налаштаванні адрозненыя.
Нічога з гэтага не выкананацца ў кожны раз, і самэ гэта якраз і ўскладнюе ўтварэнне такіх сітуацый.
Такі інструменты, як Playwright і Selenium, за сваім прызначэннем ўсёвырачоўваюць. Яны выконваюць заданыя інструкцыі у заданай парадку, і гэта працюе добра, пакуль прыложэнне не стане неперакладальным. Точнасць немае значэння, калі інтэрфейс ўсё ўсё ў працэсе відрасунку або стан, які пераказваецца, яшчэ змінюецца.
Селектары становяць другую частку проблемы. Міграцыя фронтэнду, чы гэта пераход на новую бібліятэку компонентаў чы на цэлыя сістэмы дызайну, можа зменіць структуру DOM без таго, каб канечны корыстнік ўсё гэта пазнаў. Функцыя продовжвае працаваць, але дзесяткі выразаў XPath, CSS-селектараў і прыпускаў пра структуру DOM перастаюць падходзіць.
Глыбэйшыя затраты накапліваюцца паступова. Команды вітрачаюць больш часу на падтрымкі автаматызацыі, чым на ўдоўжэнне ўсіх можлівасцей, і доверлівасць да ціх рашэнняў зменшаецца. Калі інжынеры перастаюць верыць, што абыяковасці ёсць рэальнымі, проблемы проста спрычыняюць суперчанні пра тое, чыя ўдзеяная вінавата — продукт чы тэсты. Гэта зазвычай сігналізуе пра патрэбу змяні падходу да автаматызацыі, а не проста до скрыптав.
Што на самай працоўцы аб’ёмляе „тэставанне за дапамогою AI“
Гэты тэрмін стаў сваерадкам, і варта яго раздзеліць, адтолькі тэхнікі, якія ў яго складзецца, выкананыя разныя задачы. Агентнае тэставанне означае, што AI-агент тэстуе за метай: ён сочыць за экранам, прымечае рашэнні, дзеяе і пераканальваецца ў рэзультат, замест таго, каб павтараў запісаныя крокі. Гэта і ўражае яго ад іншых двух падхоўдаў.
Яго меры дозволенай сферы дзеяння патрабуе рэалістычнага аналізу. Агент аналізуе тое, што паказваецца на экране, на адказе структуры прыемніка і парадку дзеянняў, якія ён выконвае, але гэта не тое ж самае, што розумеўце бізнес-правіл. Ён можа заполніць калькулятор рэўізіі з колькіма крокамі, не ведаючы, што код-паказвальнік павінен даў зніжку, або што зменшэнне пакета паслуг у ходзе процэса павінна была змяніць канечную цэну. Адзінкі з дапамогай AI таксама не рашаюць гэтых проблем, адколі мадэль, якая дапамагае шырэй пісаць скрыпты, як і раней, заставляе людзей самых вяршыць, што ўважаецца правільным. Гэтая адпаведальнасць застаецца за командай, якая стварае продукт, незалежна ад таго, які з трохох падходаў выбраны.
Як агент тэстуе інако
Традыцыйная аўтаматызацыя пачынаецца з напісання скрыпты. Аўтаматызаваныя тэсты пачынаюцца з таго, што агент выучае прыкладненне. Перш чым запусканыя які-лібо тэсты, ён доследжвае продукт як новы корыстувач: пераходзіць па сторунках, запоўнюе формы і пераходзіць па лінкі. Ён не зберагае гэтыя взаімадзеі як серыю крокаў. Ён стварае мадэль продукту, у якой сторункі ўособліваюцца як вузлы, а дзеянні, якія іх спаўнаюць, — як рэшткі; гэта больш супадае з жывой картай, чым з скрыптам.
Гэта мае значэнне, таму што агент не пераглядае сесію з вчора. Пад час запуску ён павтарае адны цыкл:
- Абсалютвае тэкушчы стан прыкладнення.
- Выбірае дзеянне, якое прыбліжае да цялі тэсту.
- Дзеяе на паўгодзе гэтага выбору.
- Пераканаецца ў выніку.
- Павтарае, пакуль не будзе досягнута мета.
З’являецца, прымець рашэнне, дзеяе, перакананне, павтарэнне: гэта цыкл, які выкананы агенты QA ўзьмісцы пры працэ са програмай. Яны ствараюць «карту», доследжваючы саму програму, перашырваючыся па сторунках і прыменяючы разныя варыянты взаімадзеяння, а пасля выкарыстоўваюць знанні пра распашчытаныя модэлі продукту, каб стварыць тэсты на адной з гэтых «карт».
Няма ручнага кодавання і няма нестабільных селектараў, таму што агент працуе на адной з дабытых програмай станоў. Калі змініцца рабочы працэс — будзь то перэназначэнне класу ў элеменце div, іншая кнопка чы перадзялённы форма — модэль таксама апдэйтуецца разам з програмай. Такім чынам, пасляўшыя запускі будуць відображаць продукт у тым стане, у якім ён зараз, а не такім, якім быў калі спачатку пісалася автаматызацыя.
Людзі не знікаюць з гэтага працэсу, але іх час пераходзіць іншым кірпутам. Дзеяныя робочыя практыя ўсё яшчэ выклікаюць патрэбу ў людскіх пераконтрах, такіх як расчыткі вярнення грошаў, податкі, правіла цэнаваць і апрацоўка платэжаў, адколі яны залежаць ад бізнес-кантэксту, які не можа зрозумець ніякі автаматызаваны тэстэр. Для багато команд пераход выглядае так:
У замен на гадзіны, якія трэба ўсвойці на падтрымку автаматызацыі пасля кожных змян у інтэрфейсе, інжынеры можуць расшырыць охват тэстаў і рашыць рэальныя проблемы, якія выклікаюць патрэбу ў розумэнні продукту.
Адкрыцце пілотнага праекта
Застосавленне агентных тэстаў да всего продукту з першага дня можа падрыхтаваць адсутнасць довер'я да яго. Лепшы падход — пачаць з бізнес-важлівага працэсу, які мае вялікія збыткі, калі ён зламаецца, такога як працэс адключэння, стварэння абанкавання чыя-небудзь працэс, які постаўляе постацейныя змяны.
Пілотны праект мае малая значыць без чаго-небудзь, з чым можна было бы яго парабяліць, і тут важлівы тры аспекты.
Адэкватная базовая лінія. Замерайце час трэнду зворотнага розвітку за дапамою стоп-годзінніка, а не простаўляйце здогадкі. Такія заазначэнні, як "зворатны розвітак трывае прыблізна тыдзень", не лягаюць у вагу.
Рэальныя парады. Адрабатавайце пілотны праект паралельна з ныям ручным або запісаным процэсам, на тым самым кандыдаты на выпуск, так каб два стоп-годзіннікі відлічвалі ідэнтычны обсяг работы.
Праграма "так/нет", узгаданая загадзя. Даговорыцеся ўсё раней, чым прыняць рашэнне, а не на заключнай нарадзе, якія рэзультаты параджуць пашырэнне: выявленыя багі, якія моглі б потрапіць у продакцыю, або гадзіны тыпавання, заошчаджаныя за рахунак базовай лініі.
Пілотны праект без базовай лініі не можа праспаць, а таму і не можа нічога паказаць. Калі адны ўважна выбраны процэс перавыпанае праграму, пашырэнне ўпроваджэння несе значна меншы рызык.
Уснароджэнне
Продукты тыпу SaaS развіваюцца так шыбка, што аўтаматызацыя, якая апыягчаецца на фіксаваных прыязначэннях, неабходна парадуе. Агентны тэсты прастаўляюць іншую ідэю: прыстосавацца да змян уместо таго, каб застацца застарэлымі разам з імі. Найчыстасцей спосаб яго ацэнкі — глядзець, як ён працуе ў вашай сабее прыкладнай програме.
Супаўзяныя матэрыялы
- Што зменяецца з агентнымі тэстамі для QA і дзе яны яшчэ не дастатковы — Скрыптаваныя і самовылечваючыя наборы выключаюцца, калі змінюецца інтэрфейс. Агенты браузера, керованыя намерамі, зменшуюць патрэбу ў тыямоўцы, але рэгулюючыяся прабегі і незвычны інтэрфейсы яшчэ трэбуюць атэнцыі.
- Ornith-1.0: Модэлі кодавання з адкрытымі параметрамі ад 9B да 397B пад ліцэнсам MIT — Чаго прагне выпуск Ornith-1.0 на тэстах SWE-Bench і Terminal-Bench, як ён трэнуе модэль з рашэнням і што гэта можа значыць для агентных модэляў кодавання.
- Generative AI проты Agentic AI: Чаму яны насправдзе разныя — Generative AI адпавядае на запыткі, тады як Agentic AI дасягае цэлей праз розныя крокі. Дазнаёмся, як разлічаюцца доверлівасць, рызык і цэннасць, і як адразніць справжні агент ад маркетынгавых тэхнікаў.
- Ператварэнне мільёнаў дакументаў у граф агентскых ведамасцей: гэта тое, што я — практычны паследоўны кароткі відказ пра ператварэнне мільёнаў дакументаў у граф агентскых ведамасцей: контракты, перакананні і шаблоны коду для команд, якія впрыменяюць гэты патэрн.
- Практычныя заўважэнні: што значыць GPT-5.5 для агентаў AI і адпаратнай падтрымкі — практычны паследоўны кароткі відказ пра практычныя заўважэнні: што значыць GPT-5.5 для агентаў AI і адпаратнай падтрымкі: контракты, перакананні і шаблоны коду для команд, якія впрыменяюць гэты патэрн.
- Агентны ўпрацоўкі дапытканага прыкладнага програмнага забезпечэння: як зноў зробіць архітэктуру відной — Як чырвоныя-кодаваны прыкладнік на C# і TypeScript з 27 тысячамі ліній коду быў расплутаны за дапамогою агентаў: спачатку кантракты, API для тэставання у фармаце „чорнай скрынкі“, тыпы домэна, а таксі команды агентаў-програмістаў і агентаў-рэвізораў. —