Што агентнае тэсціраванне мяняе для QA і дзе яму яшчэ не хапае
Скрыптовыя і самааднаўляльныя наборы тэстаў ламаюцца пры змене інтэрфейсу. Браўзерныя агенты, арыентаваныя на намер, скарачаюць падтрымку, але рэгуляваныя сцэнарыі і нестандартныя інтэрфейсы патрабуюць увагі.
Крыніцы: The Rise of Agentic Testing
У тэставанні з вікорытам разумнага агента браузерны агент отрымае мэту тэсту і сам выконвае адзін за адным неабяжлівыя крокі. Тэставальнік опісвае жаданую працэю сістэмы і крытэрыі успеху, не пішучы коду для кожнага кліка. Кодаваныя наборы тэста зламваюцца, калі структура DOM змінюецца, а інструменты самавылечэння проста лагодзяць зламаныя способы вылучэння элемента перад тым, як зноў запусціць той самы радок дзеяння. Агент на кожны запуск плануе свой шлях занова, таму змяны ў інтэрфейсе больш не значаць лагодкі спосаба вылучэння элемента. Выбір таго, што ўважаецца правільным, выклікаецца не ў магчымасцях агента, і гэта застаецца задачай таго, хто адпавядае за выпуск продукту.
Чаму тэставанне стало сложней
У 2019 годзе з’явілася дзівная сітуацыя: абсалютна бездыягонныя зеленыя працэсы продовжвалі выдаваць кантэнт з безканцовым прасуваннем, які павтараў тыя ж дзесяць-дваццаць радоў пасля таго, як корыстувальнік перайшоў на другую старонку. Большасць людзей, якія кілька гадоў працавалі над контролем якосці, можа рассказаць падобную історыю.
Тэставанне вядзе пад тыччую ўжо калькі часу, і які-ткі час команды проста латалаі проблемы, не спытваючы, што змянілася. Змянілася калькі рою рэчаў. Шырокамасштабныя выпускі сталі быстрэйшымі. Інтэрфейсы перайшлі з статычнага HTML на компаненты React, якія перэрысвяцца з кожным апдэйтом стану. Фіч-флагі значылі, што палова корыстувачаў могла б бачыць экран, якога тэставальны комплект ніколі не бачыў.
„Агентныя тэсты“ сталі адпаведзеннем промышленасці. Тое, што будзе пасля, не мае на меце прабаваць прымусіць вжываць гэты тэрмін. У ям разглядаецца, чаму тэставанне стало сложнейшым, што на самай працэ насправды павінна значыць слова „агентны“, чаму гэта мае значэнне для тых, хто ведае працу, і дзе ён не дастае. Ён адпаведзяны для тых, хто пішае і пераглядае тэсты, або для тых, хто несе адпаведнае адпаведнасць, калі ў 2 гадзі ночы ўсё ламаецца.
Шырокаскапны выпуск
Тыдзенны цыкл выдавання залішаець час на падтрымкі тэстовага набора. Якісцінаванні ўжо кожны дзень не даюць такой можлівасці, а калі команда выдае продукт як толькі з’яўляецца PR, набор тэста не можа чакаць на чысткі ў пятніцу. Ён павінен быць готовым да выкарыстоўвання ў працоўнай сітцы ўсё час.
Складнейшыя інтэрфейсы
Складныя інтэрфейсы стаюць все складнейшымі для керавання, особліва калі компаненты генеруюцца швытка. Селектар, які працаваў у ручна створанай форме, можа перэстаць працаваць тады, калі MUI’s Autocomplete замені яго, адтолькі як DOM, поведанне фокусу і парадак запуску змянююцца пад яго вплывам.
Расходы на адтрымкі
Есць ўсё ж такі расход, пра які людзі рэдка гавораць:
- Тэст на Playwright, які праходзіць локальна, але не праходзіць у CI, таму што іконка загрузкі застаецца відным на 100 мс дыяўальней.
- Локейтар, прычалёваны да трэцьяго элемента флекс-кантэйнера, які перэстаў працаваць, калі дызайнер дадаў ўсьмо ўсьмо адну кнопку.
- Палавіна часу, выдзеленага на спрынт, была запрацавана на адкорэктаванне селектараў пасля таго, калі гэта называлася "толькі чысткай інтэрфейсу".
Заўсёды знаходзіцца хтось, хто выконвае гэю чыстку, хоць гэта ніколі не было яго працэйма.
Інстынктыўная адпаведзь — напісаць ўсё больш тэстаў. Адно гэта не дапамагае падняць адпаведнасць. Больш скрыптаваных тэстаў значыць больш таго, што трэба падтрымваць, і кожны новы працэс стае ўсё больш аўтаматызацыяй, якая должна перазстаць пасля наступных змян інтэрфейсу, што, верагодна, зробіць яе застарэлай. У певны момент ствараеся вражанне, што набор тэстаў працюе працоўна проты вас.
Што значыць "агентны"
Гэты тэрмін вжываецца так абэрнуто, што падае прыказка яго значэння пры далейшым аналізе.
Тэст на асабліванні выконваецца па наборэ інструкцыяў у фіксаванай парады. Калі абставіны адхіляюцца ад гэтага плану, тэст стае беспарадным. Автаматызацыя з можлівасцю самапрацоўкі павышае яго эфектыўнасць, вылечваючы несправныя элементы або прабуючы зноў клікнуць у разы, калі гэта неясна, але яна все равно выконвае загадзя напісаны скрыпт.
Тэставанне з вікорыстаннем агентаў адрозніцаеся. Програмныя агенты сочыць за станам прыкладнення і самі адлучаюць, якія дзеянні трэба выконаць, без нябудзькага нагляду за кожным крокам. На практыцы тэставальнік задае цілі, але не працягвае кожную взаімадзею. Уместа дзесяткаў ліній коду Playwright або Selenium, запрос можа прабачыць агенту пераканацца, што існуючы кліент можа змяніць спосаб адплатаў, не змінюючы свой адрэс.
Гэта не значыць, што агент добра разумее продукт. Гэта значыць, што у агента ёсць достатнькі кантэкст, каб дзеяць у межах яго. Гэта не можа заменіць інжынерную дапамогу. Агент можа завершыць процэс пакупкі, не паведаміўшы пра тое, што зніжка для вярных кліяў так і не была застосавана, або пазначыць законны замовак на суму 0,00 долера як памылку у цэнавах, калі на самай працэ ўсё было завдака выкарыстоўанага подарунковага карточкі.
Таму людзі яшчэ і даўай вяршаюць, як выглядае правільнае рашэнне, шукаюць крытычныя крайнія прыклады і адлічваюць, чы розбій ёсць дыфектам, чы проста неправым разумеваннем таго, як праграма павінна дзеяць. Паўсядневная работа таксама зменшваецца: менш часу падае на напісанне, а больш — на перагляд таго, што запропанаваў агент, і на адлічванне, дзе патрэбна большая падтрымка або болей дакладны аналіз.
Змены ў інтэрфейсе
Змены ў інтэрфейсе ўжо давно ўваходзяць у чысле найбольшых проблем. Змена назвы кантрола з „Продазваць“ на „Наступны“ або замена выпадаючага спісу на комбокс пад час перагляду на адпаведнасць адыходам людзей можа спрычыніць серыю неудач, нават калі сама прыкладна програма працюе нормальна.
Дзеязе платформы для тэставання AI падходзяць да гэтага інакш. Яны сочыць за рэальнымі дзеяннямі корыстувачаў і ствараюць мадэль экрана за экранам, якая паказвае, як люды пераводзяцца праз прыкладную програму, укладаючы ў ўвагу функціі кожнага экрана чы працы. Тэсты пасля гэтага ствараюцца на адной з гэтых модэлей, а не на нестабільным кадры з DOM.
Самыя тэсты запускаюцца на адвярсе намеру. Тэст пішацца як тэза пра тое, што павінна выйсці, і шта лягае ў основу правільнасці, а агент пераводзіцься праз інтэрфейс як рэальны чалавек, клікаючы тут-там і парабяляючы рэзультаты з зазначанымі аспектамі.
Нічыя з гэтых мераў не выкарыстоўвае людзей як замену для іншых. Члэны команды яшчэ і так выбіраюць, якія працэсы ў рабоце маюць найбольшое значэнне, візначаюць, што значыць „правільна“ для бізнесу, і аналізуюць тыя аспекты, якія выкалікаюць патрэбу ў знаннях продукту, а не толькі знаннях інтэрфейсу.
Як змінюецца работа
Калі на рэмонт зламанай аўтаматызацыі вылучаецца менш часу, сама праца змінюецца. Гадзіны, якія раней былі спэцыяваны на вылечэнне проблем у скрыптах чы адрэдагаванне ўразламных кодаў, можна перакрыць на расшырэння сферы дзеяння, аналіз рызыкаў і выявленне проблем, якія аўтаматызацыя сама не можа знайсці.
Стварэнне точных селектараў Selenium чыя запамятованне API-ў Playwright больш не ёсць рэдкай навыком. Навыкам являецца суджэнне. Гэта значыць ведаць, якія шляхі дзеяння корыстувальніка заслуговуюць на найбольшую увагу, разумець, дзе неудача стварае рэальныя бізнес-рызыкі, і з’явіцца, калі створаны тэст тэхнічна праходзіць, але не врачае таго, што мае значэння. Гэтыя аспекты завжды былі найважэлівейшымі ў тэставанні, а команды проста ніколі не мелі на ўсё гэта часу.
Гэтыя змяны таксама змінююць значэнне якосці для менеджэраў інжынерных каманд. Пісанне статыстык пра адбытыя тэсты чыя напісаны скрыпты ніколі не было надзеяным показнікам доверы, а большы набор тэстоў не гарантуе лепейнага пакрыцтва, особліва калі палова з іх нестабільныя чыя ігнаруюцца пасля змян у інтэрфейсе. Для гэтых цэлей лепшая падходзяць такія запытанні:
- Як шыбка можа быць пераканана выпускная версія?
- Наскількі впэўнена команда перад выпускам?
- Скількі будзе коштаць падтрымка гэтага впэўнення з часам?
Дзе ён не падае
Тэставанне з вялікімі агентамі не заменяе ўсіх форм автаматызацыі, а выдумкі пра тое, што ён такі, заводзі да нашкоды. Выдзеляюцца тры прыклады.
Рэгулююцькія асяроддзя. У сферах охоры здароў’я і фінтэху выконанне часта павінна быць дэтэрміністычным, з аўдытнымі следамі і доказамі таго, што тэст працуе аднакова праз кожны запуск. Адаптатывная поведынка можа стварыць суперсечанні з гэтым. Працэсы, якія ніколі не павінны змініцца, трэба рэалізаваць за дапамою чыста запісаных крокаў, якія гучна выдаюць сігналы пра будзь-якія змяны і залічваюць чытальныя следы дзеянняў і прычын агента. Хорашая платформа дазволяе командзе задаць, насколькі кожны тэст можа адаптавацца.
Безпека працы. Мало каманд жадаюць, каб автонамны агент практыкаваўся ў рэальным сераўе з правамамі на выданне замоваў, рэдагаванне дакументаў кліянтаў чы стварэнне тэстовых дадзеных у працуючай сістэме. Большасць організацыяў рашае гэтыя проблемы за дапамогою ізольаваных тэстовых сераў, тымчасовых абліковаў і строго контролюемых прав.
Інтэрфейсы, якія трудна чытаць. Аплікацыі, створаныя на адной з тэхналогій кідання-зняцья, атрыбутаў канваса чы сільна пераспектаваных внутрашніх процэсаў, не завжды даўаюць агенту неабходныя інструкцыі. Цялевая аўтаматызацыя і людская нагляднасць таксама дапамагаюць у гэтым.
Разныя проблемы тэставання выклікаюць патрэбу ў разных інструментах, і гэтыя тры не падходзяць для тэставання з агентамі, прынеймна наразе.
Пачатак работы
Галоўная проблема заключаецца у тым, што програмнае забезпечэння выходзіць у свет быстрэй, чым аўтаматызацыя можа за ўсём стаць, і агенты QA змінююць гэта становішча. Інжынеры больш не пішуць скрыпты для кожнага крока. Яны візначаюць мету, пераглядаюць прыказы агента і втручаюцца, калі патрэбны людскія рашэнні, тады як сістэма прыстосоўваецца да таго, што будзе рабіць інтэрфейс.
Тыя, хто расследуе гэты варыянт, не должны пачынаць з замены всей сістэмы. Выберыце бізнес-крытычны працэс, які часта змініцца, напрыклад процедуру платэжа або адкалікватавання, і парабяруйце зусілля на тырджоўку пры калькі разоў выданняў. Гэта дае рэалістычную карціну таго, чы рашэнне падходзіць командзе.
Частыя запытанні
Ці гэта тое ж самае, што самовылечэнне? Не. Самовылечэнне рэмонтуе тэсты, напісаныя як скрыпты, тады як тэставанне з агентамі ставіць мету і не следуе жадным загадзя напісаным скрыптам.
Чы гэта заменяе інжынераў QA? Не. Гэта скарочвае працу па тэставанні, але інжынеры як і раней візначаюць бізнес-правіла, пераканальваюць рэзультаты і дакладна аналізуюць неудачы.
Можна яго запускаць паўз чынны комплект тэстаў? Так. Большасць команд спачатку запускаюць аба варыянты і па часе паўстанавляюць співвярненне зусіль па ўтрыманні.
Чы ён можа выкорыстоўвацца для процэсаў, дзе важна са абавесцю даглядаць за супакоўненням? Так, за наявнасці адпаведных мера прымусу. Такія процэсы можаць выпалоўваць чысткія крокі з повнымі адлікамі дзеяння агента, тады крытычныя тэсты застаюць дэтэрміністычнымі і падлягаюць аўдыту, а рэшты тэстаў можаць свабодна адлічвацца.
Супаўязаныя матэрыялы
- Ornith-1.0: Модэлі кодавання з адаптабельным вагам ад 9B да 397B пад ліцэнсам MIT — Чаго прагне выпуск Ornith-1.0 на тэстах SWE-Bench і Terminal-Bench, як ён трэнуе модэль з рашэннямі, і што гэта можа значыць для агентных модэляў для кодавання.
- Практычныя аспекты агентных аналітых: Slackbot, сэмантычны слой і выбор між купкай і стварэннем — Апаведанне датасайента пра стварэнне Slackbot, які можа співаць з дадзеннямі, ўпроваджэнне яго, масштабаванне сэмантычнага слоя, купка паслугі Omni і прычыны, чаму было важліва ўсвоўчэнне новых навыкаў.