Чаму агенты праходзяць усе афлайн-ацэнкі і ўсё роўна ламаюцца ў прадакшне
Шэсць відаў дрэйфу непрыкметна стараць набор ацэнак. Чатырохвосевая ацэнка трас і штотыднёвы цыкл кластарызацыі і пераносу трымаюць CI у адпаведнасці з рэальным трафікам.
Крыніцы: Why Your Agent Passes Every Eval and Still Fails in Production
Уявіце агента службы падтрымкі, які завершыў перагляд сваёй пакетаў CI: 47 сцэнарыяў, чатыры крытэрыя, усе показаныя як «зеленые», таму сістэма парадзіла ўпрацоўванне. Чэрэз калькі недзеў пасля запуску ён прызначыў сумы вярнення грошаў, якія адрозніліся у дзесяць разоў. Сістэма суперасходзілася сама са сабою з аднаго крока да іншага. У аднам з логаў ёй паказаліся даныя іншага кліента. Але калі пераглядаліся неудачныя дыялогі, кожны з іх усё раве меў высокі бал за адпаведнасць крытэрыям у кожны крок. Усе роўна кожны дыялог завершыўся невдачаю для кліента. Аналіз парадзіў запуск, але да тэх пэўна часа доверлівасць да сістэмы вялікай меры вярнулася.
Крытэрыя не ўсё
Першым інстынктам ёсць звалічваць віну на правіла аналізу. Лепшы падход — глядзець на тое, што у марцы все было нормальна, а ў квеце ўжо стала застарэлай, адколі працэс віробніцтва ніколі не зупіняўся. Набір даных для аналізу — гэта фотакадру, а віробніцтва — рэчка. Рэзультаты аналізу не выкладаюцца у працэс, таму як даны з рэальнага працэсу выкладаюцца. Кожна новая версія почынае «старэць» гэты набір з таго ж дня, калі ёй даюць старт, і як толькі новыя формы нештахованасця не прабіваюць працаваць у цім набірэ, розбіжнасць між успехам у тэставанні і нештахованасцю ў рэальных умовах не можа быць віпадковасцю. Гэта вынікае з самай логікі.
Дастаткова колькасць такіх інцыдэтаў ведае да аднаго вывару: трэба аналізаваць даны з рэальнага працэса, а не тэставальныя кейсы, створаныя спецыяльна. Тэставання у офлайн-рэжыме все ўсё застаецца корыстным етапам перагляду змян, але яны ніколі не можу быць ўсім, што стоіць між змянай і выпускам версіі, адколі тое, што яны вімерваюць, знікае ў момент фіксаціі стану. Шэсць відоў змян усталенага стану поступова паслабляюць будзь-які набір даных для аналізу, пры чым кожны з іх дзейнічае сваім тэмпам:
- Змена структуры набора дадзэн: усі перакананы прыклады праходзяць, тады калі ў рэальных умовах з’яўляюцца інтэнціі корыстувача, якіх ніколі не было ў наборэ.
- Змена структуры інструменту-API: мокіі вяртаюць той самы фармат дадзеных, тады калі прадаўцы зменілі схемы або коды адзінакоў.
- Змена крэатываў запытанняў: крытэрыя оцэнкі былі зафіксаваны для версіі v3, тады калі ў рэальных умовах вікорыстоўваецца версія v17, а крытэрыя яшчэ оцэнююць версію v3.
- Змена структуры корпуса дадзэных: індэкс быў зафіксаваны час будовы, тады калі ў рэальных умовах індэкс удвоіўся, і той самы запыт цяпер падае на новыя фрагменты дадзэных.
- Змена распадзелу корыстувачаў: тэставыя даныя былі створаны вручную, тады калі рэальны трафік зовсім не супадае з ямі.
- Змена эфектывнасці крокаў агента: кожны крок успевае у 95 процэнтах случаў, пры тым вісім крокаў паспяль даюць апошню эфектывнасць адносна 66 процэнтаў.
Заморажванне набора дадзеных для анаізу значыць заморажванне гіпатэзы пра тое, што будуць рабіць корыстувальнікі, як будуць рэагаваць інструменты, які запыт застосуецца і што будзе прадстаўлена сістэмай анаізу. Чырвоны месцы пасля гэтага змініліся на разныя значэнні, і крытэрыя, якія раней давалі позытывны рэзультат, цяпер ацэнююць сітуацыю, якой агент больш не ўжываецца.
У самых крытэрыях на самай працоўцы няма ніч пакладзенага. Яны проста сталі застарэлымі, як тэставанне, у якага цэльная функцыя была перапісана пад яго: пазначаецца як «зелены», але ніч не захоўвае. Для програмнага забезпечэння рашэннем являецца чыстае тэставанне новай функцыі. Для агентаў рашэннем являецца ацэнка рэальных дадзеных. Тады адна-едынственная дэфініцыя крытэрыяа выпалюе два завадзі: яна служыць крэткам для анаізу дадзеных па версіях і ацэнкуе рэальныя дадзеныя як атрыбут на рэгіянальны лэвэл. CI задае мінімальны стандарт, рэальная ацэнка сочыць за розвіццем сітуацыі, а ў кожны тыдзень дадзенневы набор прабірае тыя дадзеныя, якія ўжо пазначылі крытэрыя.
Як проявляецца кожны зсув і як яго вылечыць
Зсув набора дадзеных. Пад час запуску колькісць дадзеных задаў кто-то адзін, а з тэх пачатку корыстувальнікі прыносіць інтэнты, якіх ніхто не прыпускаў. Рэйтынгі ніколі не зменшаюцца, таму што дадзеныя таксама не зменшаюцца. Следзіце за рэзультатамі па афлайн-рэжыме, якія застаюцца стабільнымі пра месцы, тады калі скаргі з рэальнай працы становяцца ўсё разнае, а інжынеры не можуць павтарыць большасць аналізаў на наборэ тэставання. Кожны тыдзень берыце прыклады неудачных траекцый, класіфікуйце іх па сегментам, інтэнтах і рэйтынгах, а 5-10 процэнтаў самых складных пазначыце версіяй, перш чым дадаць іх у набор. Кожная такая павышаная траекцыя становіцца захопам працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы працы
Змяненне схемы Tool-API. Сістэма CI выкарыстоўвае макет аб’екта, і ў які-небудзь вівторак рэальны канец-пункт змініў сваю схему, фармат памылак або правілы обмежэння частоты запытоў. Агент прабуе зноў, цыкл выключаецца, і агент стварае пераканлівую адпаведзь, але статус CI застаецца „зеленым“, таму што макет продаўляе вяртаць даны з вчорашньага запыту. Зростаючы час адпаведзі і колькасць прабоўкаў, крытэрыі адпаведзі, якія яшчэ застаюцца паспелымі, і зростаючыя віткі за кожны успех — гэтая сігналы. Неабходна стварыць сваеі збірнік крытэрыяў для успеху запытоў да інструментаў у рэальным часе, каб зламаны запыт быў паказаны ў логах разам з зламанай адпаведзю. Макеты дапамагаюць выявіць рэгрэсіі, якія вы створылі, а рэальныя крытэрыі адпаведзі — тыя, якія створыў постаўчык.
Зміна параметра запіту. Версія запіту v17 была запушчэна у пятніцу, тады як крытэрыя яшчэ адражаюць тое, што было важнае ў версіі v3 у люты. Агент ацэніваецца на адной занятый кантракце. Хорашы пазнака — гэты старшы інжынер, які чытае дзесяць аналізаў, не пагадзіваецца з суддзёй у шасці случаях і не можа поясніць чаму. Неабяжна адправіць перасмотраць крытэрыяў разам з перасмотраць запіту, спрацаваць іх як тэст кантракце і сочыць за згодай суддзі і чалавека на невялікай групе дадзеных для калібравання, каб было можна зазначыць, калі крытэрыя застаюцца позаду.
Змена структуры карпуса для адаптавання. У марцовай ацэнкае сістэмы адаптавання было пераглянуто 12 000 дакументаў з аднаковым размерам частак. Да мая колькасць дакументаў у індэксе вырасла да 38 000, змена спосабу адбудовы частак паўлічыла ўпорадакванне іх, і той самы запіт стаў даходзіць у іншы рэгіон. Генератор вярна будуе на тым, што толькі прыходзіць, таму показнік адпаведнасці да аўтэнтных дакументаў застаецца на роўні 0,94, нават калі аўтэнтны матэрыял некарэктны. Сімптамам являецца тое, што корыстувачы сцвярджуюць, што бот менш корыстны, чым у пярэднім квартале, пры тым як крэтэрыі генеравання застаюць незменнымі. Ацэнка трэба выконваць па шарах: крэтэрыі адбору дакументаў, такія як рэлевантнасць у кантэксце і прыналежнасць частак, выявляюць змены ў індэксе раней, чым крэтэрыі генеравання могу іх заслоніць. Зніжэння рэлевантнасці праз стабільную адпаведнасць да аўтэнтных дакументаў вказывае на проблемы з сістэмай адбору, а працэс генеравання — на проблемы з самым генераторам. Одна перапрацоўка заменяе тры дні зусіль з адгадвання.
Адаптацыя судды даўжынай паведамленняў. Тыя, хто стварыў гэты набор, або пісалі прыклады вручную, або бралі іх з першага месца трафіку. Рэальныя корыстнікі пазней прыносяць слэнг, сумешаныя мовы, дугія запіты, скрыншоты і серыі наступных запытанняў, якіх набор ніколі не бачыў, таму судды, прыладжаныя да апрантаваных дадзенняў, ацэнююць жывыя размовы набліжнае да таго, як бы зробіў чалавек. Якшча падчас празрыхлага адзінаковага перагляду следы вырабоцтва адрозніцца ад судды на 15 пунктав або больш, інжынеры перастаюць даваць доверлівасць крытэрыям і вяртаюцца да чытання неапрантаваных следаў. Налагоджуйце судду на прыкладах з рэальнага вырабоцтва, а не на наборэ дадзенняў, і вядомайце адхіленне судды ад чалавека як самастоятную метрыку.
Складванне балав. Падзеймім, кожны крок дае 95 процэнтав, а сесія включае восьмі вызовы інструментаў. Паднесім 0,95 да восьмага ступеня — рэзультат будзе 0,66, таму прыблізна две з трох сесій заканчываюцца структурнымі праблемамі, хоць кожны крок выглядаў правільным. Крытэрыя ніколі не выконвалі множэння. Сільныя показнікі за кожны крок паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаюць паўстаю
Тое, што ўсе шасць елементаў маюць спакан, — гэта час. Кожны з іх з’являецца пасля таго, як набор дадзеных застыў, а застойны набор не можа містыць гіпотэзу, якой ўсі ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё
- Фактычная адэкватнасць: чы робат застаўся прыяўненым да з’явілога кантэксту чы выдумваў рэчы. Гэта адкрывае проблемы з адзысканнем інфармацыі і змянамі ў наборах дадзеных на рэвалюцыі адпаведных адпаведзенняў.
- Прыватнасць і безпека: чы былы выкрываны персональныя даны, чы былы перакранены межы дазволенай дзеяльнасці чы чы робат падкорыўся небяспечным запросам, якімі ўжо трэба было бы адмовіцца, што адкрывае проблемы з правамі на ведзенне дзеяў і адмовамі ў ўжыцці неабходных заходаў.
- Следаванне інструкцыям: чы робат выконваў усіх умовы чыннага сістэмнага запросу, які змяніўся, калі версія запросу выйшла на рэвалюцыю v17, а ягоя дзеяльнасць засталая старой.
- Выкананне плану: чы робат выбраў правы інструмент, у правым парадку, без зайвых вызоў чы тупікаў, што адкрывае проблемы з нарастаннем складнасці крокаў і змянамі ў інструментах працы ў паўзе вызоў.
Чатыры вясі заняты чатырамі відамі рэгрэсіі і спаўнююцца ў адну сумарную структуру. Калі сумарная структура опускаецца па траеце, вясі паказваюць, які спосаб дрэйфу выйшаў у дзейнасць, і паколькі тыя ж вясі працуюць у CI і на жывых траецях, слоўнік дыягностыкі збігаецца ў обох месцах.
Закрыцце ціклу
Скорачэнне разліку — гэта працэс работы, а не функцыя, і ён складаецца з пяці крокаў:
- Агрупаваць неякісныя траеці ў паведамленні з назвай, таму што ніхто не можа аналізаваць просты спіс з 800 неякасцей.
- Оценіць кожную групу за шкалай чатырох вясей траеця і дадаць короткую прыметку пра тое, як яе паспрацаваць сёння.
- Пераказаць тры-дзесяць тыповых траецяў з кожной групы ў афлайн-набор, пазначыўшы іх тагамі маршруту і пазначкамі рубрыкі.
- Паўтарная пераценка: наступны запуск CI оценяе даданыя елементы за правіламі оценкі з рэальнай сіткі, таму пазнейшыя змяны па тым маршруту не можуць вернуцца назад.
- Неабяжна оптымацыя запросу на адказ на расшырэнны набор даных, пры чым паследнія павінны паспакоўваць усія вакансіі ў CI пры выкліканні продукту.
Для продукту, які актываўся, гэта трэба робіць ўсё жыццё, або чашчэ пад час складнага запуску. Статычны набор даных, які старэйшы за чверць года, рэдка калі падобаецца рэальнай працэздатнасці, а для агента з высокай швальнасцю змены стаюць віднымы ў тыя два-тры недзелі. Кожны такі інцыдэнт залішае пасля сябе тэст на рэгрэсію, які ніхто больш не павінен пісаць.
Віткі, якія трэба прыметыць
- Гэты цыкл адбягае да збільшэння колькасці операцый. Расчытанні спанаў, кластэруванне і крок падвышэння рангу — гэта больш схожа на механізмы, чым проста папка з рэзультатамі pytest eval. У вялікай меры гэта робіць набір тэстаў на рэгрэсію ўсё складнейшым, і новы розгортанні можа вестыцца толькі з відстэйканням і офлайн-рэйтынгамі, а цыкл дадаецца пазней.
- Суддзя, які самі налагоджуюць ся, патрабуе сабе захавання. Рубрыка, налаштаваная па рэальныя даны, можа зайсці там, дзе ніхто гэтага не планаваў, таму трэба заставіць невялікі набор дадзеных, пазначаных людзьмі, і задзвоніць аб прынцыпе, калі суддзя адхіляецца ад яго больш, чым адхіляюцца адзін ад другога людзі.
- Оцэнкаванне, якое прыкладзваецца да следаў, коштае больш за кожную еўраніцу шуму, чым офлайн-оцэнкаванне. Чатыроосьная рубрыка для 30-секунднага следа ўсё дорожэ, чым оцэнкаванне за кожны раунд у короткай справе, і ў яе больша варыябільнасць. Выбірайце прыклады на адпаведнасць сігналам аб бядах, а не аднойчына, і размясціце недорогі класіфікатор пры вартым суддзе.
Короткая версія
Набор для адміністрацыі пачынае «старэць» з моменту сваёй дастыні, і большыя размеры не можу выправіць сітуацыю з фіксаваным станом. Неабяжнае оцэнкаванне — гэта аналіз тэкушчага стану, а не зафіксаванага кейса. У сістэмах CI і пад час рэальнай працы выкорыстоўваеце адну і тую ж шкалу оцэнкі, адзначаеце кожную траекторыю за адпаведнасцю правілам, безпекай, дотрыманнем інструкцый і выкананнем плану, групаваеце неудачы і ўтыкайце іх знову ў набор для афлайн-аналізу ў тыжневым рэжыме. Перамога ў афлайн-тэстах ёсць неабходная; перамога пад час аналізу рэальных траекторый — гэта тое, што насправды захоўвае корыстнікаў. Підготавлены набор ёсць толькі початком, а рэальныя даны — гэта той набор, які вы завжды прагледзеце.
Супаўзвязаныя матэрыялы
- Адміністрацыя агентаў з ботам для паціявання: рэзультаты проты траекторыяў, брамы і параметры pass^k — прыклад аналізу агентаў пад час бронівання паціявання: осі рэзультатаў і траекторыяў, дэтэрміністычныя брамы перад ваговымі оцэнкамі, 2x2 матрыца і разлік параметраў pass@k і pass^k.
- Перш чым АІ-агент павінен працаваць у працоўнай асяроддзі: контракты, графы прызнаń, тэставанне ў тэневым рэжыме і канаркі — Працэс выпуску АІ-агентоў, які спачатку атрымлівае доказы: контракты з чысткім апісаннем задач, сцэнарыі з відстэжэннем стану, введэнне бягунковых сітуацый, межы нявярнасці, паэтапныя тэсты канаркі і прымусовая пераводка агента у вышэйшы ранг.
- Тэставанне з першага крока з вядомацькімі агентамі: выбір найболей надзеянага слоя тэстаў — Як вядомацькія агенты дапамагаюць інжынерам праблемнай дыягностыкі аналізаваць рэпазітарый, выбіраць слой тэстаў, які падходзіць для кожнага сцэнарыю, і скорачваць колькасць тэстаў у браузеры, з прыкладам выкарыстоўвання і рэкамендаціямі ў файле з інструкцыямі.
- Ацэнкаўка ў замкнутым цыкле для агента для апрацоўкі зяўрэнняў: што праказала Uber Eats — Даследжэнне дыяграмы ацэнкаўкі, якая выкорыстоўваецца для агента Uber Eats для падбароўкі фота: пераглед рутэра, pass@K, дыягназа прыклонення, аўтоналактаванне і шаравыя контрольныя пункты якосты.