Ацэнкі з закрытым цыклам для прыстрою апрацоўкі фотаў у працэсе вырабоцтва: што паказала Uber Eats
Аналіз прыкладу праекта ацэнкаў, які стоіць за прыстроем для падвышэння якосці фотаў у Uber Eats: перагляд маршрута, pass@K, дыягназа адхылэнняў, автокалібруванне і шаровыя контрольныя пункты.
Команда з машыннага навучэння Uber выступіла на ярмарку AI Engineer World's Fair з даповедзю пад назвай "Стварэнне ацэнкаў у замкнутым цыкле для мультымадальных агентаў у вялікых масштабах." Гэта рэдкая, конкрэтная інформацыя пра тое, як функціонуюць ацэнкі ў рэальных сістэмах у вялікім обсязе, а таксама пра выборы дызайну, якія не дазволяюць сістэме падгораць без таго, каб хтось гэта зазначыў. Далей прадстаўлены аналіз такой сістэмы.
Проблема
Для багато кліянтав фота ўжынкі ёстаблівае рашэнне аб замовленні. Для маленькіх, незалежных продавцоў у Uber Eats такое фота часта ёсць неякісным: тусклы свет, некорэктная композіцыя, м’яка фокусавання. Цэлкам не віна ўжынкаў. Професійная фотаграфія выклікае патрэбу ў часе, навыках і грошах, якіх няма у маленькага рэсторану.
Явным рашэннем ў тым, каб автаматычна падняць якосць фота за дапамою ШЫ, але ёсць проблема. Людзі не даваюць доверыя фота ўжынкі, створаных ШЫ. Калі прыстанок паказвае ўсё настолькі ідэальна, што здаецца ненатуральным, доверыя зменшваецца. Таму сістэма павінна існаваць на вузкай дорозе: яна должна падняць якосць зяўрэння, не спакрашваючы сутнасці стравы, ухіліцца ад таго, каб фота ўсіх продавцоў сталі аднаковымі, і зробіць усё гэта на вялічыні глобальнага рынку, дзе ручная рэдагаванне ўжо немагчыма.
Заявленыя цялі былі:
- Залічвацца вернымі аднойчы створанай страве
- Падняць якосць толькі там, дзе гэта справды неабходна
- Зберагчы рынак візуальна разнарадным, а не аднаковым
- Ніколі не публікуваць нічога, што наражае на адхыленне ад правіл
- Продовжваць выучацца на новых даных
- Выканаць усё гэта эканамічна ў масштабе
Чаму агент, а не фіксаваны скрыпт
У адзінам краю знаходзіцца дэтэрміністычны, адаснованы на правілах рэдагар фота. Ён прыкметны тым, што яго можна працаваць і контролюваць, але ён кранкавы, таму што не можа справіцца з разнаўказом страв, кухняў і умов фотавылучэння на свецоўскім рынку. У другім краю — абсалютна неакранаваны генератывучы агент, які ўзлёгкі, але не дае ніяных гаранцый, што ён не створы новых інгрыянтоў чы не адхіліцца ад брэнда.
Дызайн Uber спецыяльна стоіць межа двума. Агент мае рэальную можлівасць аналізаваць кожны фота, пры чым кожна рашэнне абгарантавана захоўкамі, контрольнымі пунктамі і ацэнкай, якая базуецца на людскім суджэнні. Спалучэнне свабоды дзеяння з акранаванням — гэта прынцып, на які будуецца весь працэс.
Як працуе гэты працэс
- Розумеў і направленне. Мультымадальны мадэль аналізуе фота разам з тэкстовымі метаданаямі, такімі як назва і апісанне стравы, і стварае структурованае апісанне, якое включае інформацыю пра освятленне, кадруванне, чы рэч належным чынам заполняе кадр, і падобныя характэрыстыкі. Агент для направлення оцінюе гэта за певным крытэрыям і прымае адзін выбор: паспрабаваць падняць якосьць фота або прымусіць застацца ў первасным варыянце.
- Цыкл генеравання. Фота, якое направленае на падняць якосьць, прайшоў праз цыкл з трох крокаў. Спачатку ствараецца конкрэтны запрос да рэдагавання для таго фота, пасля чыго выконуецца рэдагаванне, а потым рэзультат пераказваецца на контрольную станцію для перакананняся ў адпаведнасці, наявнасці незмененых рэгіонаў, прыродным распадзеле элементаў і зберэнні кольцаў. Калі контроль не прыняты, адзывы включаюцца ў наступную спробу стварэння запроса. Калі неудачы продовжуюцца пасля певнага ліміту прабоў, сістэма не прымае паслабленага рэзультата рэдагавання і застаецца ў первасным фота.
Адліквідацыя рутэра як задача класыфікацыі
Рашэнне пра тое, калі прайсці па маршруту чы праігнораваць, можна чыста перакласіць у матрыцу плутання:
- Праві пазытывны: сапраўдзіцца слабае фота, якое правільна надаецца на павышэння якосці.
- Праві негатыўны: сапраўдзіцца хорашае фота, якое правільна застаецца без змян.
- Хрэбкі пазытывны: гарнае фота, якое адноўу ж павышаецца за якосцю. Цэе марнаванне вычыслаў, а ідэальна гарныя знімкі рызыкуюць быць падпараджаныя.
Пропуск паслабага фота коштае больш, чым непатрэбная яго падкорэкцыя, таму механізм распаўнення фота настраоўваецца так, каб падкорэкцыя выканалася толькі у разе патрэбы. Частаю вітрату на падкорэкцыю прыймаюць як цену за тое, што паслабыя фота не пропускаюцца.
Два прыклады з даповедзі паказваюць, як выглядае гэты компроміс. Фота практычна ідэальнага чызбургера было пазначана як тэхнічна адзінока, пры чым яе ўсё роўна падверглі павышэнню якасці, што стало чыстаю втратай грошэй. На протыяжэнні — фота, на яком было шасць курачых крылец, а пад нім стаяў напіс «вось крылец», засталося без увагі алгорытма. Гэта была памілка ў працэсе перагляду, і яна была небяпечная, адколі ўспрымленне такога фота да агента павышэння якасці можа прывесты да таго, што мадэль выдумае ўсё ж два дапаможныя крылецы, каб падтрымаць напіс. Стварэнне дэталей, якія падходзяць да тэксту, а не да таго, што відна на фота, — гэта самэ то, што мае на меты выявіць перагляд адпаведнасці, і гэта паказвае, чаму такія перагляды маюць значэнне на практыцы, а не толькі на паперы.
Ацэнка генеравання як парнае пораўнанне
Калі ўжо адбылася працэс падвышэння якосці зображэння, не існуе фіксаванага правільнага рэзультата. Пытанне заключаецца у тым, чы рэзультат насправды лепшы за вхідны, што ацэнюецца па правадзенні, полноце і рэалістычнасці, пры чым адпаведны адказ можа быць «так», «нет» або «не вядома».
Важлівым показнікам ёсць pass@K – частка зображэнняя, якія праходзяць пераканальна пасля K спроб. Здаровая крыва зростае з адліком K, адколі кожна невяліка спроба вяртае конкрэтную інфармацыю, якая дапамагае правільна выконваць задачу наступны раз. Одным з прыкладаў з даповедзі былі картопляныя чаркі з батата, якія не праходзілі першую пераканальна з-за няправільнага размеру порцыі і нерэалістычнага размешчэння, але праходзілі другую спробу пасля таго, як была выкарыстоўана гэтая інфармацыя.
Саме прыклады невялікаў даюць наібольшую інфармацыю:
- Рэдагаванне, пад час якога былі дадзены крабы, якіх нямаў у выначальнай страве, не праходзіць па крытэрыю правадзення.
- Рэдагаванне, пад час якога была аднята чашка з соусам на краю тароля, не праходзіць па крытэрыю полноты.
Гэты пасляпянны прыклад ўособлівае сабой «хакаванне за дапамогою наград», калі выпанавляеся формальныя паказнікі, але не ўсвоюецца іх сэнс. Гэта нагадвае, што етап контроля якасці патрабуе крэатывнага цялевыя паказніка, які б адбіваў «значна лепшы» рэзультат, а не проста «відсутнае перашкоджанне якомусь чыста формальнаму перакрыццю».
Два цыклу супрацоўкі: досягненне версіі v1, а потым падтрыманне правільнасці
Перша версія, готовая до відправкі, не вімагае особлівіх труків. Створуецца набір даных, які охоплюе рэгіоні, тыпі страв і рывні якосты фотографій, а люды-оцінювачы ставляць оцінкі за об’ектывною шкалою з обмежэннямі уперэджэнь, шчоб сформуваты ідэальній набір. Агент працюе з цым набором. Калі всі показнікі в межах нормі, гэта означае готовнісць до віпуску; у разі проблем потрыбна додаткова налаштування.
Зберыгаты правільнісць пасля запуску складнішэ, оскількі рэальній трафік ёсць більш нестабільнім, ніж можа перэдбачыты будзь-які фіксованій офлайн-набір даных. Рышэнням ёсць постыйній збір зразків продукціі, які оцінююць ты самі люды за тыею ж шкалою, а потым порывнююцца з тым, што фактычно вірышыв агент. Розбіжносты перэдаюцца на розгляд дыягнастычного агента, які візначае проблемну частыну сістэмі і запускае автоматычну процедуру налаштувань лішэ для ціеі частыні, без удзеле людыні.
Аутацюнер складаецца з двух падагентаў. Функцыя Reflect аналізуе неспакоўныя рэзультаты, адбраковвае шум і выклікае сістэматычны патэрн, які стоіць за імі. Функцыя Synthesize берае гэтыя нараджэнні, правяць змены ў інструкцыях або настройкіх падагента, які паўстанавляе проблемы, і знову тэстуе новую версію на «золатай» калекцыі даных прытаму до выпуску. Толькі версія, якая праходзіць тэсты, зберагаецца як новая версія настройкаў, і наступны цыкл працы прыемлівае яе сама. Гэта і ўтрымвае сістэму, якая запускалася правільна, ад тыхоўага занепаду прыблізна за палову года.
Тры цыклы зворотнага звязку, якія працуюць адночасна
Корэкцыя зсуву — толькі адны з трох цыклаў, якія працуюць паралельна:
- Цыкл модэлю. Автаматызаваная корэкцыя зсуву і рэгрэсіі, опісаная вышэй.
Ідэя «швейцарскага сыра»
Заключныя прынцыпы спраўляюць усё ўмоўна. Няма жаднага етапа адпаведальнасці за якасць у гэтым сістэме, які бы быў ідэальны: крытэрыя распакетавання, перагляд створанага кантэнту і фінальная перапачатковая пераконтрольваўця абоўшчы маюць слабасі. Аднак, калі сумаваецца кальколька такіх недосконалых пераконтроўваўцяў, кантэнт з недастаткамі павінен працягнуцца праз усе яны адразу, каб дасягнуць кліента. Шансы на гэта стрымліва зменшаюцца з кожным даданым слоем. Гэта працуе як шары швейцарскага сыра, дзе кожны шар мае дзярочкі, але шансы на тое, што ўсе дзярочкі будуць выраўнаны ўсю дыяпазон, стрымліва стаюць маленькімі.
Што трэба выучыць
Гэта як выглядае ацэнка, калі яна вырастае за межы простага офлайн-скрыпта для тэставання:
- Две групы метрык для два відменных тыпа проблем: класыфікацыя для распакетавання і парнае паўстанавленне для стварэння кантэнту.
- Одна метрыка выбіраецца намеравана як захоўнік, таму што хыбныя негатывы караюць ся серйозней, чым хыбныя пазітывы.
Нічыя з гэтых методаў не выкарыстоўвае экзотычных тэхналогій. Гэта адлагоджаныя прыемы праектавання сістэмы для ацэнкі, прыменяваныя у масштабе.