Галоўная / Артыкулы

Ацэнкі з закрытым цыклам для прыстрою апрацоўкі фотаў у працэсе вырабоцтва: што паказала Uber Eats

Аналіз прыкладу праекта ацэнкаў, які стоіць за прыстроем для падвышэння якосці фотаў у Uber Eats: перагляд маршрута, pass@K, дыягназа адхылэнняў, автокалібруванне і шаровыя контрольныя пункты.

Выдавец: REACTAPP.TOP7 хв чытання1602 слоў

Крыніцы: https://medium.com/@hello_62602/inside-uber-eats-closed-loop-eval-system-for-a-production-ai-agent-1bbe1206f5aa

Команда з машыннага навучэння Uber выступіла на ярмарку AI Engineer World's Fair з даповедзю пад назвай "Стварэнне ацэнкаў у замкнутым цыкле для мультымадальных агентаў у вялікых масштабах." Гэта рэдкая, конкрэтная інформацыя пра тое, як функціонуюць ацэнкі ў рэальных сістэмах у вялікім обсязе, а таксама пра выборы дызайну, якія не дазволяюць сістэме падгораць без таго, каб хтось гэта зазначыў. Далей прадстаўлены аналіз такой сістэмы.

Проблема

Для багато кліянтав фота ўжынкі ёстаблівае рашэнне аб замовленні. Для маленькіх, незалежных продавцоў у Uber Eats такое фота часта ёсць неякісным: тусклы свет, некорэктная композіцыя, м’яка фокусавання. Цэлкам не віна ўжынкаў. Професійная фотаграфія выклікае патрэбу ў часе, навыках і грошах, якіх няма у маленькага рэсторану.

Явным рашэннем ў тым, каб автаматычна падняць якосць фота за дапамою ШЫ, але ёсць проблема. Людзі не даваюць доверыя фота ўжынкі, створаных ШЫ. Калі прыстанок паказвае ўсё настолькі ідэальна, што здаецца ненатуральным, доверыя зменшваецца. Таму сістэма павінна існаваць на вузкай дорозе: яна должна падняць якосць зяўрэння, не спакрашваючы сутнасці стравы, ухіліцца ад таго, каб фота ўсіх продавцоў сталі аднаковымі, і зробіць усё гэта на вялічыні глобальнага рынку, дзе ручная рэдагаванне ўжо немагчыма.

Заявленыя цялі былі:

  • Залічвацца вернымі аднойчы створанай страве
  • Падняць якосць толькі там, дзе гэта справды неабходна
  • Зберагчы рынак візуальна разнарадным, а не аднаковым
  • Ніколі не публікуваць нічога, што наражае на адхыленне ад правіл
  • Продовжваць выучацца на новых даных
  • Выканаць усё гэта эканамічна ў масштабе

Чаму агент, а не фіксаваны скрыпт

У адзінам краю знаходзіцца дэтэрміністычны, адаснованы на правілах рэдагар фота. Ён прыкметны тым, што яго можна працаваць і контролюваць, але ён кранкавы, таму што не можа справіцца з разнаўказом страв, кухняў і умов фотавылучэння на свецоўскім рынку. У другім краю — абсалютна неакранаваны генератывучы агент, які ўзлёгкі, але не дае ніяных гаранцый, што ён не створы новых інгрыянтоў чы не адхіліцца ад брэнда.

Дызайн Uber спецыяльна стоіць межа двума. Агент мае рэальную можлівасць аналізаваць кожны фота, пры чым кожна рашэнне абгарантавана захоўкамі, контрольнымі пунктамі і ацэнкай, якая базуецца на людскім суджэнні. Спалучэнне свабоды дзеяння з акранаванням — гэта прынцып, на які будуецца весь працэс.

Як працуе гэты працэс

  1. Розумеў і направленне. Мультымадальны мадэль аналізуе фота разам з тэкстовымі метаданаямі, такімі як назва і апісанне стравы, і стварае структурованае апісанне, якое включае інформацыю пра освятленне, кадруванне, чы рэч належным чынам заполняе кадр, і падобныя характэрыстыкі. Агент для направлення оцінюе гэта за певным крытэрыям і прымае адзін выбор: паспрабаваць падняць якосьць фота або прымусіць застацца ў первасным варыянце.
  2. Цыкл генеравання. Фота, якое направленае на падняць якосьць, прайшоў праз цыкл з трох крокаў. Спачатку ствараецца конкрэтны запрос да рэдагавання для таго фота, пасля чыго выконуецца рэдагаванне, а потым рэзультат пераказваецца на контрольную станцію для перакананняся ў адпаведнасці, наявнасці незмененых рэгіонаў, прыродным распадзеле элементаў і зберэнні кольцаў. Калі контроль не прыняты, адзывы включаюцца ў наступную спробу стварэння запроса. Калі неудачы продовжуюцца пасля певнага ліміту прабоў, сістэма не прымае паслабленага рэзультата рэдагавання і застаецца ў первасным фота.
  • Завершальная перапрацоўка і публікацыя. Перш чым ўсё прайдзе у жывой меню, адбываецца ўсеазлівшыя перагляды.
  • Логаванне. Кожны этап, для кожнага зображэння, дадаецца да адной ўніверсальнай запісі у фармаце JSON. Гэта было створана ўсё раней, чым з’яўіліся апісаны ніжэй сістэмы налаштавання, на падставе логікі, што сістэму нельга оптымізаваць, калі толькі не спостэрагаць за ёю цэлым, а самастойна карэктыруючыся цыкл патрэбуе сцяглі дадзеных, каб могаў выучыцца.
  • Адліквідацыя рутэра як задача класыфікацыі

    Рашэнне пра тое, калі прайсці па маршруту чы праігнораваць, можна чыста перакласіць у матрыцу плутання:

    • Праві пазытывны: сапраўдзіцца слабае фота, якое правільна надаецца на павышэння якосці.
    • Праві негатыўны: сапраўдзіцца хорашае фота, якое правільна застаецца без змян.
    • Хрэбкі пазытывны: гарнае фота, якое адноўу ж павышаецца за якосцю. Цэе марнаванне вычыслаў, а ідэальна гарныя знімкі рызыкуюць быць падпараджаныя.
  • Неправільна негатыўная дыягноза: паслабы фота, які праходзіць без перакантролю. Команда Uber сачытае гэты случай за апасны, калі ўсё застаецца непазначаным, і ніхто не бачыць гэтага рэгрэсу, пакуль кліент не прасіць пра дапамогу.
  • Пропуск паслабага фота коштае больш, чым непатрэбная яго падкорэкцыя, таму механізм распаўнення фота настраоўваецца так, каб падкорэкцыя выканалася толькі у разе патрэбы. Частаю вітрату на падкорэкцыю прыймаюць як цену за тое, што паслабыя фота не пропускаюцца.

    Два прыклады з даповедзі паказваюць, як выглядае гэты компроміс. Фота практычна ідэальнага чызбургера было пазначана як тэхнічна адзінока, пры чым яе ўсё роўна падверглі павышэнню якасці, што стало чыстаю втратай грошэй. На протыяжэнні — фота, на яком было шасць курачых крылец, а пад нім стаяў напіс «вось крылец», засталося без увагі алгорытма. Гэта была памілка ў працэсе перагляду, і яна была небяпечная, адколі ўспрымленне такога фота да агента павышэння якасці можа прывесты да таго, што мадэль выдумае ўсё ж два дапаможныя крылецы, каб падтрымаць напіс. Стварэнне дэталей, якія падходзяць да тэксту, а не да таго, што відна на фота, — гэта самэ то, што мае на меты выявіць перагляд адпаведнасці, і гэта паказвае, чаму такія перагляды маюць значэнне на практыцы, а не толькі на паперы.

    Ацэнка генеравання як парнае пораўнанне

    Калі ўжо адбылася працэс падвышэння якосці зображэння, не існуе фіксаванага правільнага рэзультата. Пытанне заключаецца у тым, чы рэзультат насправды лепшы за вхідны, што ацэнюецца па правадзенні, полноце і рэалістычнасці, пры чым адпаведны адказ можа быць «так», «нет» або «не вядома».

    Важлівым показнікам ёсць pass@K – частка зображэнняя, якія праходзяць пераканальна пасля K спроб. Здаровая крыва зростае з адліком K, адколі кожна невяліка спроба вяртае конкрэтную інфармацыю, якая дапамагае правільна выконваць задачу наступны раз. Одным з прыкладаў з даповедзі былі картопляныя чаркі з батата, якія не праходзілі першую пераканальна з-за няправільнага размеру порцыі і нерэалістычнага размешчэння, але праходзілі другую спробу пасля таго, як была выкарыстоўана гэтая інфармацыя.

    Саме прыклады невялікаў даюць наібольшую інфармацыю:

    • Рэдагаванне, пад час якога былі дадзены крабы, якіх нямаў у выначальнай страве, не праходзіць па крытэрыю правадзення.
    • Рэдагаванне, пад час якога была аднята чашка з соусам на краю тароля, не праходзіць па крытэрыю полноты.
  • Адзін з болей тонкіх прыкладаў: агент здзейсніў практычна творчую правку, але етап контроля якасці ёю не парадзіўся. У замест на тое, каб адмахнуцца ад неё, мадэль занадта сільна яе пасправіла і вернулася да простага, стандартнага керамічнага чашкі. Ён праявіўся на етапе контроля якасці, але не стварыў жадных рэальных прабачэнняў.
  • Гэты пасляпянны прыклад ўособлівае сабой «хакаванне за дапамогою наград», калі выпанавляеся формальныя паказнікі, але не ўсвоюецца іх сэнс. Гэта нагадвае, што етап контроля якасці патрабуе крэатывнага цялевыя паказніка, які б адбіваў «значна лепшы» рэзультат, а не проста «відсутнае перашкоджанне якомусь чыста формальнаму перакрыццю».

    Два цыклу супрацоўкі: досягненне версіі v1, а потым падтрыманне правільнасці

    Перша версія, готовая до відправкі, не вімагае особлівіх труків. Створуецца набір даных, які охоплюе рэгіоні, тыпі страв і рывні якосты фотографій, а люды-оцінювачы ставляць оцінкі за об’ектывною шкалою з обмежэннямі уперэджэнь, шчоб сформуваты ідэальній набір. Агент працюе з цым набором. Калі всі показнікі в межах нормі, гэта означае готовнісць до віпуску; у разі проблем потрыбна додаткова налаштування.

    Зберыгаты правільнісць пасля запуску складнішэ, оскількі рэальній трафік ёсць більш нестабільнім, ніж можа перэдбачыты будзь-які фіксованій офлайн-набір даных. Рышэнням ёсць постыйній збір зразків продукціі, які оцінююць ты самі люды за тыею ж шкалою, а потым порывнююцца з тым, што фактычно вірышыв агент. Розбіжносты перэдаюцца на розгляд дыягнастычного агента, які візначае проблемну частыну сістэмі і запускае автоматычну процедуру налаштувань лішэ для ціеі частыні, без удзеле людыні.

    Аутацюнер складаецца з двух падагентаў. Функцыя Reflect аналізуе неспакоўныя рэзультаты, адбраковвае шум і выклікае сістэматычны патэрн, які стоіць за імі. Функцыя Synthesize берае гэтыя нараджэнні, правяць змены ў інструкцыях або настройкіх падагента, які паўстанавляе проблемы, і знову тэстуе новую версію на «золатай» калекцыі даных прытаму до выпуску. Толькі версія, якая праходзіць тэсты, зберагаецца як новая версія настройкаў, і наступны цыкл працы прыемлівае яе сама. Гэта і ўтрымвае сістэму, якая запускалася правільна, ад тыхоўага занепаду прыблізна за палову года.

    Тры цыклы зворотнага звязку, якія працуюць адночасна

    Корэкцыя зсуву — толькі адны з трох цыклаў, якія працуюць паралельна:

    1. Цыкл модэлю. Автаматызаваная корэкцыя зсуву і рэгрэсіі, опісаная вышэй.
  • Цыкл «dogfooding». Внутрэшнія каманды і продавцы даюць простыя оцэнкі «згодна»/«не згодна» асоўваючы іх з тэкстовымі адзначэннямі да і праз час запуску, а гэтыя даны таксама вплываюць у прыстрой для дыягназавання.
  • Цыкл рынку. Аднастаўленыя тэсты тыпу A/B, якія аналізуюць бізнес-паказнікі, такія як канверсія і частка прадуктавання ў кошык, разбіленыя па геаграфіі, прыстрою і тыпе стравы, паказваюць, дзе практычныя змяны справаюць рэальны эфект, а дзе — ні.
  • Ідэя «швейцарскага сыра»

    Заключныя прынцыпы спраўляюць усё ўмоўна. Няма жаднага етапа адпаведальнасці за якасць у гэтым сістэме, які бы быў ідэальны: крытэрыя распакетавання, перагляд створанага кантэнту і фінальная перапачатковая пераконтрольваўця абоўшчы маюць слабасі. Аднак, калі сумаваецца кальколька такіх недосконалых пераконтроўваўцяў, кантэнт з недастаткамі павінен працягнуцца праз усе яны адразу, каб дасягнуць кліента. Шансы на гэта стрымліва зменшаюцца з кожным даданым слоем. Гэта працуе як шары швейцарскага сыра, дзе кожны шар мае дзярочкі, але шансы на тое, што ўсе дзярочкі будуць выраўнаны ўсю дыяпазон, стрымліва стаюць маленькімі.

    Што трэба выучыць

    Гэта як выглядае ацэнка, калі яна вырастае за межы простага офлайн-скрыпта для тэставання:

    • Две групы метрык для два відменных тыпа проблем: класыфікацыя для распакетавання і парнае паўстанавленне для стварэння кантэнту.
    • Одна метрыка выбіраецца намеравана як захоўнік, таму што хыбныя негатывы караюць ся серйозней, чым хыбныя пазітывы.
  • Сістэма, якая сама автаматычна выявляе свае адхыяненні, без паведамлення чалавека.
  • Багатаслоўная перакананасць якосці, створаная на падазрэнні, што кожная окрэмая перакананасць можа, а іноды і будзе неякісная.
  • Нічыя з гэтых методаў не выкарыстоўвае экзотычных тэхналогій. Гэта адлагоджаныя прыемы праектавання сістэмы для ацэнкі, прыменяваныя у масштабе.