Strona główna / Artykuły

Oceny w pętli zamkniętej dla narzędzia do przetwarzania zdjęć w produkcji: co przedstawił Uber Eats

Studium przypadku projektu oceny stojącego za narzędziem do ulepszania zdjęć w Uber Eats: ponowne sprawdzanie routera, pass@K, diagnoza odchyłek, automatyczna kalibracja oraz warstwowe bramy kontroli jakości.

Wydawca: REACTAPP.TOP7 min czytania1602 słów

Źródła: https://medium.com/@hello_62602/inside-uber-eats-closed-loop-eval-system-for-a-production-ai-agent-1bbe1206f5aa

Zespół ML firmy Uber wygłosił prelekcję na Wystawie Świata Inżynierów AI pod tytułem „Tworzenie ocen w zamkniętym cyklu dla agenta multimodalnego na dużą skalę”. Jest to rzadki, konkretny przykład pokazujący, jak funkcjonują oceny w produkcji w rzeczywistym systemie przy dużej objętości pracy, oraz jakie decyzje projektowe zapobiegają pogorszeniu jakości systemu bez żadnych widocznych skutków. Poniżej znajduje się studium przypadku tego systemu.

Problem

Dla wielu klientów to właśnie zdjęcie jedzenia decyduje o złożeniu zamówienia. Dla mniejszych, niezależnych sprzedawców w Uber Eats takie zdjęcia są często niskiej jakości: słabe oświetlenie, nieodpowiednia kompozycja, rozmycie. Wina nie leży w samej żywności – profesjonalna fotografia wymaga czasu, umiejętności i pieniędzy, których mały lokal nie posiada.

Oczywistym rozwiązaniem jest automatyczne ulepszenie zdjęcia za pomocą sztucznej inteligencji, ale istnieje problem. Ludzie nie ufają zdjęciom jedzenia stworzonym przez AI. Jeśli aplikacja pokazuje coś, co wygląda nienaturalnie idealnie, zaufanie spada. Dlatego system musi podążać wąską ścieżką – musi poprawić obraz, nie fałszując wyglądu dania, unikać spłaszczania zdjęć wszystkich sprzedawców do jednego, uniwersalnego stylu, a wszystko to robić na ogromnym rynku globalnym, gdzie ręczna edycja jest niemożliwa.

Określone cele to:

  • Pozostanie wiernym oryginalnemu daniu
  • Poprawa jakości tylko tam, gdzie jest to naprawdę konieczne
  • Utrzymanie rynku w różnorodnym wyglądzie, bez homogenizacji
  • Nigdy publikowanie niczego, co narusza zasady
  • Ciągłe uczenie się na podstawie nowych danych
  • Wykonywanie wszystkiego w sposób ekonomiczny na dużą skalę

Dlaczego agent, a nie stały skrypt

Na jednym biegunie znajduje się deterministyczny edytor zdjęć oparty na regułach. Jest przewidywalny i kontrolowalny, ale kruchy, ponieważ nie potrafi poradzić sobie z różnorodnością dań, kuchni oraz warunków fotograficznych na światowym rynku. Na drugim biegunie znajduje się całkowicie nieograniczony agent generatywny, który jest elastyczny, ale nie gwarantuje, że nie wymyśli nowych składników lub nie odbiegnie od ustalonego stylu marki.

Projekt Ubera celowo znajduje się pomiędzy tymi dwoma podejściami. Agent ma realną możliwość przemyślenia każdego obrazu, przy czym każda decyzja jest kontrolowana za pomocą zasad bezpieczeństwa, procedur kontroli jakości oraz oceny opartej na ludzkim osądzie. Połączenie autonomii z ograniczeniami to zasada, na której opiera się cały proces.

Jak działa ten proces

  1. Rozumienie i kierowanie procesem. Model multimodalny analizuje zdjęcie wraz z metadanymi tekstowymi, takimi jak nazwa i opis dania, oraz tworzy ustrukturyzowany opis obejmujący oświetlenie, kompozycję, to, czy przedmiot prawidłowo wypełnia kadry, oraz podobne cechy. Agent odpowiedzialny za kierowanie ocenia to według określonych kryteriów i podejmuje jedną decyzję: ulepszyć zdjęcie lub pominąć je i zachować wersję oryginalną.
  2. Pętla generowania. Zdjęcie skierowane do ulepszenia przechodzi przez cykl trzech kroków. Tworzy się specyficzny prompt do edycji dostosowany do danego obrazu, wykonuje się edycję, a następnie sprawdza się wynik pod kątem wierności oryginałowi, obszarów nienaruszonych, naturalnego wyglądu i zachowania kolorów. Jeśli sprawdzenie nie przynosi pozytywnego rezultatu, informacje zwrotne są uwzględniane przy kolejnej próbie edycji. Jeśli błędy utrzymują się po przekroczeniu określonej liczby rund, system nie dopuszcza do użycia słabej wersji edytowanego zdjęcia – zachowuje ono oryginalny wygląd.
  • Ostateczna weryfikacja jakości i publikacja. Przed umieszczeniem czegokolwiek w menu online przeprowadzana jest szeroka ostateczna kontrola.
  • Zapisywanie danych. Każdy etap, dla każdego obrazu, dodaje informacje do jednego zapisu w formacie JSON. Zostało to opracowane przed wprowadzeniem jakichkolwiek z opisanych poniżej systemów optymalizacyjnych, w oparciu o zasadę, że system nie może być zoptymalizowany, jeśli nie jest w pełni obserwowany, a pętla samokorygująca potrzebuje śladu danych do nauki.
  • Ocena routera jako zadania klasyfikacyjnego

    Decyzja o przekierowaniu lub pominięciu obrazu można łatwo przełożyć na macierz pomyłek:

    • Prawdziwy pozytyw: naprawdę słaba fotografia, która została prawidłowo wysłana do udoskonalenia.
    • Prawdziwy negatyw: naprawdę dobra fotografia, która została prawidłowo pozostawiona bez zmian.
    • Fałszywy pozytyw: dobra fotografia, która i tak zostaje udoskonalona. To marnotrawstwo zasobów obliczeniowych, a doskonale dobrany obraz może ulec pogorszeniu.
  • Fałszywie ujemny wynik: niska jakość zdjęcia, które przechodzi bez żadnej interwencji. Zespół Ubera traktuje to jako niebezpieczny przypadek – cichą regresję, której nikt nie zauważa, dopóki klient się nie poskarży.
  • Pominięcie złej jakości zdjęcia kosztuje więcej niż niepotrzebna jego poprawa, dlatego algorytm routingu jest dostosowywany z myślą o szybkim wykryciu takich przypadków jako kluczowym wskaźniku bezpieczeństwa. Część niepotrzebnych wydatków na poprawę jakości zdjęć jest akceptowana jako cena uniknięcia przenikania złych zdjęć.

    Dwa przykłady z prezentacji pokazują w praktyce ten kompromis. Zdjęcie niemal doskonałego cheeseburgera zostało oznaczone jako technicznie nieodpowiednie, a mimo to poddano je udoskonaleniu – była to błąd wynikający z braku precyzji, który stanowił czystą stratę kosztów. Z drugiej strony zdjęcie sześciu skrzydełek kurczaka pod nazwą dania „sześćskrzydełkowe” zostało zignorowane przez system. Był to błąd w procesie sprawdzania, a co gorsza – niebezpieczny, ponieważ przesłanie go dalej do narzędzia udoskonalania groziło tym, że model wymyśli dwa dodatkowe skrzydełka, aby pasowały do opisu. Tworzenie detali odpowiadających tekstu, a nie temu, co jest widoczne, to dokładnie to, co ma wykryć późniejsza kontrola wierności – co pokazuje, dlaczego takie kontrole są ważne w praktyce, a nie tylko na papierze.

    Ocena generowania poprzez porównanie parowe

    Gdy obraz trafi do etapu udoskonalania, nie istnieje jedno stałe, poprawne rozwiązanie. Pytanie brzmi, czy rezultat jest rzeczywiście lepszy od oryginału, oceniane pod kątem wierności, kompletności i realizmu, przy czym odpowiedź może być „tak”, „nie” lub „niepewne”.

    Ważną miarą jest wartość pass@K, czyli odsetek obrazów, które przechodzą test po K próbach. Zdrowa krzywa rośnie wraz z wartością K, ponieważ każda nieudana próba dostarcza konkretnej informacji zwrotnej, która pomaga poprawić wynik przy następnej próbie. Jeden z przykładów przedstawionych podczas prezentacji dotyczył frytek z batatów, które nie przeszły pierwszego testu ze względu na niewłaściwą ilość składników i nierealistyczne ułożenie na talerzu, ale przeszły drugą próbę po uwzględnieniu tych uwag.

    Najwięcej uczy nas przypadki niepowodzeń:

    • Edukacja, w której dodano krewetki, których nie było w oryginalnym daniu, ponosi porażkę pod względem wierności.
    • Edukacja, w której usunięto miseczkę z sosem leżącą na brzegu talerza, ponosi porażkę pod względem kompletności.
  • Bardziej subtelny przypadek: agent dokonał naprawdę kreatywnej modyfikacji, ale brama kontroli jakości ją odrzuciła. Zamiast wprowadzić precyzyjną korektę, model przekorygował ją nadmiernie i powrócił do banalnej, uniwersalnej miski ceramicznej. Ta wersja przeszła kontrolę jakości, ale nie stanowiła żadnego rzeczywistego ulepszenia.
  • Ostatni przypadek to „hacking nagród” – spełnienie literówki metryki przy jednoczesnym pominięciu jej intencji. To przypomnienie, że brama kontroli jakości musi mieć za cel to, co oznacza „istotnie lepsze”, a nie tylko „brak naruszenia wyraźnej reguły”.

    Dwa pętle dostosowania: osiągnięcie wersji v1, a następnie utrzymanie poprawności

    Pierwsza wersja gotowa do wysyłki nie wymaga żadnych specjalnych trików. Tworzy się zbiór danych obejmujący różne regiony, rodzaje dań i poziomy jakości zdjęć, a ludzie odpowiedzialni za etykietowanie oceniają je według obiektywnej skali ograniczającej uprzedzenia, aby stworzyć „złoty zbiór”. Agent jest testowany na tym zbiorze. Uspokojenie wskaźnika bezpieczeństwa oznacza dostępność produktu; jego przekroczenie wymaga dalszej kalibracji.

    Podtrzymanie poprawności po uruchomieniu jest trudniejsze, ponieważ rzeczywisty ruch jest bardziej zmienny niż może przewidzieć jakikolwiek stały, offline zbiór danych. Rozwiązaniem jest regularny przykładowy zestaw elementów produkcyjnych, ocenianych przez tych samych osób według tej samej skali, a następnie umieszczanych obok decyzji podjętych przez agenta. Różnice są przekazywane agencie diagnostycznemu, który identyfikuje awaryjny element procesu i uruchamia automatyczną kalibrację właśnie tej części, bez udziału człowieka na tym etapie.

    Dwa podagenty tworzą autotuner. Reflect analizuje różnice zdań, odrzuca szum i określa ukryty wzorzec systemowy stojący za nimi. Synthesize bierze to ustalenie, edytuje polecenie lub konfigurację danego agenta i ponownie testuje nową wersję na zbiorze referencyjnym przed wydaniem. Tylko wersja, która przeszła testy, jest zapisywana jako nowa wersja konfiguracji, a kolejna produkcja automatycznie ją wykorzystuje. To właśnie zapobiega temu, by system, który uruchomił się poprawnie, stopniowo tracił funkcjonalność już po pół roku.

    Trzy pętle sprzężenia zwrotnego działające jednocześnie

    Korekta odchyłek to zaledwie jedna z trzech pętli działających równolegle:

    1. Pętla modelu. Opisana powyżej automatyczna korekta odchyłek i regresji.
  • Pętla dogfooding. Zespoły wewnętrzne oraz sprzedawcy udzielają prostych ocen w postaci plusa lub minusa wraz z opinią tekstową przed i podczas wdrażania, a te informacje są również wykorzystywane do diagnozowania.
  • Pętla rynku. Prawdziwe testy A/B przeprowadzane na podstawie wskaźników biznesowych, takich jak stopa konwersji i liczba produktów dodanych do koszyka, rozłożone według geografii, urządzenia i typu dania, pokazują, gdzie ulepszenia faktycznie poprawiają wyniki, a gdzie nie.
  • Idea sera szwajcarskiego

    Kluczowa koncepcja łączy to wszystko w całość. Żaden pojedynczy etap kontroli jakości w tym systemie nie jest doskonały: kryteria routingu, sprawdzenie generacji oraz ostateczna weryfikacja gotowości do publikacji – wszystkie mają swoje braki. Gdy jednak łączy się kilka takich niedoskonałych kontrol, zły wynik musi przejść przez każdą z nich jednocześnie, aby dotrzeć do klienta. Szanse na to szybko spadają z każdą dodaną warstwą. Działa to jak warstwy szwajcarskiego sera – każda ma dziury, ale prawdopodobieństwo, że wszystkie dziury będą się pokrywać w całej grubości, szybko maleje.

    Czego należy się nauczyć

    Oto, jak wygląda ocena, gdy przekracza ramy pojedynczego skryptu testowego offline:

    • Dwie rodziny metryk dla dwóch typów problemów: klasyfikacja w przypadku routingu oraz porównanie parowe przy generacji.
    • Jedna metryka wybierana celowo jako zabezpieczenie, ponieważ fałszywie ujemne wyniki są droższe niż fałszywie pozytywne.
  • Kanał przepływu, który automatycznie wykrywa własne odchylenia, zanim to zauważy człowiek.
  • Kwarantanna jakości oparta na założeniu, że każda pojedyncza weryfikacja może i czasami faktycznie zawiedzie.
  • Nic z tego nie polega na egzotycznych technologiach. To zdyscyplinowany projekt systemu oparty na ocenie, stosowany na dużą skalę.