Oceny w pętli zamkniętej dla narzędzia do przetwarzania zdjęć w produkcji: co przedstawił Uber Eats
Studium przypadku projektu oceny stojącego za narzędziem do ulepszania zdjęć w Uber Eats: ponowne sprawdzanie routera, pass@K, diagnoza odchyłek, automatyczna kalibracja oraz warstwowe bramy kontroli jakości.
Zespół ML firmy Uber wygłosił prelekcję na Wystawie Świata Inżynierów AI pod tytułem „Tworzenie ocen w zamkniętym cyklu dla agenta multimodalnego na dużą skalę”. Jest to rzadki, konkretny przykład pokazujący, jak funkcjonują oceny w produkcji w rzeczywistym systemie przy dużej objętości pracy, oraz jakie decyzje projektowe zapobiegają pogorszeniu jakości systemu bez żadnych widocznych skutków. Poniżej znajduje się studium przypadku tego systemu.
Problem
Dla wielu klientów to właśnie zdjęcie jedzenia decyduje o złożeniu zamówienia. Dla mniejszych, niezależnych sprzedawców w Uber Eats takie zdjęcia są często niskiej jakości: słabe oświetlenie, nieodpowiednia kompozycja, rozmycie. Wina nie leży w samej żywności – profesjonalna fotografia wymaga czasu, umiejętności i pieniędzy, których mały lokal nie posiada.
Oczywistym rozwiązaniem jest automatyczne ulepszenie zdjęcia za pomocą sztucznej inteligencji, ale istnieje problem. Ludzie nie ufają zdjęciom jedzenia stworzonym przez AI. Jeśli aplikacja pokazuje coś, co wygląda nienaturalnie idealnie, zaufanie spada. Dlatego system musi podążać wąską ścieżką – musi poprawić obraz, nie fałszując wyglądu dania, unikać spłaszczania zdjęć wszystkich sprzedawców do jednego, uniwersalnego stylu, a wszystko to robić na ogromnym rynku globalnym, gdzie ręczna edycja jest niemożliwa.
Określone cele to:
- Pozostanie wiernym oryginalnemu daniu
- Poprawa jakości tylko tam, gdzie jest to naprawdę konieczne
- Utrzymanie rynku w różnorodnym wyglądzie, bez homogenizacji
- Nigdy publikowanie niczego, co narusza zasady
- Ciągłe uczenie się na podstawie nowych danych
- Wykonywanie wszystkiego w sposób ekonomiczny na dużą skalę
Dlaczego agent, a nie stały skrypt
Na jednym biegunie znajduje się deterministyczny edytor zdjęć oparty na regułach. Jest przewidywalny i kontrolowalny, ale kruchy, ponieważ nie potrafi poradzić sobie z różnorodnością dań, kuchni oraz warunków fotograficznych na światowym rynku. Na drugim biegunie znajduje się całkowicie nieograniczony agent generatywny, który jest elastyczny, ale nie gwarantuje, że nie wymyśli nowych składników lub nie odbiegnie od ustalonego stylu marki.
Projekt Ubera celowo znajduje się pomiędzy tymi dwoma podejściami. Agent ma realną możliwość przemyślenia każdego obrazu, przy czym każda decyzja jest kontrolowana za pomocą zasad bezpieczeństwa, procedur kontroli jakości oraz oceny opartej na ludzkim osądzie. Połączenie autonomii z ograniczeniami to zasada, na której opiera się cały proces.
Jak działa ten proces
- Rozumienie i kierowanie procesem. Model multimodalny analizuje zdjęcie wraz z metadanymi tekstowymi, takimi jak nazwa i opis dania, oraz tworzy ustrukturyzowany opis obejmujący oświetlenie, kompozycję, to, czy przedmiot prawidłowo wypełnia kadry, oraz podobne cechy. Agent odpowiedzialny za kierowanie ocenia to według określonych kryteriów i podejmuje jedną decyzję: ulepszyć zdjęcie lub pominąć je i zachować wersję oryginalną.
- Pętla generowania. Zdjęcie skierowane do ulepszenia przechodzi przez cykl trzech kroków. Tworzy się specyficzny prompt do edycji dostosowany do danego obrazu, wykonuje się edycję, a następnie sprawdza się wynik pod kątem wierności oryginałowi, obszarów nienaruszonych, naturalnego wyglądu i zachowania kolorów. Jeśli sprawdzenie nie przynosi pozytywnego rezultatu, informacje zwrotne są uwzględniane przy kolejnej próbie edycji. Jeśli błędy utrzymują się po przekroczeniu określonej liczby rund, system nie dopuszcza do użycia słabej wersji edytowanego zdjęcia – zachowuje ono oryginalny wygląd.
Ocena routera jako zadania klasyfikacyjnego
Decyzja o przekierowaniu lub pominięciu obrazu można łatwo przełożyć na macierz pomyłek:
- Prawdziwy pozytyw: naprawdę słaba fotografia, która została prawidłowo wysłana do udoskonalenia.
- Prawdziwy negatyw: naprawdę dobra fotografia, która została prawidłowo pozostawiona bez zmian.
- Fałszywy pozytyw: dobra fotografia, która i tak zostaje udoskonalona. To marnotrawstwo zasobów obliczeniowych, a doskonale dobrany obraz może ulec pogorszeniu.
Pominięcie złej jakości zdjęcia kosztuje więcej niż niepotrzebna jego poprawa, dlatego algorytm routingu jest dostosowywany z myślą o szybkim wykryciu takich przypadków jako kluczowym wskaźniku bezpieczeństwa. Część niepotrzebnych wydatków na poprawę jakości zdjęć jest akceptowana jako cena uniknięcia przenikania złych zdjęć.
Dwa przykłady z prezentacji pokazują w praktyce ten kompromis. Zdjęcie niemal doskonałego cheeseburgera zostało oznaczone jako technicznie nieodpowiednie, a mimo to poddano je udoskonaleniu – była to błąd wynikający z braku precyzji, który stanowił czystą stratę kosztów. Z drugiej strony zdjęcie sześciu skrzydełek kurczaka pod nazwą dania „sześćskrzydełkowe” zostało zignorowane przez system. Był to błąd w procesie sprawdzania, a co gorsza – niebezpieczny, ponieważ przesłanie go dalej do narzędzia udoskonalania groziło tym, że model wymyśli dwa dodatkowe skrzydełka, aby pasowały do opisu. Tworzenie detali odpowiadających tekstu, a nie temu, co jest widoczne, to dokładnie to, co ma wykryć późniejsza kontrola wierności – co pokazuje, dlaczego takie kontrole są ważne w praktyce, a nie tylko na papierze.
Ocena generowania poprzez porównanie parowe
Gdy obraz trafi do etapu udoskonalania, nie istnieje jedno stałe, poprawne rozwiązanie. Pytanie brzmi, czy rezultat jest rzeczywiście lepszy od oryginału, oceniane pod kątem wierności, kompletności i realizmu, przy czym odpowiedź może być „tak”, „nie” lub „niepewne”.
Ważną miarą jest wartość pass@K, czyli odsetek obrazów, które przechodzą test po K próbach. Zdrowa krzywa rośnie wraz z wartością K, ponieważ każda nieudana próba dostarcza konkretnej informacji zwrotnej, która pomaga poprawić wynik przy następnej próbie. Jeden z przykładów przedstawionych podczas prezentacji dotyczył frytek z batatów, które nie przeszły pierwszego testu ze względu na niewłaściwą ilość składników i nierealistyczne ułożenie na talerzu, ale przeszły drugą próbę po uwzględnieniu tych uwag.
Najwięcej uczy nas przypadki niepowodzeń:
- Edukacja, w której dodano krewetki, których nie było w oryginalnym daniu, ponosi porażkę pod względem wierności.
- Edukacja, w której usunięto miseczkę z sosem leżącą na brzegu talerza, ponosi porażkę pod względem kompletności.
Ostatni przypadek to „hacking nagród” – spełnienie literówki metryki przy jednoczesnym pominięciu jej intencji. To przypomnienie, że brama kontroli jakości musi mieć za cel to, co oznacza „istotnie lepsze”, a nie tylko „brak naruszenia wyraźnej reguły”.
Dwa pętle dostosowania: osiągnięcie wersji v1, a następnie utrzymanie poprawności
Pierwsza wersja gotowa do wysyłki nie wymaga żadnych specjalnych trików. Tworzy się zbiór danych obejmujący różne regiony, rodzaje dań i poziomy jakości zdjęć, a ludzie odpowiedzialni za etykietowanie oceniają je według obiektywnej skali ograniczającej uprzedzenia, aby stworzyć „złoty zbiór”. Agent jest testowany na tym zbiorze. Uspokojenie wskaźnika bezpieczeństwa oznacza dostępność produktu; jego przekroczenie wymaga dalszej kalibracji.
Podtrzymanie poprawności po uruchomieniu jest trudniejsze, ponieważ rzeczywisty ruch jest bardziej zmienny niż może przewidzieć jakikolwiek stały, offline zbiór danych. Rozwiązaniem jest regularny przykładowy zestaw elementów produkcyjnych, ocenianych przez tych samych osób według tej samej skali, a następnie umieszczanych obok decyzji podjętych przez agenta. Różnice są przekazywane agencie diagnostycznemu, który identyfikuje awaryjny element procesu i uruchamia automatyczną kalibrację właśnie tej części, bez udziału człowieka na tym etapie.
Dwa podagenty tworzą autotuner. Reflect analizuje różnice zdań, odrzuca szum i określa ukryty wzorzec systemowy stojący za nimi. Synthesize bierze to ustalenie, edytuje polecenie lub konfigurację danego agenta i ponownie testuje nową wersję na zbiorze referencyjnym przed wydaniem. Tylko wersja, która przeszła testy, jest zapisywana jako nowa wersja konfiguracji, a kolejna produkcja automatycznie ją wykorzystuje. To właśnie zapobiega temu, by system, który uruchomił się poprawnie, stopniowo tracił funkcjonalność już po pół roku.
Trzy pętle sprzężenia zwrotnego działające jednocześnie
Korekta odchyłek to zaledwie jedna z trzech pętli działających równolegle:
- Pętla modelu. Opisana powyżej automatyczna korekta odchyłek i regresji.
Idea sera szwajcarskiego
Kluczowa koncepcja łączy to wszystko w całość. Żaden pojedynczy etap kontroli jakości w tym systemie nie jest doskonały: kryteria routingu, sprawdzenie generacji oraz ostateczna weryfikacja gotowości do publikacji – wszystkie mają swoje braki. Gdy jednak łączy się kilka takich niedoskonałych kontrol, zły wynik musi przejść przez każdą z nich jednocześnie, aby dotrzeć do klienta. Szanse na to szybko spadają z każdą dodaną warstwą. Działa to jak warstwy szwajcarskiego sera – każda ma dziury, ale prawdopodobieństwo, że wszystkie dziury będą się pokrywać w całej grubości, szybko maleje.
Czego należy się nauczyć
Oto, jak wygląda ocena, gdy przekracza ramy pojedynczego skryptu testowego offline:
- Dwie rodziny metryk dla dwóch typów problemów: klasyfikacja w przypadku routingu oraz porównanie parowe przy generacji.
- Jedna metryka wybierana celowo jako zabezpieczenie, ponieważ fałszywie ujemne wyniki są droższe niż fałszywie pozytywne.
Nic z tego nie polega na egzotycznych technologiach. To zdyscyplinowany projekt systemu oparty na ocenie, stosowany na dużą skalę.