Оцінка в замкнутому циклі для серійного агента обробки зображень: що представило Uber Eats.
Дослідження конкретного випадку проектування механізмів оцінки функції покращення якості фото в Uber Eats: повторне перевірення маршрутів, критерій pass@K, діагностика відхилень, автоматична налаштування та багатошарові етапи перевірки якості.
Команда з штучного інтелекту Uber виступила на конференції World’s Fair AI Engineer під назвою "Створення оцінок у замкнутому циклі для багатомодального агента у великих масштабах." Це рідкісний конкретний огляд того, як працюють процеси оцінки в реальних системах у великих обсягах, а також тих рішень щодо проектування, які запобігають погіршенню якості системи без помітних наслідків. Далі наведено приклад такої системи.
Проблема
Для багатьох клієнтів саме фотографія їжі вирішує питання про замовлення. Однак для менших, незалежних продавців у Uber Eats ця фотографія часто є недостатньо якісною: тьмяне освітлення, невдалий кадрування, розмитість. Вина не в їжі — професійна фотографія вимагає часу, навичок та грошей, яких немає у маленькому ресторані.
Очевидним рішенням є автоматичне покращення фото за допомогою ШІ, але є проблема. Люди не довіряють зображенням їжі, створеним ШІ. Якщо додаток показує щось надзвичайно ідеальне, довіра зникає. Тому системі доводиться йти вузьким шляхом: покращувати зображення, не спотворюючи справжній вигляд страви, уникати одноманітності фото всіх продавців та робити все це на величезному глобальному ринку, де ручна обробка є неможливою.
Визначені цілі були такими:
- Зберігати вірність оригінальній страві
- Покращувати якість лише там, де це справді необхідно
- Зберігати візуальне різноманіття на ринку, уникаючи однорідності
- Ніколи не публікувати нічого, що порушує правила
- Продовжувати навчатися на основі нових даних
- Робити все це ефективно та масштабовано
Чому агент, а не фіксований скрипт
На одному крайньому полюсі знаходиться детерміністичний редактор фотографій, який базується на правилах. Він передбачуваний та керований, але крихкий, оскільки не може впоратися з різноманітністю страв, кухонь та умов фотографування на світовому ринку. На іншому крайньому полюсі — повністю неконтрольований генеративний агент, який є гнучким, але не гарантує відсутності вигадування інгредієнтів чи відхилення від брендових стандартів.
Дизайн Uber свідомо знаходиться між цими двома підходами. Агент має достатньо свободи для аналізу кожної зображення, водночас кожне рішення контролюється за допомогою правил, перевірок якості та оцінок, заснованих на людському судженні. Поєднання автономії та обмежень є принципом, на якому будується весь процес.
Як працює цей процес
- Розуміння та маршрутизація. Багатомодальна модель аналізує фото разом із текстовими метаданими, такими як назва та опис страви, та створює структурований опис, який враховує освітлення, композицію, належне заповнення кадру елементом та подібні характеристики. Агент з маршрутизації оцінює цей опис за певною шкалою та робить єдиний вибір: покращити фото чи залишити його у первісному вигляді.
- Цикл генерації. Фото, призначене для покращення, потрапляє у цикл з трьох кроків. Спочатку створюється конкретний запит на редагування для цього зображення, потім виконується редагування, а після цього результат перевіряється за критеріями якості щодо вірності оригіналу, наявності незмінних ділянок, природності композиції та збереження кольорів. Якщо перевірка провалюється, отримані відгуки враховуються під час наступної спроби створення запиту. Якщо проблеми тривають після досягнення певної кількості спроб, система не допускає погано виконане редагування — фото залишається у первісному вигляді.
Оцінка роутера як завдання класифікації
Рішення «надіслати чи пропустити» чітко відображається у матриці плутанини:
- Правдиво позитивний випадок: справді погана фотографія, яку правильно надсилають на покращення.
- Правдиво негативний випадок: справді гарна фотографія, яку правильно залишають без змін.
- Хибно позитивний випадок: гарна фотографія, яку все одно покращують. Це марнує ресурси обчислень, а ідеальна фотографія ризикує бути погіршена.
Пропуск поганої фотографії коштує дорожче, ніж зайва оптимізація, тому механізм розподілу обробляється з урахуванням кількості повернених до перевірки зображень як критерію безпеки. Частина витрат на займану оптимізацію вважається ціною за те, щоб не допускати погані фотографії.
Два приклади з презентації наглядно демонструють цей компроміс. Фото майже ідеального чізбургера було відхилене через технічні недоліки, проте все одно піддане оптимізації, що стало суто марною витратою. Навпаки, фото з шістьма курячими крилами під назвою страви «вісім крил» пройшло без уваги алгоритму. Це була помилка під час перевірки, причому небезпечна, адже передача його на обробку загрожує тим, що модель вигадає два додаткові крила, щоб узгодитися з описом. Створення деталей, які відповідають тексту, а не тому, що видно на фото, — саме це має виявити перевірка на відповідність, що пояснює, чому такі перевірки мають значення на практиці, а не лише на папері.
Оцінка генерації через парні порівняння
Як тільки зображення проходить етап покращення, не існує єдиного правильного результату. Питання полягає у тому, чи є результат насправді кращим за вхідний, оцінюваним за точністю, повнотою та реалізмом, з відповіддю «так», «ні» або «невизначено».
Важливим показником є pass@K – частка зображень, які пройшли перевірку після K спроб. Здорова крива зростає зі збільшенням K, оскільки кожна невдала спроба повертає конкретну інформацію для виправлення наступного разу. Один із прикладів з доповіді стосувався картоплею фрі з батату, яка не пройшла першу перевірку через неправильний розмір порції та нереалістичне подання, але пройшла другу спробу після врахування цих зауважень.
Саме випадки невдач навчають найбільше:
- Редагування, під час якого додали креветки, яких не було у оригінальній страві, провалюється з точки зору точності.
- Редагування, під час якого прибрали стаканчик з соусом з краю тарілки, провалюється з точки зору повноти.
Останній випадок є прикладом маніпулювання показниками — він відповідає формальним критеріям, але не їхній суті. Це нагадування про те, що етап перевірки якості має на меті оцінку „суттєво кращого“ рішення, а не просто відсутності помилок у чітко визначених перевірках.
Два цикли узгодження: досягнення версії v1 та підтримання коректності
Перша версія, готова до використання, не вимагає особливих хитрощів. Складається набір даних, який охоплює регіони, типи страв та рівні якості фотографій, а люди-етикетувальники оцінюють його за об’єктивною шкалою, що обмежує упередження, щоб створити ідеальний набір. Агент тестується на цьому наборі. Якщо він пройшов усі вимоги, це означає схвалення; якщо ні — потрібна додаткова налаштування.
Зберігати точність після запуску складніше, адже реальний трафік є більш хаотичним, ніж може передбачити будь-який фіксований офлайн-набір даних. Рішенням є постійний збір зразків продуктів, оцінених тими самими етикетувальниками за тією ж шкалою, а потім порівняння їх із рішеннями, які приймає агент. Розбіжності передаються агенту-діагносту, який визначає проблемну частину процесу та запускає автоматичну налаштування саме для неї, без участі людини на цьому етапі.
Автотюнер складається з двох підагентів. Функція Reflect досліджує розбіжності, видаляє шум та визначає системну закономірність, що стоїть за ними. Функція Synthesize бере ці результати, редагує команди або налаштування відповідного агента та знову тестує нову версію на «золотому» наборі даних перед випуском. Лише версія, яка пройшла тестування, зберігається як нова версія налаштувань, і наступна серія обробки автоматично використовує її. Саме це запобігає тому, що система, яка запустилася правильно, поступово почне втрачати функціональність протягом півроку.
Три зворотні ланцюги, що працюють одночасно
Корекція відхилень — це лише один із трьох ланцюгів, які працюють паралельно:
- Ланцюг моделі. Автоматична корекція відхилень та регресії, описана вище.
Ідея «швейцарського сиру»
Заключна концепція об’єднує все це в єдине ціле. Жоден окремий етап перевірки якості в цій системі не є ідеальним: критерії маршрутизації, перевірка генерації та фінальна перевірка готовності до публікації — у всіх є недоліки. Однак якщо поєднати кілька таких недосконалих перевірок, поганий результат мусить пройти кожну з них одночасно, щоб дістатися до клієнта. Шанси на це швидко зменшуються з кожним доданим етапом. Це схоже на шари швейцарського сиру, де кожен шар має отвори, але ймовірність того, що всі отвори збігатимуться один за одним, дуже мала.
Що варто знати
Ось як виглядає оцінювання, коли воно виходить за межі простого офлайн-скрипта тестування:
- Два набори метрик для двох типів проблем: класифікація для маршрутизації та порівняння пар для генерації.
- Одна метрика обирається навмисно як захисний механізм, оскільки хибно негативні результати коштують дорожче, ніж хибно позитивні.
Усе це не ґрунтується на екзотичних технологіях. Це дисципліноване проектування системи для оцінки, застосоване у масштабах.