Главная / Статьи

Оценка в замкнутом цикле для производственного агента обработки изображений: что представило Uber Eats

Исследование конкретного случая проектирования оценки алгоритма улучшения фотографий в Uber Eats: повторный анализ маршрутов, метод pass@K, диагностика отклонений, автоматическая настройка и многоуровневые этапы проверки качества.

Издатель: REACTAPP.TOP7 мин чтения1602 слов

Источники: https://medium.com/@hello_62602/inside-uber-eats-closed-loop-eval-system-for-a-production-ai-agent-1bbe1206f5aa

Команда машинного обучения Uber выступила на Всемирной ярмарке инженеров искусственного интеллекта с докладом под названием «Создание оценочных систем замкнутого цикла для мультимодального агента в крупном масштабе». Это редкий конкретный пример того, как происходят оценки в реальной системе при больших объемах данных, а также какие решения позволяют избежать ухудшения качества системы незаметно для пользователей. Далее приводится кейс-стади этой системы.

Проблема

Для многих клиентов именно фото блюда становится решающим фактором при принятии решения о заказе. Однако у небольших независимых продавцов в Uber Eats такие фото часто бывают некачественными: тусклое освещение, неудобный кадр, размытие. Вина за это не в самом блюде — профессиональная фотосъемка требует времени, навыков и денег, которых у небольшого ресторана нет.

Очевидным решением является автоматическое улучшение фотографий с помощью ИИ, но здесь есть проблема. Люди не доверяют изображениям еды, сгенерированным ИИ. Если приложение показывает что-то чрезмерно идеальное, доверие снижается. Поэтому системе приходится идти по тонкой грани: улучшать изображения, не искажая внешний вид блюда, избегать превращения фотографий всех продавцов в один универсальный стиль, и делать всё это на огромном глобальном рынке, где ручная обработка невозможна.

Заданные цели были следующими:

  • Сохранять верность оригинальному блюду
  • Улучшать качество только там, где это действительно необходимо
  • Сохранять визуальное разнообразие рынка, предотвращая его гомогенизацию
  • Никогда не публиковать ничего, что нарушает правила
  • Продолжать учиться на новых данных
  • Делать всё это экономично в масштабах

Почему агент, а не фиксированный скрипт

В одном крайнем случае мы имеем детерминистический редактор фотографий, основанный на правилах. Он предсказуем и управляем, но хрупок, поскольку не может справиться с разнообразием блюд, кухонь и условий съемки на мировом рынке. В другом крайнем случае — полностью свободный генеративный агент, который гибок, но не гарантирует отсутствия возможности изобрести новые ингредиенты или отклониться от брендового стиля.

Дизайн Uber намеренно находится между этими двумя подходами. Агент имеет достаточно свободы для анализа каждого изображения, в то время как каждое решение контролируется правилами, этапами проверки качества и оценкой, основанной на человеческом суждении. Сочетание автономии и ограничений — это принцип, на котором построена вся система.

Как работает система

  1. Понимание содержимого и маршрутизация. Мультимодальная модель анализирует фотографию вместе с текстовыми метаданными, такими как название и описание блюда, и формирует структурированный описывающий текст, в котором учитываются освещение, композиция, правильность заполнения кадра изображением и подобные характеристики. Агент для маршрутизации оценивает результат согласно установленным критериям и принимает решение: улучшить изображение или оставить его в первоначальном виде.
  2. Цикл генерации. Фотография, направленная на улучшение, проходит цикл из трех шагов. Сначала генерируется специфический запрос на редактирование для данного изображения, затем выполняется редактирование, и в конце проверяется результат с точки зрения соответствия исходному виду, отсутствия изменений в некоторых областях, естественности композиции и сохранения цветов. Если проверка не проходит, полученная обратная связь учитывается при следующей попытке генерации запроса. Если неудачи продолжаются после достижения определенного количества попыток, система не принимает некачественное редактирование и сохраняет первоначальную фотографию.
  • Заключительная проверка качества и публикация. Перед тем, как контент появится в рабочем меню, проводится дополнительная проверка.
  • Логгирование. Каждый этап обработки каждого изображения записывается в одну структурированную запись JSON. Эта система была создана ещё до внедрения описанных ниже систем оптимизации, исходя из принципа, что систему невозможно оптимизировать без полного отслеживания её работы, а для самокорректирующегося цикла необходимы записи данных для анализа.
  • Оценка маршрутизатора как задачи классификации

    Решение о том, направлять изображение на обработку или игнорировать его, можно четко отразить с помощью матрицы путаницы:

    • Истинно положительный результат: действительно плохое изображение, которое правильно направляется на улучшение.
    • Истинно отрицательный результат: действительно хорошее изображение, которое правильно оставлено без изменений.
    • Ложно положительный результат: качественное изображение, которое всё равно подвергается улучшению. Это приводит к расточительству вычислительных ресурсов, а также к риску ухудшения качества отличного изображения.
  • Ложноотрицательный результат: некачественная фотография, которая проходит без проверки. Команда Uber считает это опасным случаем — тихим ухудшением качества, которое никто не замечает до тех пор, пока клиент не подаст жалобу.
  • Пропуск плохой фотографии стоит дороже, чем ненужная обработка изображения, поэтому алгоритмы распределения настраиваются с учетом коэффициента возврата как критерия безопасности. Часть расходов на ненужную обработку считается ценой, необходимой для того, чтобы не пропускать плохие фотографии.

    Два примера из доклада наглядно показывают этот компромисс. Фотография почти идеального чизбургера была отмечена как технически не соответствующая стандартам, но всё равно подверглась улучшению — это была ошибка из-за недостаточной точности, приведшая к пустой трате ресурсов. В противоположном случае фотография шести куриных крылышек под названием блюда «восемь кусочков крылышек» проигнорировала система. Это была ошибка при отборе для улучшения, причём опасная, поскольку отправка её на обработку создавала риск того, что модель выдумает ещё два крылышка, чтобы соответствовать описанию. Создание деталей в соответствии с текстом, а не с тем, что видно на фото, — именно то, что предназначены проверки верности для выявления, и это объясняет, почему такие проверки важны на практике, а не только на бумаге.

    Оценка генерации через парное сравнение

    Как только изображение проходит процедуру улучшения, не существует единственно верного результата. Вопрос заключается в том, действительно ли получившийся результат лучше исходного с точки зрения верности, полноты и реалистичности, причем ответ может быть «да», «нет» или «неизвестно».

    Важным показателем является значение pass@K — доля изображений, которые проходят проверку после K попыток. Здоровая кривая этого показателя растет по мере увеличения K, поскольку каждая неудачная попытка предоставляет конкретную обратную связь для корректировки в следующий раз. В примере, приведенном на презентации, картофель фри из сладкого картофеля не прошел первую проверку из-за неправильного размера порции и нереалистичного подачи, но прошел вторую попытку после учета этих замечаний.

    Именно случаи неудач учат большему:

    • Редактирование, при котором были добавлены креветки, которых не было в оригинальном блюде, проваливается с точки зрения верности.
    • Редактирование, при котором была убрана ложка с соусом с края тарелки, проваливается с точки зрения полноты.
  • Более тонкий случай: агент сделал по-настоящему творческую правку, но этап проверки качества её отклонил. Вместо того чтобы внести целенаправленную коррекцию, модель перекорректировала результат и вернулась к простой, стандартной керамической миске. Такой вариант прошёл проверку качества, но не представлял собой реального улучшения.
  • Этот последний случай является хакингом показателей оценки: выполняются формальные требования метрик, но не соблюдается их истинная цель. Это напоминает о том, что этап проверки качества должен иметь критерий, отражающий «значимое улучшение», а не просто отсутствие нарушений явных проверок.

    Два цикла согласования: достижение версии v1 и поддержание корректности

    Первая версия, готовая к выпуску, не требует особых улучшений. Собирается набор данных, охватывающий разные регионы, типы блюд и уровни качества фотографий; люди-маркировщики оценивают их с использованием объективной шкалы, минимизирующей предвзятость, чтобы создать эталонный набор. Агент тестируется на основе этого набора. Если он преодолевает все проверки, его выпускают; в противном случае требуется дальнейшая настройка.

    Сохранять точность после запуска сложнее, поскольку реальные данные более хаотичны, чем может предсказать любой фиксированный офлайн-набор данных. Решением является постоянный отбор образцов из реальных данных, оцениваемых теми же маркировщиками по той же шкале, после чего их сравнивают с решениями, принятыми агентом. Разногласия передаются специальному агенту-диагносту, который выявляет неисправный компонент в работе системы и запускает автоматическую процедуру настройки именно для этой части, без участия людей на данном этапе.

    Автотюнер состоит из двух вспомогательных агентов. Функция Reflect анализирует разногласия, устраняет шум и выявляет систематическую закономерность, лежащую в их основе. Функция Synthesize берет эти результаты, изменяет команду или конфигурацию соответствующего агента и снова тестирует новую версию на эталонном наборе перед выпуском. Только версия, прошедшая тесты, сохраняется как новая версия конфигурации, и следующий цикл работы системы автоматически использует её. Именно это предотвращает постепенное ухудшение работы системы, которая изначально запускалась корректно, в течение полугода.

    Три обратных связи, работающих одновременно

    Коррекция смещений — это лишь один из трех циклов, действующих параллельно:

    1. Цикл модели. Автоматическая коррекция смещений и регрессии, описанная выше.
  • Цикл тестирования среди собственных пользователей. Внутренние команды и продавцы оставляют простые оценки «лайк» или «дизлайк», а также текстовые отзывы до и во время запуска, причем эти данные также используются для диагностики.
  • Цикл тестирования на рынке. Настоящие тесты типа A/B с учетом бизнес-метрик, таких как коэффициент конверсии и доля товаров в корзине, с разбивкой по географии, устройствам и типам блюд, показывают, где улучшения действительно влияют на результаты, а где — нет.
  • Идея «швейцарского сыра»

    Заключительная концепция связывает всё воедино. Ни один из этапов контроля качества в данной системе не является идеальным: правила маршрутизации, проверка генерации и окончательная проверка перед публикацией — у всех есть недостатки. Однако если объединить несколько таких неполных проверок, чтобы плохой результат добрался до клиента, ему необходимо пройти через все из них одновременно. Шансы на это резко снижаются с каждым добавленным этапом. Это похоже на слои швейцарского сыра: у каждого слоя есть дыры, но вероятность того, что все дыры совпадут по всей глубине, быстро становится малой.

    Чему стоит научиться

    Вот как выглядит оценка, когда она выходит за рамки простого офлайн-скрипта тестирования:

    • Два набора метрик для двух типов задач: классификация для маршрутизации и парное сравнение для генерации.
    • Одна метрика выбирается специально в качестве ограничительного фактора, поскольку ложноотрицательные результаты стоят дороже, чем ложноположительные.
  • Система трубопровода, которая автоматически выявляет собственное отклонение, причем человек об этом не узнает первым.
  • Многоуровневая система контроля качества, основанная на предположении, что любая отдельная проверка может и иногда действительно будет провалена.
  • Ничто из этого не зависит от экзотических технологий. Это дисциплинированный подход к проектированию систем для оценки, применяемый в масштабах.