Évaluations en boucle fermée pour un système d’images en production : ce que Uber Eats a présenté
Une étude de cas sur la conception d’évaluation du système d’amélioration des photos d’Uber Eats : rappel de routeur, pass@K, diagnostic de dérive, autotuning et étapes de contrôle qualité en plusieurs niveaux.
L’équipe d’IA d’Uber a donné une conférence à la foire mondiale des ingénieurs en IA intitulée « Construire des évaluations en boucle fermée pour un agent multimodal à grande échelle ». Il s’agit d’une analyse rare et concrète du fonctionnement des évaluations en production dans un système réel, à grande échelle, ainsi que des choix de conception qui empêchent le système de se dégrader sans que personne ne s’en aperçoive. Ce qui suit est une étude de cas de ce système.
Le problème
Pour de nombreux clients, c’est la photo du plat qui influence leur décision d’effectuer une commande. Pour les petits commerçants indépendants sur Uber Eats, cette photo est souvent de mauvaise qualité : faible luminosité, cadrage inadapté, flou. Ce n’est pas la faute de la nourriture. La photographie professionnelle nécessite du temps, des compétences et de l’argent que les petits restaurants ne disposent pas.
Un remède évident consiste à améliorer automatiquement la photo grâce à l’IA, mais il y a un problème : les gens ne font pas confiance aux images de nourriture générées par l’IA. Si l’application affiche quelque chose qui semble artificiellement parfait, la confiance disparaît. Le système doit donc emprunter un chemin délicat : il doit améliorer l’image sans déformer le plat, éviter de rendre toutes les photos des vendeurs identiques, et tout cela sur un vaste marché mondial où l’édition manuelle est impossible.
Les objectifs fixés étaient les suivants :
- Rester fidèle au plat original
- Améliorer la qualité uniquement là où c’est vraiment nécessaire
- Préserver une variété visuelle sur le marché et éviter l’homogénéisation
- Ne jamais publier quoi que ce soit qui viole les règles
- Continuer à apprendre à partir de nouvelles données
- Faire tout cela de manière économique à grande échelle
Pourquoi un agent et non un script fixe ?
D’un côté se trouve un éditeur de photos déterministe, basé sur des règles. Il est prévisible et contrôlable, mais fragile, car il ne peut pas faire face à la diversité des plats, des cuisines et des conditions de prise de vue sur un marché mondial. De l’autre côté, on trouve un agent génératif entièrement non contraint, qui est flexible mais ne garantit pas qu’il n’inventera pas de nouveaux ingrédients ou s’éloignera du style de la marque.
La conception d’Uber se situe délibérément entre ces deux extrêmes. L’agent dispose d’une grande marge de manœuvre pour analyser chaque image, tandis que chaque décision est encadrée par des règles de sécurité, des contrôles de qualité et une évaluation fondée sur le jugement humain. C’est la combinaison d’autonomie et de contraintes qui constitue le principe sur lequel repose l’ensemble du processus.
Comment fonctionne le processus
- Compréhension et routage. Un modèle multimodal examine la photo ainsi que les métadonnées textuelles telles que le nom et la description du plat, puis génère une description structurée couvrant l’éclairage, le cadrage, la manière dont l’élément remplit correctement le cadre, et d’autres caractéristiques similaires. Un agent de routage évalue cette description selon des critères prédéfinis et prend une décision : améliorer l’image ou la conserver telle quelle.
- Le cycle de génération. Une photo destinée à être améliorée entre dans un cycle composé de trois étapes. Il est d’abord généré un prompt d’édition spécifique à cette image, l’édition est ensuite effectuée, et le résultat est vérifié pour s’assurer de sa fidélité, du maintien des régions inchangées, d’un présentation naturelle et de la conservation des couleurs. En cas d’échec de cette vérification, les retours d’information sont intégrés à la prochaine tentative de génération de prompt. Si les échecs se poursuivent au-delà d’un nombre maximal de tentatives, le système n’accepte pas l’édition insuffisante et conserve la photo originale.
Évaluation du routeur en tant que tâche de classification
La décision de router ou de sauter une image correspond clairement à une matrice de confusion :
- Positif vrai : une photo vraiment de mauvaise qualité qui est correctement envoyée pour amélioration.
- Négatif vrai : une photo vraiment de bonne qualité qui est correctement laissée tranquille.
- Positif faux : une photo de bonne qualité qui est néanmoins améliorée. Cela représente un gaspillage de ressources informatiques, et une image parfaite risque d’être dégradée.
Manquer une photo de mauvaise qualité coûte plus qu’une amélioration inutile ; c’est pourquoi l’algorithme de routage est ajusté en utilisant le taux de rappel comme métrique de contrôle. Une partie des dépenses d’amélioration inutiles est acceptée en tant que prix à payer pour ne pas laisser passer des photos de mauvaise qualité.
Deux exemples tirés du discours illustrent concrètement cet équilibre délicat. Une photo de cheeseburger presque parfaite a été jugée techniquement insuffisante mais a néanmoins fait l’objet d’un traitement d’amélioration, ce qui représentait un gaspillage pur et simple de ressources. À l’inverse, une photo montrant six ailes de poulet sous la mention « ailes en huit pièces » a été ignorée par le système de filtrage. Il s’agissait d’une erreur de rejet, et une erreur dangereuse, car l’envoyer à l’agent d’amélioration risquait de faire halluciner le modèle en lui faisant imaginer deux ailes supplémentaires pour correspondre à la description. Inventer des détails afin de s’adapter au texte plutôt qu’à ce qui est visible, c’est précisément ce que les vérifications de fidélité visent à détecter, ce qui explique pourquoi ces vérifications sont importantes en pratique et non seulement sur le papier.
Évaluation de la génération par comparaison paire à paire
Lorsqu’une image est soumise à un processus d’amélioration, il n’existe pas de résultat correct fixe. La question est de savoir si le résultat est réellement meilleur que l’image d’entrée, évalué en fonction de la fidélité, de la complétude et du réalisme, avec pour réponse oui, non ou incertain.
Le chiffre à surveiller est pass@K, c’est-à-dire la proportion d’images qui réussissent après K tentatives. Une courbe saine monte avec K, car chaque tentative échouée fournit des retours précis pour corriger les erreurs la prochaine fois. Un exemple donné lors de la présentation concernait des frites de patate douce qui ont échoué au premier contrôle en raison d’une taille de portion incorrecte et d’un présentation irréaliste, mais qui ont réussi à la deuxième tentative une fois ces retours pris en compte.
Ces cas d’échec enseignent le plus :
- Une modification qui ajoute des crevettes, qui n’étaient pas présentes dans le plat original, échoue catégoriquement en termes de fidélité.
- Une modification qui retire un bol de sauce situé au bord de l’assiette échoue en termes de complétude.
Ce dernier cas constitue une manipulation des critères de récompense : on satisfait à la lettre d’une métrique sans en respecter l’intention. Cela rappelle qu’un contrôle de qualité doit avoir pour objectif une amélioration « significative », et non simplement le fait de ne pas déclencher une vérification explicite.
Deux boucles d’alignement : atteindre la version 1, puis rester correct
Une première version prête à être déployée ne nécessite aucun truc particulier. Un ensemble de données est constitué pour couvrir différentes régions, types d’assiettes et niveaux de qualité des photos, puis des annotateurs humains le évaluent selon un critère objectif visant à limiter les biais, afin de former l’ensemble de référence. L’agent est ensuite testé à l’aide de cet ensemble. Atteindre le seuil fixé signifie que la version est prête à être publiée ; ne pas y parvenir nécessite des ajustements supplémentaires.
Rester précis après le lancement est plus difficile, car le trafic en temps réel est bien plus complexe que tout ensemble de données hors ligne fixe ne peut le prédire. La solution consiste à utiliser régulièrement des exemples provenant du système en production, évalués par les mêmes annotateurs selon le même critère, puis à les comparer aux décisions prises réellement par l’agent. Les désaccords sont transmis à un agent de diagnostic, qui identifie la composante du processus défaillante et lance automatiquement des ajustements spécifiques pour cette partie, sans intervention humaine à ce stade.
Deux sous-agents composent l’autotuner. Reflect analyse les désaccords, élimine le bruit et identifie le schéma systémique qui se cache derrière eux. Synthesize prend cette découverte, modifie la commande ou la configuration de l’agent concerné, puis teste à nouveau la nouvelle version sur l’ensemble de référence avant sa mise en production. Seule une version qui réussit le test est enregistrée comme nouvelle version de configuration, et la prochaine exécution en prend automatiquement compte. C’est ainsi que l’on empêche un système qui a démarré correctement de se dégrader progressivement au fil du temps.
Trois boucles de rétroaction fonctionnant en même temps
La correction du dérive n’est qu’une des trois boucles qui opèrent en parallèle :
- La boucle du modèle. La correction automatique du dérive et de la régression décrite ci-dessus.
L’idée du fromage suisse
Le concept final relie tout cela. Aucune étape de contrôle qualité dans ce système n’est parfaite : la grille de routage, la vérification de génération et la vérification finale avant publication présentent toutes des lacunes. Cependant, en superposant plusieurs contrôles imparfaits, un résultat défectueux doit passer par chacun d’eux simultanément pour atteindre le client. Les chances que cela se produise diminuent rapidement avec chaque couche ajoutée. C’est comme des tranches de fromage suisse empilées, où chaque tranche comporte des trous, mais les chances que ces trous se alignent sur toute la hauteur deviennent très faibles rapidement.
Ce qu’il y a à apprendre
C’est ainsi que se présente l’évaluation une fois qu’elle dépasse le cadre d’un simple script de test hors ligne :
- Deux familles de métriques pour deux types de problèmes : la classification pour le routage et la comparaison par paires pour la génération.
- Une métrique choisie délibérément comme garde-fou, car les faux négatifs coûtent plus cher que les faux positifs.
Rien de tout cela ne repose sur des technologies exotiques. Il s’agit d’une conception de système rigoureuse centrée sur l’évaluation, appliquée à grande échelle.