Startseite / Artikel

Schließungszyklus-Bewertungen für einen Produktionsbildalgorithmus: Was Uber Eats vorgestellt hat.

Eine Fallstudie zum Bewertungsdesign hinter dem Bildverbesserungsalgorithmus von Uber Eats: Router-Rückruf, Pass@K, Drift-Diagnose, Autotuning sowie schichtweise Qualitätskontrollen.

Verlag: REACTAPP.TOP7 Min. Lesezeit1602 Wörter

Quellen: https://medium.com/@hello_62602/inside-uber-eats-closed-loop-eval-system-for-a-production-ai-agent-1bbe1206f5aa

Das ML-Team von Uber hielt auf der AI Engineer World’s Fair einen Vortrag mit dem Titel „Building Closed-Loop Evals for a Multimodal Agent at Scale“. Es handelt sich dabei um einen seltenen, konkreten Einblick in die Funktionsweise von Evaluationsprozessen in einem echten System bei großem Umfang sowie in die Gestaltungsentscheidungen, die verhindern, dass das System ohne dass jemand es bemerkt, an Leistung verliert. Im Folgenden wird eine Fallstudie zu diesem System vorgestellt.

Das Problem

Für viele Kunden ist ein Foto vom Essen der entscheidende Faktor für eine Bestellung. Bei kleineren, unabhängigen Händlern auf Uber Eats ist dieses Foto oft von schlechter Qualität: schwaches Licht, unpassende Aufnahmebedingungen, weicher Fokus. Das Essen selbst trägt keine Schuld – professionelle Fotografie erfordert Zeit, Fähigkeiten und Geld, die ein kleines Restaurant nicht besitzt.

Eine offensichtliche Lösung besteht darin, das Foto mithilfe von KI automatisch zu verbessern – doch es gibt ein Problem. Die Menschen misstrauen Bildern von Essen, die durch KI erzeugt wurden. Wenn die App etwas zeigt, das unnatürlich perfekt aussieht, sinkt das Vertrauen. Daher muss das System einen schmalen Weg gehen: Es muss das Bild verbessern, ohne das Gericht falsch darzustellen, vermeiden, die Fotos aller Händler in ein einheitliches Aussehen zu pressen, und all das auf einem riesigen globalen Markt bewältigen, wo eine manuelle Bearbeitung völlig ausgeschlossen ist.

Die gesteckten Ziele waren:

  • Dem ursprünglichen Gericht treu bleiben
  • Nur dort die Qualität verbessern, wo es wirklich notwendig ist
  • Sicherstellen, dass der Markt visuell vielfältig und nicht homogen bleibt
  • Niemals etwas veröffentlichen, was gegen die Richtlinien verstößt
  • Sich ständig aus neuen Daten weiterbilden
  • All das kosteneffizient in großem Maßstab umsetzen

Warum ein Agent und nicht ein fester Script?

Am einen Extrem steht ein deterministischer, regelbasierter Fotoeditor. Er ist vorhersehbar und steuerbar, aber anfällig, da er mit der Vielfalt an Gerichten, Küchen und Fotobedingungen auf einem weltweiten Markt nicht zurechtkommt. Am anderen Extrem befindet sich ein völlig unbeschränkter generativer Agent, der zwar flexibel ist, aber keine Garantie dafür bietet, dass er keine neuen Zutaten erfunden oder vom ursprünglichen Konzept abgewichen wird.

Ubers Design positioniert sich bewusst zwischen diesen beiden Ansätzen. Der Agent hat ausreichend Freiraum, um über jedes Bild nachzudenken, während jede Entscheidung durch Sicherheitsmechanismen, Qualitätskontrollen sowie Bewertungen unter Berücksichtigung menschlicher Urteile begleitet wird. Die Kombination aus Autonomie und Beschränkungen ist das Prinzip, auf dem der gesamte Prozess beruht.

Wie der Prozess abläuft

  1. Verständnis und Routenbestimmung. Ein multimodales Modell prüft das Foto zusammen mit Textmetadaten wie dem Namen und der Beschreibung des Gerichts und erstellt eine strukturierte Beschreibung, die Beleuchtung, das Framing, ob das Objekt den Bildausschnitt ordnungsgemäß ausfüllt sowie ähnliche Eigenschaften umfasst. Ein Routenagent bewertet dies anhand eines Bewertungsschemas und trifft eine Entscheidung: das Bild verbessern oder es unverändert belassen.
  2. Der Generierungszyklus. Ein zum Verbessern bestimmtes Foto gelangt in einen Zyklus aus drei Schritten. Zunächst wird ein spezifischer Bearbeitungsauftrag für dieses Bild erstellt, anschließend erfolgt die Bearbeitung, und schließlich wird das Ergebnis an einer Qualitätskontrollstelle auf Treue, unveränderte Bereiche, natürliche Präsentation und beibehaltene Farben überprüft. Sollte die Überprüfung fehlschlagen, fließt die Rückmeldung in den nächsten Versuch ein. Wenn nach einer begrenzten Anzahl von Runden weiterhin Fehler auftreten, lässt das System eine mangelhafte Bearbeitung nicht durchgehen und behält das ursprüngliche Foto bei.
  • Endgültige Qualitätskontrolle und Veröffentlichung. Vor dem Eintrag in das Live-Menü findet eine umfassendere Endüberprüfung statt.
  • Protokollierung. Jede Phase für jedes Bild wird in einem einzigen, flachen JSON-Eintrag gespeichert. Dies wurde bereits vor allen unten beschriebenen Optimierungssystemen entwickelt, auf der Grundlage der Logik, dass ein System nicht optimiert werden kann, solange es nicht vollständig beobachtet wird, und dass ein selbstkorrigierender Kreislauf Daten zur Lernbasis benötigt.
  • Bewertung des Routers als Klassifizierungsaufgabe

    Die Entscheidung „verarbeiten“ oder „überspringen“ lässt sich eindeutig in eine Verwirrungsmatrix übertragen:

    • Wahrer Positivfall: Ein wirklich schlechtes Foto, das korrekt zur Verbesserung gesendet wird.
    • Wahrer Negativfall: Ein wirklich gutes Foto, das korrekt unberührt bleibt.
    • Falscher Positivfall: Ein gutes Foto, das dennoch verbessert wird. Dadurch wird Rechenleistung verschwendet, und ein perfektes Bild läuft Gefahr, beeinträchtigt zu werden.
  • Falschnegativ: Ein schlechter Foto, der unerkannt durchgeht. Ubers Team betrachtet dies als gefährlichen Fall – eine stillschweigende Verschlechterung, die niemand bemerkt, bis ein Kunde sich beschwert.
  • Ein übersehener schlechtes Foto kostet mehr als eine unnötige Verbesserung, daher wird die Routenwahl unter Berücksichtigung der Rückrufrate als Schutzmaßnahme gesteuert. Einiger verschwendeter Aufwand für Verbesserungen wird in Kauf genommen, um zu verhindern, dass schlechte Fotos durchkommen.

    Zwei Beispiele aus dem Vortrag machen den Kompromiss greifbar. Ein nahezu perfektes Foto eines Cheeseburgers wurde technisch gesehen als ungenügend eingestuft und dennoch aufbereitet – ein Fehler, der reine Kostenverschwendung darstellte. In die entgegengesetzte Richtung wurde ein Foto mit sechs Hähnchenflügeln unter der Bezeichnung „Achtstück-Flügel“ vom Filter übergangen. Das war ein Fehler bei der Überprüfung, und zwar ein gefährlicher, da die Weiterleitung an den Aufbereitungsprozess das Risiko birgt, dass das Modell zwei zusätzliche Flügel erfindet, um zur Beschreibung zu passen. Das Erfinden von Details, um den Text zu ergänzen anstelle dessen, was sichtbar ist, ist genau das, was eine Nachprüfung auf Treueverhalten verhindern soll – und zeigt, warum solche Checks in der Praxis wichtig sind und nicht nur auf dem Papier.

    Bewertung der Generierung durch paarende Vergleiche

    Sobald ein Bild der Verbesserung zugeführt wird, gibt es keine feste richtige Ausgabe. Die Frage ist, ob das Ergebnis tatsächlich besser als die Eingabe ist – beurteilt anhand von Treue, Vollständigkeit und Realismus – wobei die Antwort ja, nein oder unklar sein kann.

    Die wichtige Kennzahl ist pass@K, der Anteil der Bilder, die nach K Versuchen bestehen. Eine gesunde Kurve steigt mit K an, da jeder fehlgeschlagene Versuch spezifische Rückmeldungen liefert, um beim nächsten Mal Korrekturen vorzunehmen. Ein Beispiel aus dem Vortrag betraf Süßkartoffelchips, die beim ersten Qualitätscheck wegen falscher Portionengröße und unrealistischer Präsentation durchfielen, dann aber beim zweiten Versuch bestanden, nachdem diese Rückmeldungen berücksichtigt wurden.

    Die Fehlfallbeispiele lehren am meisten:

    • Eine Bearbeitung, bei der Garnelen hinzugefügt wurden, die ursprünglich nicht im Gericht enthalten waren, scheitert aufgrund mangelnder Treue gänzlich.
    • Eine Bearbeitung, bei der ein Saucenglas am Rand des Tellers entfernt wurde, scheitert an mangelnder Vollständigkeit.
  • Ein subtilerer Fall: Der Agent führte eine wirklich kreative Anpassung durch, doch die QA-Prüfung lehnte sie ab. Anstatt eine gezielte Korrektur vorzunehmen, überkompensierte das Modell und kehrte zu einer langweiligen, generischen Keramikschale zurück. Diese wurde zwar von der QA-Prüfung akzeptiert, stellte aber keine echte Verbesserung dar.
  • Der letzte Fall ist ein Beispiel für Reward-Hacking – er erfüllt zwar die formellen Kriterien einer Metrik, verfehlt aber deren eigentlichen Zweck. Er erinnert daran, dass eine QA-Prüfung ein Kriterium benötigt, das „bedeutend bessere“ Ergebnisse erfasst und nicht lediglich darauf abzielt, dass keine expliziten Prüfungen fehlschlagen.

    Zwei Ausrichtungsschleifen: Erreichen von v1 und anschließendes Beibehalten der Korrektheit

    Eine erste verfügbare Version erfordert keine besonderen Tricks. Es wird ein Datensatz zusammengestellt, der verschiedene Regionen, Gerichtstypen und Fotoqualitätsstufen abdeckt, und menschliche Labeler bewerten ihn anhand eines objektiven Kriterienkatalogs, der Vorurteile minimiert, um so den „goldenen Datensatz“ zu erstellen. Der Agent wird anschließend mit diesem Datensatz getestet. Wenn die festgelegten Kriterien erfüllt sind, erfolgt die Freigabe; andernfalls ist weitere Anpassung notwendig.

    Das Korrektbleiben nach dem Release ist schwieriger, da der Live-Verkehr unvorhersehbarer ist als jedes feste Offline-Datensatz es vorhersagen kann. Die Lösung besteht darin, kontinuierlich Beispiele aus der Produktion zu sammeln, die von denselben Labelern nach demselben Kriterienkatalog bewertet werden, und diese anschließend mit den Entscheidungen des Agents zu vergleichen. Bei Unstimmigkeiten wird ein Diagnoseagent eingeschaltet, der den fehlerhaften Bestandteil in der Verarbeitungskette ermittelt und eine automatische Anpassung nur für diesen Teil einleitet – ohne menschliches Eingreifen in diesem Schritt.

    Zwei Unteragenten bilden den Autotuner. Reflect untersucht die Meinungsverschiedenheiten, entfernt den „Rausch“ und benennt das dahinterliegende systemische Muster. Synthesize nimmt diese Erkenntnisse auf, bearbeitet die Anweisungen oder Konfiguration des betroffenen Agenten und testet die neue Version vor der Veröffentlichung erneut am „Golden Set“. Nur eine erfolgreiche Version wird als neue Konfigurationsversion gespeichert, und der anschließende Produktionslauf verwendet sie automatisch. Dadurch wird verhindert, dass ein korrekt gestartetes System nach einem halben Jahr stillschweigend verfällt.

    Drei Feedbackschleifen arbeiten gleichzeitig

    Die Driftkorrektur ist nur eine von drei parallel arbeitenden Schleifen:

    1. Die Modellschleife. Die oben beschriebene automatische Korrektur von Drift und Regression.
  • Der Dogfooding-Zyklus. Interne Teams sowie Händler geben vor und während des Rollouts einfache Zustimmungs- oder Ablehnungskennzeichen sowie Textkommentare ab, und diese Einträge fließen ebenfalls in den Diagnosewerkzeug ein.
  • Der Marktplatz-Zyklus. Echte A/B-Tests anhand von Geschäftsmetriken wie Konversionsrate und Add-to-Cart-Rate, aufgeschlüsselt nach Geografie, Gerät und Gerichtstyp, zeigen, wo Verbesserungen tatsächlich zu besseren Ergebnissen führen und wo nicht.
  • Die Schweizer-Käse-Idee

    Das abschließende Konzept verbindet alles miteinander. Keine einzelne Qualitätskontrollstufe in diesem System ist perfekt: Die Routenbestimmung, die Erstellungsprüfung sowie die endgültige Prüfung vor der Veröffentlichung weisen alle Mängel auf. Wenn jedoch mehrere unvollkommene Prüfungen hintereinander angeordnet werden, muss ein fehlerhafter Ausgangstext alle davon gleichzeitig bestehen, um den Kunden zu erreichen. Die Wahrscheinlichkeit dafür sinkt mit jedem hinzugefügten Schritt rapide. Es funktioniert wie übereinandergelegte Scheiben von Schweizer Käse – jede Scheibe hat Löcher, doch die Chance, dass alle Löcher genau auf einer Linie liegen, wird schnell sehr gering.

    Was man lernen kann

    So sieht die Bewertung aus, sobald sie über einen einfachen Offline-Testskript hinausgeht:

    • Zwei Metrikfamilien für zwei Arten von Problemen: Klassifizierung bei der Routenbestimmung und Paarvergleich bei der Erstellung.
    • Eine Metrik wird absichtlich als Sicherheitsmaßnahme ausgewählt, weil falsch negative Ergebnisse teurer sind als falsch positive.
  • Ein Pipeline, der seine eigene Abweichung automatisch erkennt, ohne dass ein Mensch es zuerst bemerkt.
  • Eine schichtweise Qualitätskontrolle, die davon ausgeht, dass jede einzelne Überprüfung fehlschlagen kann und manchmal auch tatsächlich fehlschlägt.
  • Alles davon beruht nicht auf exotischer Technologie. Es handelt sich um ein diszipliniertes Systemdesign zur Bewertung, das in großem Maßstab angewandt wird.