Evaluaciones en bucle cerrado para un agente de imágenes en producción: lo que presentó Uber Eats
Un estudio de caso sobre el diseño de evaluación detrás del agente de mejora de fotos de Uber Eats: recuperación de rutas, pass@K, diagnóstico de desviaciones, autotuning y puertas de control de calidad en capas.
El equipo de inteligencia artificial de Uber dio una presentación en la Feria Mundial de Ingenieros de IA titulada “Construcción de evaluaciones en bucle cerrado para un agente multimodal a gran escala”. Se trata de una visión rara y concreta de cómo funcionan las evaluaciones en producción en un sistema real a gran volumen, así como de las decisiones de diseño que evitan que el sistema se deteriore sin que nadie se dé cuenta. A continuación se presenta un estudio de caso de dicho sistema.
El problema
Para muchos clientes, una foto de la comida es lo que decide si realizan el pedido. Para los comerciantes independientes más pequeños en Uber Eats, esa foto suele ser de mala calidad: poca luz, encuadre inadecuado y enfoque suave. La culpa no es de la comida; la fotografía profesional requiere tiempo, habilidad y dinero que un restaurante pequeño no dispone.
Un remedio obvio es mejorar la foto automáticamente con inteligencia artificial, pero hay un problema: la gente desconfía de las imágenes de alimentos generadas por IA. Si la aplicación muestra algo que parece excesivamente perfecto, se pierde la confianza. Por lo tanto, el sistema debe seguir un camino delicado: mejorar la imagen sin distorsionar el plato, evitar que las fotos de todos los vendedores tengan un aspecto genérico idéntico, y hacer todo esto en un enorme mercado global donde la edición manual es inviable.
Los objetivos establecidos fueron:
- Mantenerse fieles al plato original
- Mejorar la calidad solo donde sea realmente necesario
- Mantener el mercado visualmente variado y no homogeneizado
- Nunca publicar nada que viole las políticas
- Siguir aprendiendo de nuevos datos
- Hacer todo esto de manera eficiente a gran escala
¿Por qué un agente y no un script fijo?
En un extremo se encuentra un editor de fotos determinista basado en reglas. Es predecible y controlable, pero frágil, ya que no puede manejar la variedad de platos, cocinas y condiciones fotográficas existentes en un mercado mundial. En el otro extremo está un agente generativo completamente sin restricciones, que es flexible pero no ofrece garantía de que no inventará ingredientes o se desviará del estilo de la marca.
El diseño de Uber se sitúa deliberadamente entre estos dos extremos. El agente tiene amplio margen para analizar cada imagen, mientras que cada decisión está sujeta a límites, controles de calidad y evaluaciones basadas en el juicio humano. La combinación de autonomía y restricciones es el principio sobre el que se construye todo el proceso.
Cómo funciona el proceso
- Comprensión y enrutamiento. Un modelo multimodal examina la foto junto con metadatos de texto como el nombre y la descripción del plato, y genera una descripción estructurada que abarca la iluminación, el encuadre, si el elemento ocupa adecuadamente el marco y características similares. Un agente de enrutamiento evalúa esto según una matriz de criterios y toma una decisión: mejorarla o omitirla y conservar la original.
- El ciclo de generación. Una foto dirigida a su mejora entra en un ciclo de tres pasos. Se genera una instrucción específica para esa imagen, se realiza la edición y luego se verifica el resultado en una etapa de control de calidad para asegurar fidelidad, ausencia de cambios en áreas determinadas, presentación natural y conservación de los colores. Si la verificación falla, la retroalimentación se incorpora al siguiente intento de generación. Si las fallas persisten más allá de un número máximo de rondas, el sistema no aprueba una edición deficiente; en su lugar, mantiene la foto original.
Evaluación del router como tarea de clasificación
La decisión de enrutar o omitir se puede representar claramente mediante una matriz de confusión:
- Positivo verdadero: una foto realmente deficiente que se envía correctamente para su mejora.
- Negativo verdadero: una foto realmente buena que se deja intacta correctamente.
- Positivo falso: una foto de buena calidad que, aun así, se mejora. Se desperdicia cálculo y existe el riesgo de que una imagen perfectamente buena se deteriore.
Permitir que pase una foto de mala calidad cuesta más que realizar un mejoramiento innecesario, por lo que la asignación de tareas se ajusta teniendo en cuenta la tasa de correcciones como métrica de control. Se acepta cierto gasto innecesario en mejoramientos como el precio a pagar para evitar que pasen fotos de mala calidad.
Dos ejemplos del discurso ilustran de manera concreta este equilibrio. Una foto de hamburguesa casi perfecta fue calificada técnicamente como insuficiente, pero aun así se mejoró, lo que constituyó un error de precisión y un gasto completamente innecesario. En dirección opuesta, una foto que mostraba seis alitas de pollo bajo el nombre del plato “alitas de ocho piezas” fue descartada por el sistema. Eso representó un error al no realizar la revisión, y uno peligroso, ya que enviarla al agente de mejora corría el riesgo de que el modelo inventara dos alitas adicionales para coincidir con la descripción. Inventar detalles que se ajusten al texto en lugar de a lo que es visible es precisamente lo que sirve para detectar una verificación posterior de fidelidad, lo cual demuestra por qué dichas verificaciones son importantes en la práctica y no solo en teoría.
Evaluación de la generación mediante comparaciones por pares
Una vez que una imagen pasa por el proceso de mejora, no existe una respuesta correcta fija. La cuestión es si el resultado es realmente mejor que la imagen original, evaluado en términos de fidelidad, completitud y realismo, con una respuesta de sí, no o incierto.
La métrica a vigilar es pass@K, que representa la proporción de imágenes que pasan las pruebas tras K intentos. Una curva saludable aumenta con K, ya que cada intento fallido proporciona retroalimentación específica para corregirlo en la próxima oportunidad. Un ejemplo presentado en la charla fue el de las papas fritas de batata, que fallaron en la primera prueba por tener un tamaño incorrecto y una presentación poco realista, pero pasaron en el segundo intento tras aplicar dicha retroalimentación.
Los casos de fallo son los que más enseñan:
- Una edición que añadió camarones, que nunca estuvieron en el plato original, falla rotundamente en términos de fidelidad.
- Una edición que eliminó un recipiente con salsa del borde del plato falla en cuanto a completitud.
Ese último caso es un ejemplo de manipulación de métricas, en el que se cumple la letra de una métrica pero no su intención. Es un recordatorio de que una prueba de calidad debe tener como objetivo algo realmente “mejor”, y no simplemente evitar que se active una verificación explícita.
Dos bucles de alineación: llegar a la versión 1 y luego mantenerse correcto
Una primera versión lista para ser enviada no requiere trucos especiales. Se reúne un conjunto de datos que abarca regiones, tipos de platos y niveles de calidad de las fotos, y los etiquetadores humanos lo califican con una rúbrica objetiva que limita los sesgos para formar el conjunto de referencia. El agente se prueba con ese conjunto. Al superar el número establecido como umbral se procede al lanzamiento; de lo contrario, se necesita más ajuste.
Mantener la precisión después del lanzamiento es más difícil, ya que el tráfico en tiempo real es más caótico de lo que cualquier conjunto de datos offline fijo puede predecir. La solución consiste en tomar una muestra continua de elementos reales, calificados por los mismos etiquetadores con la misma rúbrica, y compararlos con las decisiones tomadas realmente por el agente. Las discrepancias se envían a un agente de diagnóstico, que localiza el componente defectuoso en el proceso y inicia un ajuste automático solo para esa parte, sin intervención humana en esta etapa.
El autotuner está formado por dos subagentes. Reflect analiza las discrepancias, descarta el ruido y identifica el patrón sistémico que las sustenta. Synthesize toma ese hallazgo, modifica la instrucción o configuración del agente afectado y vuelve a probar la nueva versión en el conjunto de referencia antes del lanzamiento. Solo se guarda como nueva versión de configuración aquella que aprueba las pruebas, y la siguiente ejecución en producción la utiliza automáticamente. Eso es lo que impide que un sistema que se lanzó correctamente comience a deteriorarse silenciosamente después de medio año.
Tres bucles de retroalimentación que funcionan simultáneamente
La corrección de deriva es solo uno de los tres bucles que operan en paralelo:
- El bucle del modelo. La corrección automática de deriva y regresión descrita anteriormente.
La idea del queso suizo
El concepto final lo une todo. Ninguna de las etapas de control de calidad en este sistema es perfecta: la regla de enrutamiento, la verificación de generación y la comprobación final antes de publicar presentan todas deficiencias. Sin embargo, al combinar varias verificaciones imperfectas, un resultado defectuoso debe superarlas todas a la vez para llegar al cliente. Las probabilidades de que esto ocurra disminuyen rápidamente con cada capa adicional. Funciona como rebanadas de queso suizo apiladas, donde cada rebanada tiene agujeros, pero las posibilidades de que todos los agujeros coincidan en línea se vuelven muy bajas rápidamente.
Qué aprender
Así es como se ve la evaluación una vez que supera el alcance de un simple script de prueba offline:
- Dos familias de métricas para dos tipos de problemas: clasificación para el enrutamiento y comparación entre pares para la generación.
- Una métrica elegida deliberadamente como límite de seguridad, porque los falsos negativos cuestan más que los falsos positivos.
Nada de esto depende de tecnologías exóticas. Se trata de un diseño sistemático y disciplinado centrado en la evaluación, aplicado a gran escala.