首页 / 文章

实际应用中图像处理系统的闭环评估:Uber Eats所展示的内容

对Uber Eats图片优化系统背后评估设计的案例研究:路由器召回、pass@K、漂移诊断、自动调优以及分层质量检测机制。

发布者:REACTAPP.TOP阅读约 7 分钟1602 词

来源: https://medium.com/@hello_62602/inside-uber-eats-closed-loop-eval-system-for-a-production-ai-agent-1bbe1206f5aa

Uber的机器学习团队在AI工程师世界博览会上发表了题为“大规模多模态智能体的闭环评估体系构建”的演讲。该演讲难得地详细展示了真实系统中大规模生产环境下的评估机制,以及那些能够防止系统在无人察觉的情况下性能下降的设计考量。下文将对该系统进行案例分析。

问题所在

对许多顾客而言,食物照片是决定是否下单的关键因素。但对于Uber Eats上的小型独立商家来说,这类照片往往质量不佳:光线昏暗、构图欠佳、对焦模糊。这并非食物的问题,因为专业摄影需要时间、技巧和资金,而小型餐厅往往无法承担这些成本。

一个显而易见的解决办法是利用人工智能自动提升照片质量,但存在一个问题:人们不信任由人工智能生成的食品图片。如果应用展示出的图像过于完美得不自然,用户就会失去信任。因此,该系统必须走一条艰难的道路——在提升图片质量的同时不能歪曲食物的真实面貌,避免将所有商家的照片都处理成千篇一律的风格,而且还要在规模庞大的全球市场中做到这一切,而手工编辑显然是不可行的。

设定的目标包括:

  • 忠实呈现原始食物
  • 仅在真正需要时提升质量
  • 保持市场视觉上的多样性,避免同质化
  • 绝不发布任何违反政策的内容
  • 不断从新数据中学习
  • 以高效的方式大规模完成这些工作

为何选择智能体而非固定脚本

一种极端是基于规则的确定性照片编辑器。它具有可预测性和可控性,但较为脆弱,因为无法应对全球市场中的各种菜品、烹饪风格和拍摄条件。另一种极端则是完全不受限制的生成式智能体,虽然灵活,但却无法保证不会凭空创造食材或偏离品牌定位。

Uber的设计刻意介于两者之间。该智能体有足够空间对每张图片进行独立分析,同时每一项决策都受到约束机制、质量检测环节以及以人类判断为依据的评估体系的制约。将自主性与约束相结合,正是整个处理流程所遵循的原则。

处理流程的运作方式

  1. 理解与分析。多模态模型会同时分析照片以及菜品名称、描述等文本元数据,进而生成包含光线、构图、画面是否完整覆盖等内容的结构化描述。评估机制会根据预设标准为这些描述打分,最终决定是进行优化还是直接保留原图。
  2. 生成循环。被判定需要优化的照片会进入一个包含三步的循环流程:首先为该图片生成特定的编辑提示词,接着执行编辑操作,最后在质量检测环节检查结果是否符合要求,包括内容是否保持一致、是否有未改变的区域、摆盘是否自然以及颜色是否得以保留。如果检测不通过,相关反馈会纳入下一次提示词生成中。若连续多次失败且超过设定次数,系统就不会强行通过低质量的编辑结果,而是保留原图。
  • 最终质量检测与发布。在内容进入正式菜单之前,会进行一次更全面的最终检查。
  • 日志记录。每个阶段的每张图片都会被记录到一条统一的JSON数据中。这一机制是在下文所述的任何优化系统之前就建立起来的,其理念是:只有对系统进行全面监控才能实现优化,而自我修正机制也需要数据记录作为学习依据。
  • 将路由器视为分类任务进行评估

    “处理还是跳过”的决策可以清晰地映射到混淆矩阵上:

    • 真阳性:质量确实很差的照片被正确地送去优化处理。
    • 真阴性:质量确实很好的照片被正确地保留不变。
    • 假阳性:质量不错的照片仍被进行了优化处理。这不仅浪费了计算资源,还可能使原本完美的图片质量下降。
  • 漏检:照片质量太差而未被识别。Uber团队将此视为危险情况,这是一种无人察觉的隐性退化,直到有客户投诉才会被发现。
  • 漏过一张质量差的照片所带来的损失,远超过不必要的图像优化成本,因此系统在调整路由时会以召回率作为控制指标。为避免不良照片通过,一些不必要的优化支出也在所难免。

    演讲中举的两个例子让这种权衡变得直观。一张几乎完美的芝士汉堡照片被系统判定为技术指标不达标,但仍被进行了增强处理,这纯粹是浪费成本;而另一张显示六只鸡翅、但标题却写着“八只装”的照片则被过滤掉了。后者属于漏检,而且风险很高,因为将其交给增强模块处理可能会导致模型为了匹配标题而虚构出两只多余的鸡翅。这种为迎合文字描述而非实际内容而编造细节的情况,正是后续忠实度检查要防范的问题,这也说明了为什么忠实度检查在实践中至关重要,而不仅仅停留在理论层面。

    通过成对比较来评估生成结果

    一旦图像经过增强处理,就不存在唯一的正确输出。关键在于根据忠实度、完整度和真实度来判断结果是否确实优于输入,答案可以是“是”、“否”或“不确定”。

    需要关注的是pass@K这一指标,即在K次尝试内通过检测的图像比例。随着K值的增加,这条曲线应当呈上升趋势,因为每次失败都会给出具体反馈以便下次修正。演讲中举的一个例子是红薯薯条,第一次质检因份量不当和摆盘不真实而未通过,但在根据反馈进行调整后第二次便通过了。

    失败案例能带来最多的启示:

    • 在原始菜品中本不存在虾,却添加了虾的修改,在忠实度方面直接失败。
    • 移除了盘子边缘的酱汁杯的修改,在完整度方面失败。
  • 一个更微妙的案例:智能体做出了真正具有创意的修改,但质量检测环节却将其拒之门外。模型没有进行有针对性的修正,反而过度纠正,退化成了一个平淡无奇的普通陶瓷碗。虽然这样的作品通过了质量检测,但实际上并没有任何实质性的改进。
  • 最后一个案例属于奖励操纵行为,虽然满足了某些指标的表面要求,却违背了其初衷。这提醒我们,质量检测标准应当以“真正有所改进”为目标,而不仅仅是“没有触发任何明确的检查规则”。

    两个对齐循环:实现v1版本,然后保持正确性

    首个可发布的版本无需特殊技巧。首先会整合涵盖不同地区、菜品类型及照片质量等级的数据集,再由人工标注员依据客观且能限制偏见的评分标准对数据进行评估,从而形成基准数据集。模型便会在该基准数据集上运行。若能通过各项测试,则表示可以发布;未能通过则需进一步调整。

    产品上线后要保持正确性更为困难,因为真实流量比任何固定的离线数据集都更复杂难测。解决方法是持续收集实际产品样本,由相同的标注员按照同样的评分标准进行评估,然后将这些结果与模型实际做出的决策放在一起对比。出现分歧时,会交给诊断模块处理,该模块能定位出出问题的环节,并自动针对该部分进行调整,此过程无需人工干预。

    自动调优器由两个子代理组成。Reflect负责分析其中的差异,剔除噪声,并识别出其背后的系统性模式。Synthesize则基于这些发现,修改受影响代理的提示词或配置,然后在发布前在黄金数据集上重新测试新版本。只有通过测试的版本才会被保存为新的配置版本,后续的生产运行会自动使用它。这就是防止系统在正确启动后逐渐退化的问题。

    三个并行运行的反馈循环

    偏差校正只是同时运行的三个循环之一:

    1. 模型循环。即上文所述的自动偏差与回归校正机制。
  • 内部测试循环。在功能上线前后,内部团队和商家会给出简单的点赞或点踩评价以及文字反馈,这些信息也会被用于问题诊断。
  • 市场测试循环。通过针对转化率、加购率等业务指标进行的真实A/B测试,并按地区、设备类型和菜品类别进行细分,从而判断哪些改进真正提升了效果,哪些没有。
  • 瑞士奶酪模型

    最后的理念将这一切串联起来。该系统中的任何单一质量检查环节都不是完美的:路由规则、生成内容检查以及最终发布前的检查都存在缺陷。然而,当将多个不完美的检查环节叠加在一起时,只有当有缺陷的输出同时通过所有检查才能到达客户手中。每增加一层检查,这种情况发生的概率就会迅速降低。这就好比堆叠的瑞士奶酪片,每片都有孔洞,但所有孔洞恰好对齐的概率会很快变得极小。

    需要学习的要点

    当评估工作超出单一离线测试脚本的范畴时,其形式如下:

    • 针对两种不同类型的问题采用两种不同的评估指标:路由问题用分类指标,生成内容问题用成对比较指标。
    • 会特意选择一种指标作为保障标准,因为漏检带来的损失比误检更大。
  • 能够自动检测自身偏差的流程,无需人工先发现。
  • 基于“任何单一检查都可能失败且确实会失败”这一假设而构建的分层质量检测机制。
  • 这一切都不依赖任何特殊技术,只是围绕评估环节进行的规范系统设计,并在大规模环境中应用。