为何人工智能对齐需要可检验的价值观：来自达马西奥笔下埃利奥特的启示
神经科学认为价值观应与知识分开。身体标记如何为更安全的AI系统提供可查看、可追溯、可编辑的价值观标签。
神经科学文献中有一位患者值得被列入每一份人工智能对齐研究清单。安东尼奥·达马西奥称他为埃利奥特，他的案例是《笛卡尔的错误》一书的核心内容。压迫腹内侧前额叶皮层的肿瘤被手术切除，附近的一些组织也一同被移除。术后埃利奥特的智商测试成绩高于平均水平，他的记忆、语言能力、注意力、事实知识以及逻辑推理能力都保持完好。面对道德困境时，他能比大多数人更全面地阐述正反两方的论点。
然而他的生活却逐渐崩溃。由于一系列糟糕的商业决策，他失去了工作，又耗尽了积蓄，还经历了两次离婚。在每一个关键节点上，他都能详细分析各种选择，但每次都做出错误决定且毫无教训。埃利奥特并没有失去知识，他失去的是让知识得以运用的能力。
那个案例极其清晰地展现了“对齐”机制试图解决的问题。它同时也是一种警示，因为业界已经付出了巨大代价构建了存在相反缺陷的系统，而目前几乎没有任何术语可用于识别这种缺陷。
四个工程学问题
抛开华丽的辞藻，对齐本质上是一个价值机制问题。它可分解为四个问题，全部都属于工程学范畴：
- 系统如何承载价值？
- 在做出决策的瞬间，它如何应用该价值？
- 人们如何查看它应用了何种价值？
- 当价值出现错误时，人们如何进行修正？
“系统应保留哪些价值？”这一问题被刻意排除在那个列表之外。这是另一个问题，属于治理与人类判断的范畴，会在后面提及。将两者混为一谈正是导致对齐问题常常偏离技术层面而陷入哲学讨论的原因，而本应聚焦于制定具体方案。那么，当今最优秀的系统是如何回答这四个问题的呢？
基于人类反馈的强化学习能实现什么，又存在哪些局限
基于人类反馈的强化学习（RLHF）确实值得肯定。它行之有效——那些原本会随意生成任何内容的模型，在它的作用下变得实用、具备协作能力且更加安全，这是原始预训练所无法做到的。它堪称过去十年中真正的工程成就之一，任何贬低它的人显然没有接触过此前的模型。
不过，它的运作方式也很重要。
RLHF会将人类的偏好信号融入到存储模型其他知识的权重矩阵中。价值观与知识最终合二为一，不存在任何界限，无论是隐约的还是被隐藏的——根本就没有这样的界限。
这大致相当于试图通过重新连接人的大脑皮层来赋予其良好的判断力，期望这种能力由此产生。有时确实如此，但随之会出现三个问题：
- 无法进行核查。没有途径可以了解模型所看重的内容。只能通过观察其行为来推断，这属于心理学实验，而非真正的核查。
- 无法追溯来源。当模型拒绝某个请求、批准一笔贷款或标记某项索赔时，没人能指出是哪次体验导致了这种偏好。按照设计，在训练过程中其来源信息就已经被破坏了。
亚马逊也是吃了苦头才明白这一点。从2014年开始，该公司基于自己行业里以男性为主的求职者简历，构建了一个能为求职者打1到5星评分的模型。该模型学会了给包含“女性”一词以及某些全女性院校名称的简历扣分。亚马逊发现了这些问题并对其进行了处理。但到了2017年，该公司还是放弃了这个项目，因为即便解决了已发现的这些问题，它仍无法证明该模型没有通过其他没人想到要检查的间接方式来表达同样的偏好。
这个轶事就概括了整个论点。问题不在于模型学错了什么，因为所有模型都会如此。真正的问题是没人能弄清楚它还学到了什么，因此也就无法判断何时完成了修正。这无异于在黑暗中玩打地鼠游戏。多年的工作成果因为这些数值无法被访问而付诸东流。
对于食谱聊天机器人来说，这或许只是个小问题。但对于那些涉及信贷决策、医疗分诊、理赔审核，或是监管机构未来可能要求你宣誓解释的任何事务的系统而言，这三种缺陷绝非小麻烦——它们直接使得这种方案不可行。
当不透明的数值伤害真实家庭时
排除并非抽象概念。2005年至2019年间，荷兰税务机关错误地指控了约26,000名家长涉嫌骗取儿童保育津贴。自2013年起投入使用的自主学习型风险分类模型参与了确定哪些人需要被重点审查的工作。荷兰国籍是该模型的输入参数之一，这一设定导致非荷兰国籍者的评分上升，从而引发更多针对他们的调查，而这些调查结果又会直接反馈到模型的训练数据中。负责处理这些被标记案件的公务员从未被告知为何某人的评分如此之高。国际特赦组织将此现象描述为问责制的黑洞。许多家庭因此失去住房、工作甚至婚姻，荷兰政府也在2021年1月倒台。
机制与结果同样重要。没有哪位工程师会认定“非荷兰语更具风险”应被视为一种价值准则。这些未被命名、难以理解的准则在价值和知识共存的系统中不断积累，而系统管理者却找不到发现它们的途径。
我们往往将此视为理所当然的状态，仿佛价值准则就必然是模糊不清、难以理解的。但生物学的说法并非如此。
情感对推理的作用
普遍的观点认为，冷静如斯波克般的理性能带来良好的判断力，而情感则会破坏它。但证据却表明事实恰恰相反。
达马西奥的躯体标记假说认为，情绪过程是引导和影响决策而非干扰决策。当一个人经历某种结果时，一种身体-情感状态会与之关联。之后遇到类似选择时，这种标记会被重新唤起，有时以有意识的直觉形式出现，更多时候则在无意识状态下发挥作用，从而在决策过程开始之前就影响选择方向。贝查拉和达马西奥尽可能直接地阐述了这一功能论观点：合理、理性的决策依赖于事先准确的情绪处理。即便拥有充分的知识，缺乏情绪信号带来的认知也无法产生正常行为。
埃利奥特恰恰证明了这一点：他拥有完整的信息，却没有价值信号，所有的选择都必须通过明确的成本收益分析来做出，而且无法终止这种分析——他实际上从未真正完成过任何一次分析。
通过比较研究，这一观点更难被忽视。在门德尔和保罗提出的模型中，动物会在各种情感选项之间做出选择：每一种可能的行动都带有由其在该类情境中先前行为结果所引发的情绪所决定的价值。安德森和阿道夫斯列出了四种情感基本要素，即可扩展性、效价、持久性和泛化能力，并在从鱼类到果蝇等与我们相距甚远的生物中观察到了这些要素的存在。
在数亿年的时间里，进化独立且反复地形成了这种设计——因为如果神经系统无法将体验标记为好、坏、有代价或危险，那么每次移动时都不得不从头重新计算世界。由于任何有效的决策者都离不开价值判断机制，进化便创造了这样的机制。而人工智能领域则构建了拥有百科全书式知识的系统，再通过将这些知识与价值相结合来实现价值判断。
机制正确，实现不佳
生物学的机制本身是合理的：通过经验建立的价值信号与记忆相连，并在决策时被调取。但在工程师关心的方面，其实现方式却存在缺陷：
- 它无法被直接观察。没有人会将自身的生理标记视为价值，最多只能产生某种感觉。
将这三点与上述三次RLHF失败案例对比，会发现它们十分吻合。该领域照搬了生物学的弱点，却放弃了其真正的架构智慧。因此，不妨保留机制本身，再改进实现方式。
有据可查的机制
一旦问题以这种方式被表述，设计几乎会自动随之形成。在学习阶段，当系统记录某种经验模式时，会为其附加一个价值值：一个带符号的数字，通常取值范围在-1到+1之间，该值会与模式一同存储，而非融入模式之中。在预测阶段，当该模式与当前观察结果匹配时，其价值值会随预测结果一起影响最终选择何种行动。
就是这么简单。这是一种由数字而非神经化学物质构成的躯体标记，其带来的影响远比表面上看到的要重大：
- 可检测。没人能读取一个人的体细胞标记，但某种特定学习模式下得出的-0.7这样的安全评分只不过是存放在已知位置的一个数字而已。系统中的所有数值及其权重都可以被列出，无需任何探查、行为推断或心理学实验。
- 可追溯。直觉不会留下任何记录，而通过学习获得的数值则能回溯到其生成时的具体观察结果以及当时发生的情况。由于其形成过程没有被破坏，因此来源信息得以保留。
- 可编辑。当某个数值出现偏差时，可以直接修改该数字，或者提供反例，让运行中的平均值将其吸收。无需进行额外的训练，且无关知识也不会受到影响。虽然人们可能需要心理治疗或全新的处理流程，但这里有更简单的方法。
想象这样一个系统：它通过分析连续的账户事件进行学习，并存储了以下内容：
PTRN|a7f3e91 ["login_new_device", "password_reset", "payee_added", <additional context>]
emotives → fraud_risk: -0.62 urgency: +0.85
provenance → 13 matched occurrences | 9 adverse, 4 benign
recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]
在学习过程中，该序列的每次出现都会为该模式增添一种结果倾向性：模式记录了发生了什么，而情感模块则记录了最终的结果如何。当后续的实际事件流与这三个步骤相匹配时，该模式就会被激活，同时会伴随欺诈风险评分出现。附着在該模式上的这个数值，正是促使系统阻止转账的原因。
现在假设该数值是错误的。想象一下，13种不良结果中有9种都出现在同一个为期三周的时间段内，在此期间，一项设备升级促销活动让许多诚实的客户经历了完全相同的流程，而反应过度的欺诈检测团队却将每一个案例都标记为异常。要发现这个问题无需了解模型内部的原理：只需查看数据来源及日期是否集中出现即可。解决这个问题也不需要重新训练模型，只需调整该模式对应的数值，或提供纠正性数据，让滚动窗口将其吸收即可。
受影响的范围仅限于这一模式，系统所知晓的其他所有信息都不会受到影响，因为它们从一开始就与这个模式没有关联。
将价值与知识分开处理还能实现融合系统无法完成的功能。不同的价值集合可以在相同的已学习知识基础上用于不同的部署场景，系统的价值在更新前后也可以进行比较，审计人员只需获取相应的列表即可。
情感的四种功能
Pfister和Böhm认为，情感在决策过程中承担着四种独立的功能而非一种，每一种功能都对应着值得构建的内容：
- 信息传递。愉悦与痛苦决定了生物的偏好。在软件中，价值标签能表明哪些后续操作往往会有良好结果，哪些则会导致不良后果。
- 提升速度。在时间压力下，人们会跳过深思熟虑而快速做出选择。机器则可以通过阈值检测来决定是否采取行动，而无需评估所有候选选项。
Pfister和Böhm强调，承诺与愉悦毫无关系，它属于道德与社会范畴。因此，一个设计良好的价值机制需要两种相互对立的驱动力，而非单一的调节机制：即应当追求的目标与应当避免的事物，以及相应的意图与防御机制。
实际实现方案
该机制被刻意以抽象方式描述，因为其合理性本身即可独立成立。它也以运行中的软件形式存在。KATO是一种开源架构，能够确定性地学习模式，其价值标签被称为“情感值”。这些情感值在学习过程中会被附加到各种模式上，并存在于每个预测对象之中。通过最近数据的滚动窗口机制，随着经验的积累这些价值值会逐渐变化，因此不会被某一次观测单独控制。情感值分为两类：系统试图最大化的意图类情感值，以及试图最小化的防御类情感值。每一种都是一个可读取的数值，通过追溯其对应的观测数据即可对其进行修改。
这种技术路线并非新鲜事物。据称，KATO的前身GAIuS是唯一通过FAA DO-178C认证的机器学习算法，而Scale并未获得该认证。能够实现可解释、可追溯、可复现的决策才获得了认证，因此确定性是进入该领域的必要条件，而非一种设计选择。出于相同原因，明确且可查看的数值也能起到同样的作用。
这并未解决的问题
情感计算技术无法指定系统应具备哪些数值。该机制也无法告诉人们某种模式的正确价值、哪个安全因素需要更多重视，或是何时应在公平性与准确性之间做出取舍。选择这些标准属于价值规范，也称为外部对齐，这仍然是由人类做出的决策。
变化在于可见性。有了明确的数值，就需要有人将图表记录下来，并由其他人进行审批。权衡不再是无经过审核的注释流程所导致的意外副产品，而是变成了有明确负责人的书面决策。
这并非该方法的局限，反而是其目的所在。对齐问题从训练阶段的期望转变为运行时的工程特性，这种特性可以在没有GPU集群的周二下午被明确规定、测试、监控和修改。
控制，而非升力
莱特兄弟并非通过解决升力问题而获胜。滑翔机早已存在数十年，发动机也在按自己的时间表发展。他们之所以成功，是因为解决了控制问题，即找到一种方法来主动操控那些已经能够保持飞行状态的物体。
变形金刚会飞行。这一点已经确定，而规模因素将继续验证这一结论。从结构上看，它们缺乏控制界面：没有地方可以伸手去指定“这个，而不是那个”，并确保只触碰到预定的目标。呼吁放缓前沿人工智能发展的声音很可能不会被重视，这使得缺失的控制界面问题更加紧迫。
生物学早在脊椎动物出现之前就已经构建了这样的控制界面，并不断对其进行优化。相关的设计思路都有记载，可供查阅。
参考资料
- 安东尼奥·达马西奥所著《笛卡尔的错误：情感、理性与人类大脑》，1994年出版。
- 菲斯特和伯姆关于情感多样性的研究，载于《判断与决策制定》第3卷，2008年。
- 安德森和阿道夫斯提出的跨物种情感研究框架，载于《细胞》杂志第157卷，2014年。