生产领域的因果推断:五个阶段及人工智能代理能提供帮助的领域
珍珠的结构因果模型如何在受监管行业中应用:五个阶段、哪些因素能加速进程、它们会在何处失效以及为何专家需要持续参与。
来源: How Agentic AI Finally Makes Causal Inference Deployable
因果推断长期以来一直十分严谨,但很少被实际应用。这里的论点很具体:代理型人工智能首次使其能够在企业规模上得到有效运用。这是一个技术性主张,因此需要用技术性方式来阐述,也就是要经历将因果模型投入生产的五个阶段,分析在具备能力的AI代理出现之前每个阶段为何会成为瓶颈,并明确当代理加入流程后会发生哪些变化。其故障模式同样受到重视,因为这种架构的弱点与其优势同样重要。
这并非教程,也没有逐步操作指南。其价值在于推理过程,以及理解为何这种架构会有所不同,而不仅仅是知道它确实存在差异。
因果推断所需条件
在探讨哪些因素会被代理变量改变之前,先明确该方法的要求是有帮助的。此处采用的框架是朱迪亚·珀尔的结构因果模型(SCM),这是统计学和机器学习领域中用于因果推理的领先形式化方法。SCM通过变量以及每个变量对应的结构方程来描述系统,这些方程分别说明该变量的原因如何决定其取值。该结构以有向无环图(DAG)的形式呈现,节点代表变量,有向边则表示直接的因果关系。之所以是无环的,是因为在相关时间范围内,不会假设某个变量会自身导致自身变化。
核心操作是do运算符,表示为do(X = x)。它代表一种干预措施,即强制变量X取值为x,使其脱离原有的影响因素。一旦知道了图结构,珀尔的do演算——一套完整的推理规则——就能根据观测数据计算出此类干预的效果。这正是该框架的强大之处:无需进行任何实验就能回答“如果改变X会怎样?”这样的问题。
生产部署分为五个阶段,而历史上每个阶段都曾是严重的瓶颈。
第一阶段:选择变量
决定将哪些因素纳入模型听起来简单,但实际上并非如此。在金融系统中,可能相关的变量数量极为庞大:宏观经济指标、公司财务数据、监管指标、ESG评分、市场微观结构指标、情绪信号等等。变量过多会导致出现虚假的关联路径,使得模型结构难以辨识;变量过少则会遗漏重要的混淆因素,从而影响效应估计的准确性。
传统的解决方法是召开专家研讨会,让精算师、风险管理人员和投资组合经理共同讨论哪些变量重要以及原因所在。这种方法固然有价值,但效率低下、成本高昂,且结果取决于参与人员的水平。对某位专家而言显而易见的变量,对另一位专家来说可能根本不会想到。
这些智能体所起的作用在于决定初步分析的覆盖范围。它们能够处理大量领域内的资料,如学术论文、监管指南和行业报告,并附上引用为依据提出候选变量。它们还能识别出文献中反复被提及的、对结果有影响的变量,标出那些通常被视为混杂因素的变量,同时引入团队中无人知晓的知识。专家的工作从编制列表转变为对研究提出的方案进行审核和优化,这样既更快捷,也不那么依赖某个人的知识。
有一个重要限制:这些智能体只能提出建议,无法进行验证,因此必须由了解业务情况的领域专家对最终确定的变量集进行确认。仅通过阅读所有关于ESG与绩效的文献,模型根本无法得知哪些变量存在于你的数据架构中,或是你的合规团队会在监管文件中接受哪些变量。
第二阶段:确定因果结构
接下来需要明确因果结构:哪些变量导致哪些变量变化,以及变化的方向。这是最困难的阶段,历史上也耗费最多成本。目前主要有两类方法。基于约束的算法,如Spirtes、Glymour和Scheines提出的PC算法,通过数据上的条件独立性检验来推断结构。基于得分的方法则根据拟合优度标准在候选图中寻找最佳拟合结果。这两种方法都有其明显的局限性。基于约束的方法对忠实性假设和样本量较为敏感,而基于得分的搜索则属于组合问题,随着变量数量的增加会变得难以处理。这两种方法都无法从观测数据中唯一确定一个图结构,所能得到的最佳结果是一个马尔可夫等价类,即统计学上无法区分的图结构。
因此,自动化发现方法虽然能够缩小可能的图结构范围,但若没有领域知识输入,则无法确定最终结构。边方向这一通常最为重要的属性,往往无法仅通过数据得出,必须由专家来判断。
这些工具改变的是迭代速度。人们可以运行多种发现算法,比较它们的输出结果,标记出不同方法存在分歧的边,然后向专家提供一份结构化的选项列表:所有方法都认同的边、存在争议的边,以及数据支持但与特定领域知识相冲突的边。专家不再需要运行算法或阅读原始输出,而是能够提出明确的请求。决策次数保持不变,但每项决策的成本却降低了。
需要警惕的错误模式是那种只提供单一的“最佳”图谱并隐藏不确定性的方法。数据并不能唯一确定因果图,因此任何将某种结构当作事实而非假设来呈现的系统,都在错误地表述该问题的认知状况。
第三阶段:验证图谱
因果图是一组假设的集合。每条边都表明一个变量直接导致另一个变量。而每条缺失的边则表明,在考虑了图中的其他所有因素后,这两个变量之间并不存在直接关联。这些假设可能是错误的,其带来的后果可能十分严重。
验证通常结合领域专家的评审——即判断该图结构对专家而言是否合理——以及统计检验,用以确认图中所暗示的条件独立性在数据中是否成立。后者依赖于d-分离原理:一个图结构可以表明在给定其他某些变量的条件下,某些变量对是条件独立的,而这些关系是可以被检验的。
敏感性分析则探讨一个相关问题:如果通过添加边、改变方向或引入未测量的混杂因素来修改图结构,效应估计值会发生多大的变化?这一点很重要,因为图结构始终是对现实的近似,你需要知道哪些结论在近似后依然成立,哪些则较为脆弱。
过去,这一阶段需要专业的统计学家来执行测试、解读结果并将其转化为图表,整个过程十分缓慢且需要反复迭代。而智能体则能自动化完成整套测试。它能够运行所有相关的条件独立性测试,标记出违反规则的情况,确定每项违规所涉及的边,并生成结构化的报告。此外,它还能通过调整边的权重、加入假设性的混杂因素来开展敏感性分析,以此判断估计值的稳定性,最后汇总分析结果。统计学家的工作也从执行测试转变为解读结构化的诊断报告。
第4阶段:干预查询
这就是因果模型发挥作用的地方。干预查询用于求解当变量X被设置为值x时结果Y的期望值,珀尔用符号表示为:
这与标准回归所估计的条件期望不同:
计算干预查询意味着运用do演算,即三条规则,它们能够将包含do运算符的表达式重写为基于给定图结构可从观测分布中计算出的形式。对于简单的图结构,这一过程较为直接;但当涉及大量变量、多个干预目标以及时间序列结构时,则需要复杂的代数运算。
以“如果改变定价结构,我们的损失率会如何变化?”这样的商业问题为例。在引入代理模型之前,必须先将其转化为正式的干预查询,再通过模型进行计算,而只有同时熟悉业务和数学的专家才能完成这项工作。正是这种转化成本使得因果推断长期局限于大学内部。
智能体负责转换翻译层。人们可以将一个用通俗语言表述的商业问题拆解为相关变量,编写对应的do表达式,运用do演算得出可估算的结果,并以简洁明了的方式呈现结果。领域专家无需了解do演算,只需判断问题是否被正确转换即可,门槛要低得多。
失败模式在于:智能体自信地回答了错误的问题。商业用语往往存在条件性解读或干预性解读两种可能。“当ESG评分较高时,我们的损失率会如何?”既可能指评分确实较高时的情况(条件性解读),也可能指通过手段迫使评分变高后的结果(干预性解读)。这两种情况会导致不同的答案,因此若智能体不揭示这种歧义而让用户自行选择,就会带来风险。
第五阶段:审计追踪
在受监管的行业里,分析结果不仅仅是答案,还包括支撑该答案的完整推理过程,同时所有的建模假设、数据转换及分析选择都必须被记录下来并具备可辩护性。
因果模型对这一要求更高。完整的记录需涵盖六方面内容:选择每个变量的原因、图表的布局方式及每条边所依据的依据、所进行的验证测试及其结果、具体执行的干预查询,以及每条查询所对应的业务决策。手动记录往往会导致遗漏和不一致,而且通常是在事后才进行记录。
借助智能体,处理流程可以自动进行,并随着事件的发生实时记录。无论是文献检索、算法运行、图结构变更还是查询操作,都会附带时间戳、输入数据、输出结果以及推理过程被记录下来。文档生成便成了该流程的副产品,而非额外的工作。对于监管提交或内部审计而言,这绝非微不足道的便利——它能让那些可被验证的分析结果与那些无法复现的分析结果区分开来。
智能体的局限性
这些限制应当明确说明。
- 它们无法仅凭数据推断出因果结构。 观测数据往往无法确定边的方向,增加计算资源也无法改变这一状况。在这种设计中,领域专业知识具有至关重要的意义。
为何这仍然重要
支持这种架构的理由并非因果推断会因此变得简单,事实并非如此。其优势在于,那些三十年来阻碍严格且成熟的方法论投入实际应用的成本障碍已被打破,使得这类方法论得以应用。
这种方法论本身并不新鲜,但相关的基础设施却是新的。那些将二者结合起来的组织——由代理程序负责处理流程层,由领域专家负责决策层——正在构建出基于关联分析的AI无法企及的东西:一种严谨、可审计、具有干预有效性的系统模型。在受监管的行业里,这值得去构建,而且现在就有机会率先实现。