首页 / 文章

递归语言模型沙箱:哪些方面存在阻碍,哪些需要重新构建。

从部署递归语言模型沙箱中获得的经验:隔离层、代理、CDR、用户空间追踪及单主机的局限性,以及为何限制措施更为有效。

发布者:REACTAPP.TOP阅读约 6 分钟1344 词

来源: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production

一个递归语言模型系统始于一个简单的指令:停止将整个提示语输入给模型。相反,让模型自行编写代码,用这些代码处理数据,读取结果后再决定下一步该做什么。要将这个指令转化为可运行的平台,需要数月的时间来阅读代码、逐部分拆解直至充分理解并能够解释,然后再判断这些解释是否对陌生人也能成立。以下是对已完成系统的回顾:哪些部分在反复使用中依然有效,第二次尝试时会有哪些改变,哪些地方出乎意料,以及该系统的未来发展趋势。

为何解释它比构建它更困难

最初的构想具有简洁的形态。其一是递归循环这一核心概念,其二是信任边界。随后,这些内容不再局限于单一概念。中间件模式、带签名的状态往返传输以及隔离层便变成了一堆需要结合在一起才能理解的工程决策。决定哪些内容要展示,哪些内容只需作为备注提及,所花费的时间甚至超过了撰写正文本身。通常会花一整天的时间研究代码库中的某一部分,只为弄清楚它的真正作用。

那些缓慢的进展并非浪费。由于有了足够的时间,分层沙箱、覆盖四家服务提供商的中间件、带签名的往返传输以及引爆流程都得到了更清晰的阐述,即便之后的时间安排看起来并不均衡。

可借鉴的经验

在构建过程中形成的某些习惯适用于任何类似的代理平台,无论其应用领域如何。

  • 应为攻击者而非普通用户设计每一层。如果每个环节都假设前一层可能已经失败,这样的架构不仅描述起来枯燥,而且极难被攻破。
  • 在信任某种抽象概念之前,应先验证其多种实现方式。能够通过四种不同提供商且逻辑一致的实现依然正常运行的接口才算经过验证,而仅为某一个提供商设计的接口则只是凭猜测而已。
  • 应将代理的权限视为一笔需要谨慎使用的预算。范围、成本和权限都应有明确的限制,这些限制应基于任务需求设定,不得超出必要范围。
  • 应优先选择透明可理解的推理方式,而非晦涩复杂的技巧。能够清晰展示为何选择下一步要检查什么内容的系统,更易于调试、更值得信任,也更容易向新人解释。
  • 首个版本应如实展现其局限性。在初始版本中,单主机运行、用户空间追踪以及缺乏共享威胁数据等特性,只有明确列为限制条件而非让用户在实际使用中才发现时,才是可以接受的。
  • 哪些方面存在问题

    系统的某些部分确实具备投入生产的条件。

    • 生成代码、执行代码、观察结果并决定下一步操作的核心循环,能够抵御所有测试中的挑战。
    • 从命名空间遮蔽到gVisor,再到完全远程的沙箱,这三层隔离机制始终能够阻止任何本应被拦截的内容通过。
    • 只有为四种截然不同的服务提供商分别实现四次 broker 模式,并观察相同的二十行逻辑代码在每种环境中都能未经修改地运行后,才能真正理解这种抽象设计的价值。
  • 内容解构与重构流程是我们最引以为傲的部分。它也是最容易在细节上出错的环节,但在所有测试过的文件格式中都从未出现过此类问题。
  • 这些都不是源自显而易见的想法。而是从一开始就假设终会有某种因素试图破坏系统,进而围绕这一假设而非理想情况来设计每一层功能。

    第二次开发时会有哪些变化

    只列举成功的回顾只是花絮集,因此那些不足之处需要用直白的表述来说明。

    仅从用户空间进行追踪

    在引爆流程中的系统调用追踪完全通过 strace 在用户空间中实现。这是一种真正的限制,而非设计上的偏好。足够复杂的样本能够察觉到正在被以这种方式追踪,并据此改变其行为,或者利用内核级钩子无法发现的时序间隙。重新构建系统时,会在用户空间追踪机制之下添加 eBPF 或类似的内核级机制,而非取代它,因为对于那些不刻意隐藏的样本而言,用户空间层依然能够发挥作用。

    没有外部威胁情报

    该系统没有与外部威胁情报的连接。对于每个样本的判断都基于结构特征:这种系统调用模式类似于进程注入,某个代码段具有异常的熵值。这些判断并不会参考该文件的精确哈希值是否曾在其他地方被识别和分类过。这一缺陷应尽快弥补,因为人类分析师的很多贡献其实并非依靠复杂的模式匹配,而仅仅是曾经遇到过完全相同的情况而已。

    仅限一个主机

    每一个沙箱、每一次爆炸模拟以及每条递归调用链都由同一台机器协调处理,不存在跨机器调度或集群机制。对于一个由某人在一个夏天独自开发的系统而言,这是合理的选择;但对于需要处理真实规模任务的系统来说,则是错误的选择。分布式协调并非可以后期添加的小功能,它实际上相当于在原有架构之上叠加的另一套独立架构,将其视为附加功能来介绍实属极不诚实。跨机器调度任务、在爆炸模拟过程中节点失效时进行恢复,以及保持各主机之间签名状态的一致性,这些都是单进程设计中不存在的新问题。

    令人意外之处:限制而非功能扩展

    一次又一次地证明,这些复杂的工程问题本质上都与约束有关。几乎每一个艰难的决策都意味着要阻止某些事物超出其应有的范围行事:

    • 仅能作用于特定危险节点的脚本解除器,
    • 绝不能将文件名误认为是域名的作用域保护机制,
    • 绝不能消耗超出所需预算的递归分解方法。

    人们原本以为挑战在于让智能体具备足够的能力,但实际上,真正的挑战在于在每一步仅赋予其相应程度的信任的同时,仍使其具备足够的能力。

    另一个较小的惊喜在于读者们的反馈。他们感兴趣的从来不是最聪明的代码,而是那些能够体现推理过程的时刻,是系统明确显示出自己在决定下一步该检查什么,而非机械地照着清单行事。这进一步强化了项目过程中日益坚定的信念:代理系统的价值往往不在于其机制本身,而在于其上叠加的判断能力,而判断能力远比架构更难以描述。

    这种模式的发展方向

    那些能够对自己的执行过程进行推理、并会使用工具的递归式代理,并非一时流行的趋势。它们更像是所有严肃的代理系统工作最终都会趋同的默认形态,因为另一种方式——每当出现新的问题类型时就编写专用的固定流程——根本无法跟上现实问题多样化的速度。

    最受关注的几个议题,即信任边界、限制措施、范围管控与成本控制,并非附加在该架构上的安全附加项,而是决定是否有人愿意采用该架构的关键因素。基于“不将整个提示词塞入模型”这一理念构建出的可用、可靠且偶尔会表现异常的系统,既是合理的终止点,也是启动下一个项目的合理起点。

    相关阅读

  • 从下一个标记预测到指令遵循:GPT模型的微调 —— 预训练的GPT是如何学会遵循指令的:记录格式化、标签偏移、填充掩码、训练循环、评估限制以及向DPO偏好靠拢的进程。
  • 为何AI对齐需要可检验的值:来自达马西奥的埃利奥特的启示 —— 神经科学表明价值应与知识分开。身体标记如何为更安全的AI系统提供可检验、可追溯、可编辑的价值标签。