Песочница рекурсивных языковых моделей: что стало препятствием, что требует перестройки
Уроки работы с средой для рекурсивных языковых моделей: слои изоляции, брокеры, CDR, ограничения трассировки в пользовательском пространстве и одного хоста, а также причины, по которым ограничения оказались эффективными.
Источники: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production
Система рекурсивной модели языка начинает свою работу с одного простого указания: перестать подавать всё введённое сообщение в модель. Вместо этого модель должна писать код, запускать его на данных, читать результат и решать, что попробовать дальше. Превращение этого указания в рабочую платформу потребовало месяцев работы над кодом, разбора его на составные части до тех пор, пока каждая из них не стала достаточно понятной для объяснения, а затем оценки того, устойчиво ли это объяснение для постороннего человека. Далее приводится ретроспектива готовой системы: что выдержало интенсивное использование, что изменится при второй попытке, что оказалось неожиданным и куда, по-видимому, движется развитие этой модели.
Почему объяснение её работы оказалось сложнее, чем её создание
Первоначальные идеи имели простые формы. Одной из них было центральное понятие рекурсивного цикла, а другой — граница доверия. По мере развития материал переставал быть единой идеей. Паттерн брокера, подписанные запросы и ответы, а также слои изоляции превращались в набор инженерных решений, которые имеют смысл только в совокупности. Выбор того, что показать, а что оставить в примечании, занимал больше времени, чем само написание предложений. Было типично тратить день на отдельную часть кодовой базы, лишь чтобы понять, в чём на самом деле заключается её суть.
Медленные этапы работы не были потрачены впустую. Многоуровневые песочницы, брокер, объединяющий четырех поставщиков, подписанные запросы и ответы, а также механизмы запуска работали лучше благодаря тому времени, которое им было уделено, даже если график работы в итоге выглядел неравномерным.
Уроки, которые остаются с нами
Несколько принципов, связанных с процессом разработки, применимы к любой подобной платформе агентов, независимо от сферы её использования.
- Проектируйте каждый уровень с учётом действий злоумышленника, а не среднестатистического пользователя. Структура, в которой каждый этап предполагает, что предыдущий уже мог потерпеть неудачу, сложна для описания и крайне трудна для преодоления.
- Ждите нескольких реализаций, прежде чем доверять какой-либо абстракции. Интерфейс-посредник, работающий с четырьмя разными поставщиками при одинаковой логике, доказал свою надёжность, тогда как интерфейс, написанный под одного поставщика, основан лишь на предположениях.
- Рассматривайте полномочия агента как бюджет, который следует тратить осознанно. Диапазон действий, затраты и разрешения должны иметь чёткие пределы, определяемые требованиями задачи, и не должны выходить за их рамки.
- Даёте предпочтение прозрачному обоснованию действий перед непонятной изощрённостью. Система, которая показывает, почему она решила сначала проверить тот или иной элемент, легче отлаживается, ей легче доверять, и её проще объяснить новичку.
- Первая версия должна честно отражать свои ограничения. Работа на одном хосте, отслеживание в пользовательском пространстве и отсутствие общих данных о угрозах допустимы только в первой версии при условии, что они четко оговорены как таковые, а не остаются загадкой в производственной среде.
- Основной цикл генерации кода, его выполнения, анализа результата и выбора следующего шага выдержал все испытания, которые ему были предъявлены.
- Трехуровневая система изоляции, начиная с затенения имен пространств и заканчивая полностью удаленными песочницами, никогда не пропускала то, что должна была блокировать.
- Паттерн брокера — это такая абстракция, которая становится по-настоящему понятной только после того, как ее реализуют четыре раза для четырех совершенно разных поставщиков и наблюдают, как одни и те же двадцать строк логики работают без изменений в каждом из случаев.
- Система обработки контента с разблокировкой и реконструкцией была самым гордым достижением. Именно в ней чаще всего возникали скрытые ошибки, но при тестировании во всех проверенных форматах файлах она ни разу не дала сбоев.
Что замедлило процесс
Некоторые компоненты системы действительно соответствовали критериям готовности к использованию в производстве.
Все это не возникло из очевидных идей. Оно проистекло из предположения с самого начала, что кто-то в конечном итоге попытается нарушить работу системы, и каждый слой был спроектирован исходя из этого предположения, а не из идеального сценария работы.
Что изменится при второй версии
Обзор, в котором перечисляются только успехи, похож на рекламный ролик, поэтому недостатки требуют прямого описания.
Отслеживание только из пользовательского пространства
Отслеживание системных вызовов в процессе детонации полностью осуществляется в пользовательском пространстве с помощью strace. Это настоящее ограничение, а не стилистический выбор. Достаточно продвинутый образец может заметить, что его отслеживают таким образом, и изменить своё поведение, либо воспользоваться временными промежутками, которых не было бы при использовании хука на уровне ядра. Пересборка программы позволит добавить eBPF или эквивалентный механизм на уровне ядра под слой отслеживания в пользовательском пространстве, но не вместо него, поскольку пользовательский слой по-прежнему эффективен против образцов, которые не прилагают усилий для маскировки.
Отсутствие внешней разведданных о угрозах
У системы нет связи с внешними источниками разведданных о угрозах. Каждый вердикт относительно образца основан на структурных признаках: такой шаблон системных вызовов напоминает внедрение процесса, в той части присутствует необычная энтропия. Ни один из этих факторов не зависит от того, встречался ли точный хеш файла ранее и был ли он классифицирован где-либо ещё. Этот пробел следует устранить как можно скорее, поскольку большая часть того, что вносит человеческий аналитик, вовсе не связана с гибким поиском шаблонов — это просто опыт встречи с именно таким случаем ранее.
Только один хост
Каждый песочницы, каждое взрывное событие и каждая цепочка рекурсивных вызовов координируются с одной машины, без распределения задач между машинами и без кластеризации. Это был разумный выбор для системы, созданной одним человеком за одно лето, но неправильный выбор для реального объема работы. Распределенная координация — это не просто дополнительная функция, которую можно добавить позже. Она представляет собой отдельную архитектуру, наложенную на первоначальную, и представление ее как дополнения было бы крайне нечестным. Распределение задач между машинами, восстановление после отказа узла во время взрыва и поддержание целостности подписанных состояний между хостами — все это новые проблемы, отсутствующие в конструкции с одним процессом.
Сюрприз: ограничения вместо возможностей
Оказалось, что сложная инженерная проблема снова и снова сводилась к вопросу ограничений. Почти каждое сложное решение заключалось в том, чтобы не позволить чему-либо делать больше, чем это необходимо:
- инструмент деактивации скриптов, воздействующий только на конкретный опасный узел,
- механизм защиты диапазона, который не должен путать имя файла с доменом,
- рекурсивное разложение, которое не должно тратить ресурсы, не требуемые для выполнения задачи.
Сначала считалось, что главная сложность заключается в том, чтобы сделать агента достаточно способным. На практике же задача состояла в том, чтобы сделать его достаточно способным, расширяя его функции лишь в той мере, в которой он заслуживал доверия на каждом отдельном этапе.
Менее значимым сюрпризом стало то, на что отреагировали читатели. Речь шла не о самом изящном коде, а о моментах, когда было видно процесс рассуждений, когда можно было наблюдать, как система принимает решение о том, что проверить дальше, вместо того чтобы просто следовать списку задач. Это подкрепляет убеждение, которое становилось всё сильнее на протяжении всего проекта: ценность агентной системы редко заключается в самом механизме, а в суждениях, добавляемых к нему, причём описать суждения гораздо сложнее, чем архитектуру.
Куда движется тренд
Рекурсивные агенты, использующие инструменты и рассуждающие о собственной работе, не выглядят как временная мода. Они больше похожи на стандартную форму, к которой будет стремиться любая серьёзная агентная работа, поскольку другой путь — создание специальных фиксированных процессов при появлении каждого нового типа задач — не может справиться с разнообразием реальных проблем.
Темы, привлекшие наибольшее внимание, а именно границы доверия, контейнеризация, обеспечение рамок действий и контроль затрат, не являются второстепенными аспектами безопасности, связанными с этой структурой. Именно они определяют, готов ли кто-либо её внедрять. Рабочая, надёжная и иногда весьма необычная система, построенная на принципе отказа от загружения всего запроса в модель, представляет собой разумную точку остановки, а также разумную отправную точку для следующего проекта.