Сандбокс рекурсивних мовних моделей: що заважало, що потрібно відновити.
Уроки з розробки сандбоксу для рекурсивних мовних моделей: шари ізоляції, брокери, CDR, обмеження трасування в користувацькому просторі та один хост, а також чому стриманість виявилася ефективною.
Джерела: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production
Система рекурсивної моделі мови починається з однієї простої інструкції: припинити подавати всю ініціалізаційну інформацію до моделі. Натомість нехай модель пише код, запускає цей код на даних, читає результат та вирішує, що спробувати далі. Перетворення цієї інструкції на функціональну платформу зайняло місяці: читання коду, розбирання його на складові, доки кожна з них не стала достатньо зрозумілою для пояснення, а потім оцінка того, чи буде це пояснення зрозумілим для сторонньої особи. Далі йде огляд готової системи: що витримало інтенсивне використання, що зміниться під час другої спроби, що виявилося несподіваним та куди, схоже, рухатиметься ця тенденція.
Чому пояснення було складніше, ніж створення
Ранні ідеї мають прості форми. Однією з них є центральна концепція рекурсивного циклу, а іншою — межа довіри. Далі матеріал вже не є єдиною ідеєю. Паттерн брокера, підписані обміни даними та шари ізоляції стають сукупністю інженерних рішень, які мають сенс лише разом. Вибір того, що показати, а що залишити у примітці, займав більше часу, ніж сам написання речень. Типовим було те, що на розробку однієї частини кодової бази витрачалося ціле день, лише щоб зрозуміти, у чому вона насправді полягає.
Повільні етапи розробки не були марними. Шарові пісочниці, брокер, який об’єднує чотирьох постачальників, підписані обміни даними та конвеєр для обробки даних отримали краще пояснення завдяки цьому часу, навіть якщо графік роботи згодом виглядав нерівномірним.
Уроки, які залишаються
Кілька звичок, які використовуються під час розробки, застосовні до будь-якої подібної платформи агентів, незалежно від її сфери діяльності.
- Розробляйте кожен рівень з урахуванням дій атакувальника, а не звичайного користувача. Структура, у якій кожен етап передбачає, що попередній вже міг зазнати невдачі, є складною для опису та дуже важкою для подолання.
- Чекайте на кілька реалізацій, перш ніж довіряти абстракції. Інтерфейс посередника, який працює з чотирма різними постачальниками за однаковою логікою, вже довів свою ефективність, тоді як інтерфейс, створений лише для одного постачальника, є лише припущенням.
- Ставіться до повноважень агента як до бюджету, який потрібно витрачати обережно. Обсяг, витрати та дозволи мають мати чіткі обмеження, визначені вимогами завдання, і не більше.
- Віддавайте перевагу прозорим міркуванням перед непрозорою хитрістю. Система, яка пояснює, чому вона обирає перевірку певного елемента наступно, легше дебагувати, їй легше довіряти та її легше пояснити новачкам.
- Перша версія має чесно відображати свої обмеження. Робота на одному хості, відстеження у користувацькому просторі та відсутність спільних даних про загрози є прийнятними лише у початковій версії, якщо вони чітко вказані як обмеження, а не залишаються на розсуд під час експлуатації.
Що завадило
Деякі частини системи справді заслуговують на позначку «готова до експлуатації».
- Основний цикл генерації коду, його виконання, спостереження за результатом та вибір наступного кроку витримав усі випробування.
- Багатошарова система ізоляції, яка починається зі затінювання імен просторів та проходить через gVisor до повністю віддалених сандбоксів, ніколи не пропускала те, що мала б заблокувати.
- Паттерн брокера — це така абстракція, яку можна повністю оцінити лише після того, як її реалізували чотири рази для чотирьох абсолютно різних постачальників та спостерігали, як ті самі двадцять рядків логіки працюють без змін для кожного з них.
- Конвеєр для роззброєння та реконструкції контенту був найбільш приємним досягненням. Саме його найлегше було ненавмисно пошкодити, але у всіх перевірених форматах файлів він ніколи не піддавався таким помилкам.
Усе це не виникло з очевидних ідей. Воно виникло з припущення з самого початку, що хтось рано чи пізно спробує зламати систему, і кожен рівень був розроблений з урахуванням цього припущення, а не ідеального сценарію роботи.
Що зміниться під час другої розробки
Огляд, який містить лише успіхи, — це лише відео з найкращими моментами, тому прогалини потребують прямих формулювань.
Відстеження лише з простору користувача
Відстеження системних викликів у процесі детонації відбувається повністю у користувацькому просторі за допомогою strace. Це справжня обмеженість, а не стилістичний вибір. Достатньо складний зразок може помітити, що його таким чином відстежують, та змінити свою поведінку, або скористатися проміжками у часі, яких не існувало б у випадку використання механізмів на рівні ядра. Перебудова системи передбачає додавання eBPF або еквівалентного механізму на рівні ядра під відстеження у користувацькому просторі, а не замість нього, оскільки шар користувацького простору все одно ефективно функціонує проти зразків, які не намагаються сильно приховати свою діяльність.
Відсутність зовнішньої інформації про загрози
Система не має зв’язку з зовнішньою інформацією про загрози. Кожен висновок щодо зразка є структурним: ця схема виклику системних функцій нагадує вставку процесу, у тій частині є незвичайна ентропія. Жоден з цих висновків не ґрунтується на тому, чи був точний хеш файлу вже бачений та класифікований деінде. Цю прогалину слід усунути якомога швидше, адже багато з того, що робить людський аналітик, зовсім не є розумним пошуком закономірностей — це просто те, що він вже стикався з точно такою ситуацією раніше.
Лише один хост
Кожен пісочничний середовище, кожне вибухання та кожна ієрархія рекурсивних викликів координуються з однієї машини, без планування між машинами та без кластеризації. Це був розумний вибір для системи, створеної однією людиною протягом одного літа, але неправильний вибір для реального обсягу роботи. Розподілена координація — це не дрібна функція, яку можна додати пізніше; це окрема архітектура, що додається до початкової, і представляти її як додаток було б найменш чесним твердженням. Планування роботи між машинами, відновлення після втрати вузла під час вибуху та підтримка консистентності підписаних станів між хостами — усе це нові проблеми, яких немає у проекті з одним процесом.
Сюрприз: обмеження замість можливостей
Ця складна інженерна проблема знову та знову виявлялася пов’язаною з обмеженнями. Майже кожне складне рішення полягало у тому, щоб не дати чомусь робити більше, ніж це необхідно:
- засіб деактивації скриптів, який впливає лише на саме небезпечне вузло,
- захисник діапазону, який не повинен плутати ім’я файлу з доменом,
- рекурсивний розклад, який не повинен витрачати бюджет, якого йому не потрібно.
Спочатку очікувалося, що виклик полягатиме у тому, щоб зробити агента достатньо здатним. Насправді ж виклик полягав у тому, щоб зробити його достатньо здатним, розширюючи його лише настільки, наскільки це було можливо завдяки довірі, яку він здобув на кожному окремому кроці.
Ще одним невеликим сюрпризом стало те, на що реагували читачі. Це ніколи не був найрозумніший код. Це були моменти, коли було видно логіку мислення, коли можна було побачити, як система вирішує, що перевірити далі, замість простого проходження списку завдань. Це підтримує думку, яка ставала все сильнішою протягом проекту: цінність агентської системи рідко полягає у самому механізмі, а радше у судженні, яке додається до нього, і судження набагато складніше описати, ніж архітектуру.
Куди рухається ця тенденція
Рекурсивні агенти, які використовують інструменти та міркують під час виконання завдань, не схожі на тимчасову моду. Вони більше нагадують стандартну форму, до якої буде спрямована будь-яка серйозна робота з агентами, адже інший підхід — створення окремої фіксованої схеми щоразу, коли з’являється новий тип проблеми — не може встигати за різноманітністю реальних проблем.
Теми, які привернули найбільше уваги, а саме межі довіри, обмеження, забезпечення діапазону та контроль витрат, не є просто додатковими зауваженнями щодо безпеки. Саме вони визначають, чи буде хтось готовий його використовувати. Робоча, надійна та іноді дуже дивна система, побудована на ідеї не завантажувати весь запит у модель, є розумним кроком для зупинки та розумним початком для наступного проекту.