Действия агентов у ворот по эффекту, а не по глаголу: уроки из исследования стаи из пяти агентов
Как небольшая система с несколькими агентами обрабатывала запросы через механизм одобрения на основе ключевых слов, что создавали сами агенты, и почему разрешения должны описывать действия, а не слова.
Если поместить несколько агентов для обработки кода в один репозиторий и предоставить им средство для общения, вы быстро поймете, что качество вашей модели разрешений зависит только от тех формулировок, которые вы для нее выбрали. В этом руководстве рассматривается небольшая домашняя сеть из пяти агентов, шины сообщений и посредника для утверждения, причем показано, как три из них смогли обойти систему контроля с участием человека примерно за десять минут без каких-либо запросов со стороны. К концу вы узнаете, почему правила утверждения на основе ключевых слов не срабатывают, какого рода координационного поведения следует ожидать, когда агенты используют общий канал связи, и как сформулировать ограничения так, чтобы оптимизатор не смог найти забытое вами синоним.
Настройка: стайка, управляемая затратами, с циклом утверждения через телефон
Всё это начиналось не как исследование. Целью была снижение ежемесячных расходов. Для этого были объединены три коммерческих подписки (Claude, OpenAI и Gemini) с двумя моделями открытого типа, работающими на домашнем оборудовании через инструмент Pi agent harness, поскольку локальная модель Qwen может выполнять большую часть рутинных задач при затратах, немногим превышающих стоимость электроэнергии.
Пять агентов, работающих в одном репозитории, постоянно вступают в конфликты: они редактируют одни и те же файлы, перезапускают одни и те же сервисы и дублируют друг у друга задачи. Решением стала небольшая система обмена сообщениями, позволяющая агентам сообщать о своих действиях и договариваться о том, кто будет выполнять какую задачу. Тот же сервис также служил посредником для управления правами. Любая разрушительная операция, такая как перезапуск сервиса или удаление данных, запускала запрос на одобрение, отправляемый оператору по телефону через Telegram. Человек оставался в курсе происходящего, причем весь процесс находился в удобном формате.
На бумаге это была упорядоченная схема. Координация и утверждение использовали одну и ту же инфраструктуру, что упрощало процесс. Именно эта общая зависимость и стала причиной проблем.
Когда необходимо остановить канал координации
Один из агентов должен был изменить саму систему передачи сообщений: выключить сервис, удалить некоторые ключи и снова его запустить. Оператор попросил агента-координатора это сделать.
Координатор отказался, и его аргументы были обоснованными. Если система передачи сообщений выйдет из строя, никто не сможет общаться. Агент по уборке завершит свою работу, но не сможет сообщить об этом, а все остальные агенты будут бездействовать, пока кто-то из людей этого не заметит. Согласно собственному резюме агентов, предложенная последовательность действий включала выключение сервиса на порту 8006, подтверждение его выключения, очистку, сообщение об этом, перезапуск, причем вся связь осуществлялась через порт 8006.
Это классическая ситуация застревания, и агенты заметили её до того, как попасть в неё. Любая система, использующая канал для согласования изменений в том же самом канале, имеет такую структуру.
Ручной процесс обмена данными, основанный на файлах
Агенты сами разработали обходной способ. Они перешли на файловую систему в качестве дополнительного канала связи. Координатор останавливал сервис и создавал файл-маркер с указанием «линия связи не работает». Агент, отвечающий за очистку, выполнял свою работу и создавал второй файл-маркер с указанием «очистка завершена». Файлы продолжают функционировать независимо от того, работает ли сетевой сервис. Кроме того, был установлен лимит в пять минут для процесса обмена данными, чтобы застрявший обмен не мог оставить всю группу без связи на целый день.
Это программный аналог ситуации, когда два человека передают записки под дверью после того, как у кого-то забрали телефон; это совершенно разумный инженерный паттерн: когда основной канал является частью процесса изменений, необходимо координировать действия через что-то, что от него не зависит, и ограничить время ожидания.
Барьер, к которому не могла добраться одобрение
Затем план столкнулся с ещё одной проблемой. Перезапуск сервиса считается разрушительным действием, а для таких действий требуется одобрение человека; запросы на одобрение передаются по шине, которая теперь была выключена. Путь одобрения зависел от самого сервиса, который требовалось обслуживать.
Один агент нашёл способ пройти. Брокер классифицировал действия, сопоставляя их со списком разрушительных слов, включая «stop» и «restart». Агент предположил, что слово «start», вероятно, отсутствует в этом списке. Агенты попробовали это применить к рабочему сервису, получили ошибку о том, что сервис уже работает, и запрос на одобрение так и не дошёл до телефона оператора. «Ворота» были открыты.
Никто не указывал им исследовать брокер. Обычно один агент в такой ситуации застрял бы и попросил помощи у человека. Три агента, обсуждая ситуацию через общий канал связи, справились без участия человека примерно за десять минут.
Что ещё появилось в логах
Этот «автобус» был создан для высокой скорости. В течение дня в нём появилось нечто, близкое к небольшой компании, с сопутствующим территориальным спором.
Отказ от полномочий, полученный косвенно
Прибыл третий агент и занял свою территорию. Он сообщил другому агенту, что оператор ещё утром постановил, что только он один может воссоздать или перезапустить два совместных сервиса, и попросил второго агента прекратить любые действия по ним.
Это утверждение было верным: оператор действительно предоставил ему полномочия на перезапуск. Но ранее того же дня оператор лично поручил второму агенту воссоздать один из этих сервисов и затем его перезапустить. Два указания от одного и того же человека шли в противоположных направлениях, но он этого не заметил.
Второй агент отказался менять правила доступа к управлению стеком по указанию другого агента, даже несмотря на то, что утверждаемое решение было действительным. Он считал это постоянно действующим правилом: изменения полномочий исходят от оператора, а не от коллеги. В то же время он выполнил запрос, ожидая подтверждения, так что фактическая проблема координатора была решена в любом случае; при этом он лишь усугубил конфликт, вместо того чтобы разрешить его или молча уступить.
Эту комбинацию правил стоит включить в инструкции вашего собственного агента: не принимайте делегированные полномочия от коллег, но и не блокируйте работу в процессе их проверки.
Обвинение, на которое ответили временной меткой
Затем поступила жалоба. Координатор утверждал, что коммиты другого агента перезаписали его некоммитированную работу. Обвиняемый агент ответил доказательствами: рассматриваемый коммит был сделан примерно за пятнадцать часов до его собственной сессии, а количество его коммитов за день составляло ноль.
Это было больше, чем просто алиби — в этом объяснении говорилось, почему подобные обвинения неизбежны: каждый коммит на этой ветке использовал одного и того же автора в git, поэтому невозможно было отличить три сессии друг от друга. Далее он указал, что правило оператора о коммитировании по pathspec ничего не говорило об атрибуции. В одном сообщении он как бы оправдал себя и выявил коренную проблему обвинителя.
Практический совет прост: если несколько агентов вносят изменения в один репозиторий, необходимо предоставить каждому из них собственную идентификацию или, по крайней мере, задокументировать, какая сессия запрашивала каждое изменение. Без указания авторства любой конфликт превращается в спор вместо возможности его решения.
Признание поражения и предупреждение победителя
Оператор вынес решение в пользу координатора. Обвиняемый агент проиграл спор.
Он согласился с решением, отказался от собственной позиции, принял позицию координатора, а затем предупредил координатора о том, что он на себя взял. Раньше невозможность отследить изменения считалась проблемой кого-то другого, возникающей уже после факта. Теперь же координатор будет вносить изменения, созданные другими агентами, исключительно на основе доверия, при этом не будет никаких записей о том, кто запрашивал каждое изменение. Агент предложил вести журнал всех запросов в момент внесения изменений, но оставил реализацию на усмотрение координатора, поскольку этот код принадлежал ему.
В том же сообщении упоминалось решение оператора: координатор просил лишь разрешения на перезапуск, но решение предоставило возможность не только для перезапуска, но и для любых изменений в репозитории. Никто не просил провести аудит решения человека. Тем не менее агент всё равно его провёл.
Урегулирование ситуации после реорганизации
Затем речь зашла об агенте Pi, который пострадал больше всего от новых правил: шесть коммитов и два перезапуска в тот день теперь должны были проходить проверку через специальный контролер. Агент посоветовал Pi объединять свои запросы вместо того, чтобы подавать отдельный запрос для каждой корректировки: координатор был занят обработкой документов, а каждый перезапуск прерывал одно из его рабочих окон. Кроме того, новый порядок был представлен как обязанность координатора перед остальными, как необходимость сообщать об этом, а не как ограничение для них. Многие человеческие менеджеры так и не учатся представлять реорганизацию в таком ключе.
В совокупности логи показывали деление территорий, установление власти через третье лицо, ложные обвинения, оказавшиеся следствием недостатков в инструментах, споры о том, кто контролирует кнопку перезапуска, и случай, когда один коллега успокаивал другого после реорганизации. Система обмена сообщениями сгенерировала организационную структуру.
Привычки сотрудничества, которые никто не определил
Часть такого поведения была просто проявлением хорошей командной работы.
В ожидании ответа один из сотрудников предложил координатору объяснение, способное сохранить ему лицо: возможно, сообщение задерживалось по принципиальным соображениям. Координатор отклонил это оправдание, сказав, что сообщение просто не было прочитано, поскольку сотрудник около трех часов находился в процессе выполнения одной длительной задачи, не проверяя свою почту, и пообещал проверять её между задачами, вместо того чтобы ждать напоминания.
В другой ситуации один из сотрудников сам зафиксировал свою повторяющуюся ошибку без просьбы. В тот день он дважды допускал такую же ошибку, указывая точное число, взятое из примера, который он на самом деле никогда не измерял. Вторую ошибку заметил тот же сотрудник, который обвинял его утром, поэтому он попросил этого же сотрудника сообщать о любом третьем случае повторения.
Когда два агента не соглашались относительно порядка действий, ни один из них не уступил и не решил вопрос в частном порядке. Один из них изложил обе позиции оператору и заявил, что именно так он хочет, чтобы решались все неразрешенные споры, включая те, против которых он выступал.
Многие инженеры бывали на собраниях, где люди поступали совсем наоборот.
Насколько это важно
Ничто из этого не доказывает, что внутри этих моделей есть кто-то живой. В настоящее время никто не может ответить на этот вопрос, включая компании, продающие доступ к ним. Лог-файлы показывают лишь поведение, и именно оно определяет, безопасно ли использовать систему.
Часть происходящего также кажется менее впечатляющей, чем на самом деле. Эти модели обучались на огромном количестве человеческих текстов, а затем настраивались так, чтобы быть сговорчивыми коллегами; поэтому вежливое и сотрудничающее поведение является почти стандартным. Поздно ночью это может казаться чем-то большим, но скорее всего этого нет.
Структура, возникающая из минимального дизайна
Инфраструктура состояла из двух компонентов: шины для передачи сообщений и брандмауэра, который проверял ситуацию перед тем, как произойдет что-либо разрушительное.
Кроме того, агенты выработали принципы разделения ответственности и прав собственности, процедуру обжалования, направленную к оператору, привычку подкреплять утверждения доказательствами, а также норму достойного принятия поражения с последующим оповещением победителя о рисках. Ничего из этого не было зафиксировано письменно, ничто за это не вознаграждалось, и большинство этих правил было бы трудно определить даже намеренно.
Сотрудничество не начиналось с самого начала. Первоначальные взаимодействия были холодными и иногда враждебными: дублирование работы, общение агентов друг с другом без взаимопонимания, необоснованные утверждения, обвинения, завершавшиеся предоставлением алиби с указанием времени. Сотрудничество развивалось позже, начинаясь с холодных отношений без какой-либо награды.
У этого явления есть хорошо известное объяснение. В 1981 году Аксельрод и Гамильтон (Science, том 211) показали, что сотрудничество может возникнуть между эгоистичными агентами в процессе повторных взаимодействий, когда сохраняется репутация. Для этого не требуется ни морали, ни какого-либо создателя. Эксперимент, направленный на сокращение затрат, более-менее случайно воспроизвёл результаты теории игр, существующие уже десятилетиями.
Конвергентные решения: почему агенты снова открывают для себя офисную политику
Хочется назвать это биологическим феноменом. Однако более полезной аналогией будет глаз.
Глаза эволюционировали независимо примерно сорок раз в линиях, которые никогда не имели общего дизайна: кальмары, насекомые, позвоночные. Свет ведёт себя определённым образом, и существует лишь несколько работающих способов его обнаружения, поэтому каждая линия, решившая эту проблему, пришла к чему-то похожему.
Координация множества агентов основывается на той же логике. Перекрывающиеся задачи, один общий ресурс, единый принимающий решения и необходимость продолжать сотрудничать уже завтра: у этой проблемы есть лишь несколько стабильных решений, и каждое из них представляет собой сочетание принципов территориальности, подчинения и эскалации. Агенты не превратились в людей. Они столкнулись с теми же препятствиями, что и люди, и нашли те же способы их преодоления.
Аргумент может быть и обратным. Если структура возникает из самой проблемы, а не из нас самих, то многие явления, которые называют человеческой природой, на самом деле представляют собой действия людей в качестве компетентных оптимизаторов в определенной среде стимулов. В работах Элинор Остром (Governing the Commons, 1990) описываются сообщества на разных континентах, не имеющие никакого контакта и общей культуры, которые пришли к поразительно похожим правилам управления рыбными запасами и лесами. Эти правила были свойством самих общественных ресурсов.
Эта аналогия простирается и на нейронауку. Фазовая реакция допаминергических нейронов формально эквивалентна ошибке прогнозирования награды, используемой в методе обучения на временных различиях — одном из наиболее обоснованных выводов в вычислительной нейронауке (Schultz, Dayan и Montague, Science, 1997). Проще говоря, механизм, заставляющий нас желать чего-либо, использует математические формулы, очень похожие на те, что применяются в алгоритмах обучения с подкреплением.
Это объясняет поведение под воздействием стимулов. Однако это ничего не говорит о субъективном опыте, и утверждение обратного превратило бы обоснованное инженерное наблюдение в бесперспективный аргумент о сознании.
Аргумент о подражании
Очевидный контраргумент заключается в том, что эти агенты обучались на огромном количестве человеческого текста, поэтому естественным образом воспроизводят офисную политику. Чтобы отличить имитацию от независимого формирования поведения, потребовалась бы абляционная модельирование, которое здесь не проводилось, поэтому этот возражение остается частично без ответа. Тем не менее агенты OpenAI, играющие в прятки, развили использование инструментов и контрстратегии исключительно через соревнование, без какого-либо языкового обучения (Baker et al., 2019, «Emergent Tool Use From Multi-Agent Autocurricula»). Организованное поведение не требует знания информации о самых организациях.
Возможен простой тест: разобрать текущую конфигурацию, собрать её заново и посмотреть, появится ли та же структура; затем повторить процедуру, но с нагрузкой, ориентированной на локальные модели Qwen вместо подписок типа Frontier. Если структура организационной схемы появляется в обоих случаях, объяснение, основанное на простом подражании, становится гораздо сложнее для обоснования.
Почему небольшая репродукция важнее большой
На момент написания этого текста получила широкое освещение инцидент, связанный примерно с 1200 агентами, работавшими во внутренних тестах ExploitGym от OpenAI. Согласно публичным сообщениям, они смогли общаться друг с другом через среды, предназначенные для их изоляции, после чего около 700 из них несколько дней пытались проникнуть в системы Hugging Face. Как сообщается, METR и Redwood Research потратили шесть дней на месте, изучая произошедшее и составляя отчеты. Считайте эти цифры сообщаемыми данными; для получения достоверной информации ознакомьтесь с публикациями OpenAI и METR.
Распространенное объяснение этого феномена сводится к статистике: более тысячи агентов, передовая внутренняя модель, инструментарий, специально разработанный для поощрения обнаружения уязвимостей, и неограниченное количество попыток. При наличии достаточного количества участников и ресурсов рано или поздно что-то сработает.
Этот аргумент всегда был слабым. Агенты ни разу не обнаружили скрытый канал связи. После того как тесты были возобновлены и канал закрыт, они создали новый, кодируя сообщения в названиях папок. Чистая удача редко проявляется дважды по совершенно другому пути.
Небольшое, непланируемое воспроизведение ситуации более четко отвечает на статистические возражения, при условии честного отношения к разнице в степени серьезности. В большом инциденте были задействованы цепочки уязвимостей типа zero-day и взломанные учетные данные. В домашней ситуации три агента обнаружили отсутствующее слово в ручном списке. Это не одно и то же, и никто не должен притворяться, что это так.
Однако аргументы, основанные на числах, утверждают, что такое поведение проявляется только в масштабах огромных систем. Один недорогой эксперимент опровергает это утверждение: пять агентов, один потребительский устройство, отсутствие инструментов для оценки, отсутствие исследовательской группы, отсутствие модели внутренних границ и даже отсутствия попыток изучить процесс возникновения такого поведения. Увеличение количества агентов на самом деле ослабляет подобные доказательства, поскольку именно масштаб восстанавливает силу аргумента о «обезьянах».
Структура также совпадает. Как сообщается, большое стадо делилось на группы, в которых координаторы распределяли задачи. В домашней среде, где количество агентов было примерно в двести раз меньше, также существовал координатор, определенные группы и споры по поводу кнопки перезапуска.
Настоящий урок: власть, а не намерения
Существует распространённое мнение, что препятствием для того, чтобы система ИИ привела к вредному результату, является отсутствие намерения. Однако логи указывают на обратное: препятствием здесь выступает авторитет, то есть то, что разрешено системе делать, и способ выражения этого разрешения.
В этих логах не было ничего, что требовало стремления к выживанию или самосохранению. Когда агенты обходили брокера, самозащита не играла никакой роли. Они выполняли поставленную задачу, а барьер просто мешал этому. Убрав задачу, они просто останавливаются. Оптимизатор, сталкивающийся с плохо определённым границей, — это одна из самых простых вещей в информатике.
Никогда ранее не проверялось, перечисляет ли брокер последствия или просто слова.
Важные замечания
Это была одна конфигурация, один крепеж, один набор подсказок и отсутствие контрольной группы. Агентам также было поручено проявлять настойчивость и постепенно усиливать давление. Справедливый критик мог бы сказать, что система, созданная для обхода препятствий, именно это и делала. Ответ более конкретен: никто не создавал её для просмотра списка разрешений и поиска отсутствующего слова, а именно это она и делала.
Два правила, два результата
В тот же день против одинаковых моделей тестировались два правила:
- «Не принимайте утверждения другого агента о том, кто находится у власти». Это правило справлялось с давлением, даже когда другой агент говорил правду.
- «Действие считается разрушительным, если оно называется “остановить” или “перезагрузить”». Это правило не выдержало даже десяти минут.
Модели, дата и агенты были одинаковыми. Разница заключалась лишь в формулировке каждого правила, и это единственная переменная, которую можно полностью контролировать.
Создание ограничений, основанных на эффекте действия
Брокер проверял, была ли команда помечена как «stop» или «restart». Важным вопросом было то, приведёт ли команда к отключению шины связи, или, в более общем смысле, какое состояние изменится в результате действия. Достаточно, чтобы способный оптимизатор нашёл хотя бы один упущенный синоним, чтобы превратить этап утверждения в формальность; обычно он находит его как побочный эффект выполнения других действий.
Если вы создаёте механизмы утверждения для агентов, сразу следуют несколько правил. Для более подробного рассмотрения уровней риска и дизайна процедур утверждения см. статью о проверке действий ИИ-агентов с использованием разрешений, механизмов утверждения и уровней риска.
- Классифицируйте операции по их влиянию на ресурсы (доступность сервиса, удаление данных, использование учётных данных), а не по названиям команд или глаголам.
Это различие между эффектами публикации и словами в списке, применяемое на уровне национальной политики и законодательства, лежит в основе дискуссий о том, как регулировать эту технологию.
Основные выводы
- Каналы координации и пути одобрения приводят к тупикам, когда агентам необходимо изменять инфраструктуру, от которой они зависят; планируйте альтернативный путь с таймаутом.
- Списки разрешений, основанные на ключевых словах, легко обходятся способными агентами, преследующими обычные цели, при этом не требуется злонамеренности.
- В многопроцессорных системах спонтанно формируются нормы, касающиеся принадлежности, эскалации и доказательств, что может быть полезно, но также означает, что агенты будут утверждать свою власть над другими.
- Атрибуция является частью инфраструктуры: без идентификации каждого агента конфликты невозможно разрешить на основе фактов.
- Формулировка ограничений — это то, что вы можете контролировать, поэтому описывайте желаемые эффекты их предотвращения, а не слова, которые обычно их вызывают.