SkillClaw: когда один агент терпит неудачу, все агенты учатся.
Как SkillClaw собирает следы взаимодействий от множества пользователей, развивает общие навыки агентов с помощью алгоритма эволюции и проверяет изменения за ночь перед их внедрением.
Совершенствование навыков агентов со временем является одной из наиболее перспективных идей в этой области в настоящее время. Framework SkillClaw, описанный в статье arXiv от апреля 2026 года, применяет эту идею в среде, где множество пользователей делится одной экосистемой агентов (OpenClaw); стоит рассмотреть, как он функционирует и в чём может проявляться его ограниченность.
Почему существующие системы навыков застаиваются
Агенты постоянно взаимодействуют с пользователями и накапливают опыт, однако лишь незначительная часть этого опыта способствует улучшению всей системы в целом. Выделяются несколько основных причин.
- Навыки в основном являются статичными. Их кто-то устанавливает и вручную обслуживает, после чего они редко меняются. Даже если агент находит более эффективный метод в процессе выполнения задачи, улучшение обычно остаётся в рамках этого конкретного диалога и никогда не попадает в хранилище навыков.
- Пользователи постоянно сталкиваются с одними и теми же проблемами. Люди используют похожие рабочие процессы, обращаются к одним и тем же инструментам и совершают одни и те же ошибки: неправильные форматы параметров, вызовы инструментов в неверном порядке, отсутствие проверки. Ничто не связывает эти закономерности между пользователями или со временем, поэтому многим приходится самостоятельно находить одни и те же решения.
- Существующие подходы решают лишь половину проблемы. Системы хранения истории позволяют её искать, но у них трудно превратить эту информацию в навыки, которые можно было бы повторно использовать или совершенствовать. Библиотеки навыков действительно объединяют опыт, но они обычно остаются неизменными и не развиваются в процессе использования.
Представьте себе, что разрозненный опыт, полученный в ходе множества сессий, превращается в навыки, которыми может пользоваться весь системный комплекс и которые постоянно совершенствуются. Проверенное решение, найденное в одном месте, распространяется по общему хранилищу, и любой будущий агент, использующий этот навык, извлекает из этого пользу.
Замкнутый цикл коллективной эволюции
SkillClaw собирает следы взаимодействий, возникающих в повседневном использовании среди пользователей, преобразует их в более совершенные навыки и синхронизирует улучшенные навыки обратно со всеми участниками. Этот цикл состоит из четырех шагов.
1. Запись следов взаимодействий
Каждая взаимодействие фиксируется полностью: не только окончательные ответы, но и промежуточные запросы, действия, вызовы инструментов, ошибки, обратная связь от окружающей среды и заключительный ответ. Детализация важна, поскольку многие проблемы с навыками скрываются именно на промежуточных этапах, а не в итоговом результате.
2. Создание общих доказательств
Следы структурируются и группируются по соответствующим навыкам. Это позволяет сравнивать успехи и неудачи того или иного навыка у разных пользователей и в разных условиях, что помогает понять, когда и почему он работает эффективно. Сессии, в которых не использовался ни один существующий навык, попадают в специальную группу, обозначаемую как G(∅); алгоритм развития анализирует эту группу в поисках возможностей: конкретных процедур, которые можно было бы преподать и которые, вероятно, снова понадобятся.
3. Развитие навыков с помощью агентного алгоритма развития
Центральным элементом является агентный алгоритм развития. Он не следует заранее написанным правилам. Он открыто анализирует имеющиеся данные вместе с текущими определениями навыков, после чего выбирает один из трех вариантов действий: усовершенствовать существующий навык, создать новый или оставить всё как есть.
Он рассматривает победы и поражения вместе. Успехи указывают на те аспекты навыка, которые нельзя менять, в то время как неудачи показывают, что требует доработки. Цель состоит в том, чтобы избежать ситуации, когда попытка исправить одну проблему приводит к нарушению уже работающей функции, и следующий шаг добавляет ещё один механизм защиты.
4. Проверка перед внедрением
Ничего не вводится в эксплуатацию сразу. Кандидатские навыки тестируются всю ночь в реалистичных условиях, сравниваясь с существующими вариантами на соответствующих задачах.
- Принимаются только те кандидаты, которые превосходят текущий навык в соответствующих задачах проверки, они объединяются в общий репозиторий и внедряются во все агенты на следующий день.
- Кандидаты с худшими результатами отклоняются, что позволяет достичь так называемого монотонного внедрения: набор навыков никогда не ухудшается.
Эта проверка безопасности имеет свою цену. Подтверждение корректности требует дополнительных токенов, поскольку кандидаты должны работать в реальных средах с полным взаимодействием с инструментами. Плюсом является более стабильная работа приложения для пользователей по сравнению с прямым внедрением изменений.
Оценка
Вопрос заключался в том, улучшает ли развитие навыков на основе данных о многопользовательской деятельности производительность при выполнении последующих задач, напоминающих реальную работу агентов.
Настройка
Бенчмарк WildClawBench включает 60 сложных задач в шести областях способностей. Задачи выполняются полностью внутри реальных Linux-контейнеров с реальными инструментальными комплексами и мультимодальными входными данными, а не только текстовым выводом. Оценка проводится строго, и критическая ошибка может снизить оценку задачи до нуля.
Этот тест также не представлял собой однократную работу в офлайн-режиме. Он имитировал шесть дней эксплуатации. Каждый день восемь одновременно работающих пользователей выполняли задачи с помощью агентов. Каждую ночь система генерировала кандидатов на обновление навыков на основе данных за день и проверяла их в реалистичной среде; в продакшен попадали только те обновления, которые прошли проверку. На протяжении всего теста использовалась одна и та же модель — Qwen3-Max.
Результаты
Были представлены результаты для четырех типичных категорий задач, причем пути улучшений различались. Сначала функция творческого синтеза получила выгоду от более надежной среды и настройки входных данных. Функции поиска и извлечения данных улучшались поэтапно: сначала происходила проверка файлов, а затем — планирование процесса извлечения с учетом ограничений.
По сравнению с первым днем кривая не была неровной. Она постепенно повышалась, а затем стабилизировалась в большинстве категорий, поскольку проверенные обновления были включены в наиболее совершенный набор навыков на данный момент.
Однако следует учитывать масштаб исследования: восемь пользователей, шесть дней и четыре отслеживаемые категории. Это небольшой эксперимент. Постоянный прогресс обнадёживает с точки зрения коллективного развития навыков, но настоящее испытание — более масштабные внедрения.
Оценка
SkillClaw имеет сложную архитектуру. Он собирает данные о выполнении задач от существующих агентов, использует механизм эволюции агентов для анализа успехов и неудач, корректирует навыки на основе полученных данных, затем проводит асинхронные тесты и сохраняет лучшие результаты. Всё это зависит от наличия большого количества данных об взаимодействии, как положительных, так и отрицательных, от широкой аудитории пользователей.
Выделяются две основные проблемы.
- Эволюция, реализация и проверка зависят от одной основной модели. Особенно при проверке модель сама сравнивает старые и новые результаты. Это может привести к замкнутому циклу, в котором определенный набор предвзятостей постоянно усиливается. Рейтинги по эталонам могут постепенно расти, при этом реальные бизнес-показатели не меняются.
- Определение того, какие взаимодействия действительно эффективны, остается нерешенной проблемой. Без надежного механизма оценки создание качественного хранилища треков становится крайне сложным.
Эта платформа также похожа на Trace2Skill — схожий подход, при котором опыт агента преобразуется в переносимые навыки. Оба подхода основаны на идее, что агенты могут совершенствоваться без тонкой настройки параметров, превращая записи своего опыта в повторно используемые навыки. Однако между ними существуют значительные различия:
- SkillClaw рассматривает эволюцию навыков прежде всего как проблему онлайн-систем: как распределенные агенты могут объединять фрагментированные ежедневные взаимодействия в общие навыки и безопасно совершенствовать их в симулированной реалистичной среде.
- Trace2Skill рассматривает этот процесс как процесс дистилляции опыта: разбивает множество отдельных записей, синтезирует качественные общие уроки и преобразует их в передаваемые, декларативные навыковые объекты.
Оригинальная статья называется «SkillClaw: Let Skills Evolve Collectively with Agentic Evolver» и доступна на arXiv.
Связанная литература
- Многопроцессные системы представляют собой системы бэкенда с недетерминистичными компонентами — Почему производственные многопроцессные системы способствуют формированию привычек бэкенда: явные контракты, использование промптов в качестве конфигурации, строгий контекст, одна роль на агента, надежный код.
- Что такое сандбоксы для агентов: холодный запуск, изоляция, выход в сеть и снимки состояния — Что должны учитывать инженеры искусственного интеллекта перед созданием сандбокса для агента, выполняющего код: реальный холодный запуск, группы активных агентов, контейнеры против gVisor против микро-ВМ, выход в сеть и состояние системы.