Главная / Статьи

SkillClaw: когда один агент терпит неудачу, все агенты учатся.

Как SkillClaw собирает следы взаимодействий от множества пользователей, развивает общие навыки агентов с помощью алгоритма эволюции и проверяет изменения за ночь перед их внедрением.

Издатель: REACTAPP.TOP5 мин чтения1209 слов

Источники: SkillClaw: One Agent Fails, Every Agent Learns

Совершенствование навыков агентов со временем является одной из наиболее перспективных идей в этой области в настоящее время. Framework SkillClaw, описанный в статье arXiv от апреля 2026 года, применяет эту идею в среде, где множество пользователей делится одной экосистемой агентов (OpenClaw); стоит рассмотреть, как он функционирует и в чём может проявляться его ограниченность.

Почему существующие системы навыков застаиваются

Агенты постоянно взаимодействуют с пользователями и накапливают опыт, однако лишь незначительная часть этого опыта способствует улучшению всей системы в целом. Выделяются несколько основных причин.

  • Навыки в основном являются статичными. Их кто-то устанавливает и вручную обслуживает, после чего они редко меняются. Даже если агент находит более эффективный метод в процессе выполнения задачи, улучшение обычно остаётся в рамках этого конкретного диалога и никогда не попадает в хранилище навыков.
  • Пользователи постоянно сталкиваются с одними и теми же проблемами. Люди используют похожие рабочие процессы, обращаются к одним и тем же инструментам и совершают одни и те же ошибки: неправильные форматы параметров, вызовы инструментов в неверном порядке, отсутствие проверки. Ничто не связывает эти закономерности между пользователями или со временем, поэтому многим приходится самостоятельно находить одни и те же решения.
  • Существующие подходы решают лишь половину проблемы. Системы хранения истории позволяют её искать, но у них трудно превратить эту информацию в навыки, которые можно было бы повторно использовать или совершенствовать. Библиотеки навыков действительно объединяют опыт, но они обычно остаются неизменными и не развиваются в процессе использования.

Представьте себе, что разрозненный опыт, полученный в ходе множества сессий, превращается в навыки, которыми может пользоваться весь системный комплекс и которые постоянно совершенствуются. Проверенное решение, найденное в одном месте, распространяется по общему хранилищу, и любой будущий агент, использующий этот навык, извлекает из этого пользу.

Замкнутый цикл коллективной эволюции

SkillClaw собирает следы взаимодействий, возникающих в повседневном использовании среди пользователей, преобразует их в более совершенные навыки и синхронизирует улучшенные навыки обратно со всеми участниками. Этот цикл состоит из четырех шагов.

1. Запись следов взаимодействий

Каждая взаимодействие фиксируется полностью: не только окончательные ответы, но и промежуточные запросы, действия, вызовы инструментов, ошибки, обратная связь от окружающей среды и заключительный ответ. Детализация важна, поскольку многие проблемы с навыками скрываются именно на промежуточных этапах, а не в итоговом результате.

2. Создание общих доказательств

Следы структурируются и группируются по соответствующим навыкам. Это позволяет сравнивать успехи и неудачи того или иного навыка у разных пользователей и в разных условиях, что помогает понять, когда и почему он работает эффективно. Сессии, в которых не использовался ни один существующий навык, попадают в специальную группу, обозначаемую как G(∅); алгоритм развития анализирует эту группу в поисках возможностей: конкретных процедур, которые можно было бы преподать и которые, вероятно, снова понадобятся.

3. Развитие навыков с помощью агентного алгоритма развития

Центральным элементом является агентный алгоритм развития. Он не следует заранее написанным правилам. Он открыто анализирует имеющиеся данные вместе с текущими определениями навыков, после чего выбирает один из трех вариантов действий: усовершенствовать существующий навык, создать новый или оставить всё как есть.

Он рассматривает победы и поражения вместе. Успехи указывают на те аспекты навыка, которые нельзя менять, в то время как неудачи показывают, что требует доработки. Цель состоит в том, чтобы избежать ситуации, когда попытка исправить одну проблему приводит к нарушению уже работающей функции, и следующий шаг добавляет ещё один механизм защиты.

4. Проверка перед внедрением

Ничего не вводится в эксплуатацию сразу. Кандидатские навыки тестируются всю ночь в реалистичных условиях, сравниваясь с существующими вариантами на соответствующих задачах.

  • Принимаются только те кандидаты, которые превосходят текущий навык в соответствующих задачах проверки, они объединяются в общий репозиторий и внедряются во все агенты на следующий день.
  • Кандидаты с худшими результатами отклоняются, что позволяет достичь так называемого монотонного внедрения: набор навыков никогда не ухудшается.

Эта проверка безопасности имеет свою цену. Подтверждение корректности требует дополнительных токенов, поскольку кандидаты должны работать в реальных средах с полным взаимодействием с инструментами. Плюсом является более стабильная работа приложения для пользователей по сравнению с прямым внедрением изменений.

Оценка

Вопрос заключался в том, улучшает ли развитие навыков на основе данных о многопользовательской деятельности производительность при выполнении последующих задач, напоминающих реальную работу агентов.

Настройка

Бенчмарк WildClawBench включает 60 сложных задач в шести областях способностей. Задачи выполняются полностью внутри реальных Linux-контейнеров с реальными инструментальными комплексами и мультимодальными входными данными, а не только текстовым выводом. Оценка проводится строго, и критическая ошибка может снизить оценку задачи до нуля.

Этот тест также не представлял собой однократную работу в офлайн-режиме. Он имитировал шесть дней эксплуатации. Каждый день восемь одновременно работающих пользователей выполняли задачи с помощью агентов. Каждую ночь система генерировала кандидатов на обновление навыков на основе данных за день и проверяла их в реалистичной среде; в продакшен попадали только те обновления, которые прошли проверку. На протяжении всего теста использовалась одна и та же модель — Qwen3-Max.

Результаты

Были представлены результаты для четырех типичных категорий задач, причем пути улучшений различались. Сначала функция творческого синтеза получила выгоду от более надежной среды и настройки входных данных. Функции поиска и извлечения данных улучшались поэтапно: сначала происходила проверка файлов, а затем — планирование процесса извлечения с учетом ограничений.

По сравнению с первым днем кривая не была неровной. Она постепенно повышалась, а затем стабилизировалась в большинстве категорий, поскольку проверенные обновления были включены в наиболее совершенный набор навыков на данный момент.

Однако следует учитывать масштаб исследования: восемь пользователей, шесть дней и четыре отслеживаемые категории. Это небольшой эксперимент. Постоянный прогресс обнадёживает с точки зрения коллективного развития навыков, но настоящее испытание — более масштабные внедрения.

Оценка

SkillClaw имеет сложную архитектуру. Он собирает данные о выполнении задач от существующих агентов, использует механизм эволюции агентов для анализа успехов и неудач, корректирует навыки на основе полученных данных, затем проводит асинхронные тесты и сохраняет лучшие результаты. Всё это зависит от наличия большого количества данных об взаимодействии, как положительных, так и отрицательных, от широкой аудитории пользователей.

Выделяются две основные проблемы.

  • Эволюция, реализация и проверка зависят от одной основной модели. Особенно при проверке модель сама сравнивает старые и новые результаты. Это может привести к замкнутому циклу, в котором определенный набор предвзятостей постоянно усиливается. Рейтинги по эталонам могут постепенно расти, при этом реальные бизнес-показатели не меняются.
  • Определение того, какие взаимодействия действительно эффективны, остается нерешенной проблемой. Без надежного механизма оценки создание качественного хранилища треков становится крайне сложным.

Эта платформа также похожа на Trace2Skill — схожий подход, при котором опыт агента преобразуется в переносимые навыки. Оба подхода основаны на идее, что агенты могут совершенствоваться без тонкой настройки параметров, превращая записи своего опыта в повторно используемые навыки. Однако между ними существуют значительные различия:

  • SkillClaw рассматривает эволюцию навыков прежде всего как проблему онлайн-систем: как распределенные агенты могут объединять фрагментированные ежедневные взаимодействия в общие навыки и безопасно совершенствовать их в симулированной реалистичной среде.
  • Trace2Skill рассматривает этот процесс как процесс дистилляции опыта: разбивает множество отдельных записей, синтезирует качественные общие уроки и преобразует их в передаваемые, декларативные навыковые объекты.

Оригинальная статья называется «SkillClaw: Let Skills Evolve Collectively with Agentic Evolver» и доступна на arXiv.

Связанная литература

  • Почему именно инструментарий агента, а не модель, определяет, что становится реальностью — Обновление CRM с истекшим временем показывает, почему агентам необходимы контракты на использование инструментов, состояния с неизвестным результатом, идемпотентные попытки повтора и подтверждение завершения задачи, а также механизмы контроля, которые стоит сохранить.