首页 / 文章

SkillClaw:当一个智能体失败时,所有智能体都会从中学习。

SkillClaw如何从众多用户那里收集交互痕迹,利用智能进化器提升共享智能体的技能,并在部署前进行即时验证。

发布者:REACTAPP.TOP阅读约 5 分钟1209 词

来源: SkillClaw: One Agent Fails, Every Agent Learns

让智能体技能随时间不断提升是当前该领域最具前景的思路之一。2026年4月发表在arXiv上的一篇论文提出的研究框架SkillClaw,将这一理念应用于多个用户共享同一智能体生态系统的场景(OpenClaw),了解其运作机制及可能存在的局限很有意义。

为何现有的技能体系难以发展

智能体会全天与用户交互并积累经验,但这些经验很少能提升整个系统的性能。主要原因有以下几点。

  • 技能大多处于静态状态。有人需要手动安装和维护这些技能,之后它们很少发生变化。即便智能体在处理任务过程中找到了更好的方法,这种改进通常也仅限于当前对话,而不会被纳入技能库中。
  • 用户们不断遇到同样的问题。人们遵循相似的工作流程,使用相同的工具,重复同样的错误:参数格式错误、工具调用顺序不当、缺乏验证。这些模式在不同用户之间或随时间推移并无关联,因此很多人不得不独自重新发现相同的解决方案。
  • 现有的方法只能解决一半问题。记忆系统虽然能存储历史记录以便检索,但难以将其转化为可重复利用或不断完善的技能。技能库虽能整合经验,却往往一成不变,无法通过使用而进化。

想象一下,将多次会话中零散的经验转化为整个系统都能共享并持续优化的技能。在一个地方找到的经过验证的解决方案会通过共享库传播,未来使用该技能的任何智能体都能从中受益。

集体进化的闭环

SkillClaw收集来自不同用户日常使用的交互记录,将其转化为更优的技能,再将这些改进后的技能同步回每个智能体。这一循环包含四个步骤。

1. 记录交互痕迹

每一次交互都会被完整记录下来:不仅包括最终答案,还有中间阶段的提示、操作、工具调用、错误信息、来自环境的反馈以及最终的回复。这些细节非常重要,因为许多技能问题隐藏在中间环节,而非最终结果中。

2. 构建共享证据

这些轨迹会按照所涉及的技能进行结构化分组。这样一来,就可以比较不同用户和不同环境下某项技能的成败,从而了解其何时以及为何有效。那些未使用任何现有技能的会话会被归入一个特殊组,记为G(∅),进化器会通过该组来寻找缺口——即那些可以教授且很可能再次出现的具体流程。

3. 使用智能进化器发展技能

其中的核心是一个智能进化器。它不会遵循手工编写的规则,而是会结合当前技能定义以及该组的所有证据进行公开推理,之后从三种结果中选择:改进现有技能、创建新技能,或保持现状不变。

它将成功与失败综合起来分析。成功之处表明了哪些技能部分不可改动,而失败则显示出需要改进的地方。其目的是避免在修复某个缺陷的同时破坏原本正常运行的部分,下一步还会增加额外的保护措施。

4. 部署前进行验证

没有任何内容会立即投入实际使用。候选技能会在真实的测试环境中经过整夜的测试,通过相关任务对比新技能与旧技能的表现。

  • 只有那些在对应验证任务中表现优于当前已部署技能的候选技能才会被接受,合并到共享仓库中,并在次日推送到所有智能体上。
  • 表现较差的候选技能会被舍弃,这就实现了作者所称的“单调部署”:技能库的质量永远不会下降。

那种安全检查是有代价的。由于候选模型必须在具备完整工具交互功能的真实环境中运行,验证过程会消耗额外的令牌。与直接部署变更相比,其优势在于能为用户带来更稳定的行为表现。

评估

研究的问题是:通过多用户行为数据驱动的技能演化是否能在类似真实智能体工作的后续任务中提升性能。

设置

该基准测试名为WildClawBench,包含六个能力领域内的60项复杂任务。这些任务会在真实的Linux容器中端到端执行,使用真实的工具链以及多模态输入,而不仅仅是文本输出。评分标准十分严格,一旦出现严重错误,任务的得分就会降为零。

该测试并非一次性离线运行,而是模拟了六天的部署过程。每天有八名用户同时通过代理执行任务。每晚系统会根据当天的运行数据生成候选技能更新,并在真实环境中对其进行验证,只有通过验证的更新才会于次日正式启用。整个测试过程中始终使用的是同一款模型——Qwen3-Max。

结果

测试结果针对四种具有代表性的任务类别进行了汇报,各类别的改进路径有所不同。创造性综合能力首先因更可靠的环境和输入设置而得到提升;搜索与检索功能则分阶段改进,先是优化文件验证机制,随后逐步发展出能更好遵循约束条件的检索规划能力。

与第一天相比,数据曲线不再出现波动。随着经过验证的更新被整合到目前最优的技能库中,大多数类别的数据都呈逐步上升后趋于平稳的趋势。

不过需注意数据规模:仅有8名用户、6天的测试时间以及4个被记录的类别,这只是一个小型实验。虽然持续的进步对整体技能提升而言是个积极信号,但更大规模的应用才是真正的考验。

评估

SkillClaw经过了精心设计。它汇集现有智能体的执行轨迹,利用智能体进化算法分析成功与失败案例,根据所学内容对技能进行优化,随后异步测试并保留最佳结果。而这一切都依赖于来自大量用户群体的充足交互数据,包括正面和负面的数据。

有两个问题尤为突出。

  • 演化、执行与验证都依赖于同一个核心模型。尤其是在验证阶段,该模型会自行比较旧结果与新结果,这可能导致一种循环,使得某些偏差不断自我强化。这样一来,基准测试分数可能会持续上升,但实际业务指标却未必随之改善。
  • 如何判断哪些交互才是有效的,目前仍是一个未解决的问题。如果没有可靠的评估机制,构建高质量的轨迹存储库就无从谈起。

该框架也与Trace2Skill类似,后者是一种将智能体经验转化为可迁移技能的相关方法。两者都认为,通过将经验轨迹转化为可重复使用的技能,智能体无需进行参数微调就能实现提升。不过两者之间存在明显差异:

  • SkillClaw将技能演化主要视为一个在线系统问题:即分布式智能体如何将零散的日常交互整合为共享技能,并在逼真的模拟环境中安全地对其进行迭代优化。
  • Trace2Skill则将其视为经验提炼过程:通过拆解大量个体行为轨迹,提炼出高质量的一般性规律,进而将其整合为可迁移的、结构化的技能成果。

相关论文题为《SkillClaw:借助智能体演化器实现技能的集体演化》,可在arXiv上查阅。

相关阅读

  • 为何是代理工具框架而非模型决定了什么能够成为现实 — 一篇关于CRM系统更新的文章说明了为何代理需要工具契约、处理未知结果的状态、可重试机制以及完成状态验证,同时还介绍了值得保留的控制措施。