Startseite / Artikel

SkillClaw: Wenn ein Agent versagt, lernt jeder Agent daraus.

Wie SkillClaw Interaktionsspuren von vielen Nutzern sammelt, gemeinsame Agentenfähigkeiten mithilfe eines agilen Evolvers weiterentwickelt und Änderungen über Nacht validiert, bevor sie eingeführt werden.

Verlag: REACTAPP.TOP5 Min. Lesezeit1209 Wörter

Quellen: SkillClaw: One Agent Fails, Every Agent Learns

Die Verbesserung der Fähigkeiten von Agenten im Laufe der Zeit ist einer der vielversprechendsten Ansätze in diesem Bereich derzeit. SkillClaw, ein Forschungsrahmenwerk aus einem arXiv-Paper vom April 2026, wendet diesen Ansatz auf einen Kontext an, in dem viele Nutzer ein gemeinsames Agentenökosystem nutzen (OpenClaw). Es lohnt sich, genauer zu betrachten, wie es funktioniert und wo es mögliche Schwächen aufweist.

Warum die aktuellen Fähigkeitskonzepte stagnieren

Agenten kommunizieren den ganzen Tag über mit Nutzern und sammeln Erfahrungen, doch nur sehr wenig davon verbessert das System insgesamt. Einige Gründe sind besonders hervorzuheben.

  • Die Fähigkeiten sind größtenteils statisch. Jemand installiert und wartet sie manuell, und danach ändern sie sich selten. Selbst wenn ein Agent mitten in einer Aufgabe eine bessere Methode findet, bleibt die Verbesserung in der Regel auf diesem Gespräch beschränkt und erreicht niemals das Fähigkeitsarchiv.
  • Die Nutzer stoßen immer wieder auf dieselben Hindernisse. Sie folgen ähnlichen Arbeitsabläufen, verwenden dieselben Tools und machen immer wieder die gleichen Fehler: falsche Parameterformate, Tools werden in der falschen Reihenfolge aufgerufen, es fehlt die Validierung. Nichts verbindet diese Muster zwischen den Nutzern oder im Laufe der Zeit, weshalb viele Menschen die gleichen Lösungen auf eigene Faust erneut entdecken müssen.
  • Bestehende Ansätze decken nur die Hälfte des Problems ab. Speichersysteme speichern die Historie, damit sie durchsucht werden kann, doch sie haben Schwierigkeiten, daraus Fähigkeiten zu entwickeln, die wiederverwendet oder weiter verbessert werden können. Fähigkeitsbibliotheken packen zwar Erfahrungen zusammen, doch sie bleiben in der Regel unverändert und entwickeln sich durch die Nutzung nicht weiter.

Stellen Sie sich vor, dass verstreute Erfahrungen aus vielen Sitzungen in Fähigkeiten umgewandelt werden, die das gesamte System teilt und ständig verbessert. Eine validierte Lösung, die an einem Ort gefunden wurde, würde sich im gemeinsamen Repository verbreiten, und jeder zukünftige Agent, der diese Fähigkeit nutzt, würde davon profitieren.

Ein Schließkreislauf für kollektive Evolution

SkillClaw sammelt Interaktionsspuren aus dem täglichen Gebrauch bei verschiedenen Nutzern, entwickelt sie zu besseren Fähigkeiten weiter und synchronisiert die verbesserten Fähigkeiten wieder mit jedem Agenten. Der Kreislauf umfasst vier Schritte.

1. Die Interaktionsspuren aufzeichnen

Jeder Austausch wird vollständig erfasst: nicht nur die endgültigen Antworten, sondern auch die Zwischenanfragen, Aktionen, Toolaufrufe, Fehler, Rückmeldungen aus der Umgebung sowie die abschließende Antwort. Die Genauigkeit ist wichtig, denn viele Fähigkeitsprobleme liegen in den Zwischenschritten und nicht im Ergebnis.

2. Gemeinsame Beweise erstellen

Die Spuren sind strukturiert und nach den darin enthaltenen Fähigkeiten gruppiert. Dadurch lässt sich der Erfolg oder Misserfolg einer Fähigkeit bei verschiedenen Nutzern und unter unterschiedlichen Bedingungen vergleichen, was zeigt, wann und warum sie funktioniert. Sitzungen, die keine vorhandene Fähigkeit nutzten, werden in eine spezielle Gruppe eingeteilt, die als G(∅) bezeichnet wird; der Evolver untersucht diese Gruppe auf Lücken – konkrete Verfahren, die gelehrt werden könnten und vermutlich erneut auftauchen werden.

3. Fähigkeiten mit einem agierenden Evolver entwickeln

Der zentrale Bestandteil ist ein agierender Evolver. Er folgt keinen manuell festgelegten Regeln. Stattdessen bewertet er gemeinsam mit den aktuellen Fähigkeitsdefinitionen die Belege einer Gruppe offen und wählt anschließend aus drei Möglichkeiten aus: die bestehende Fähigkeit verbessern, eine neue erstellen oder nichts verändern.

Es betrachtet Siege und Niederlagen gemeinsam. Erfolge weisen auf die Aspekte einer Fähigkeit hin, die unverändert bleiben müssen, während Misserfolge zeigen, was verbessert werden muss. Ziel ist es, zu vermeiden, dass bei der Behebung eines Fehlers etwas zerstört wird, was bereits funktionierte, und der nächste Schritt fügt eine weitere Sicherheitsmaßnahme hinzu.

4. Überprüfen vor dem Einsatz

Nichts wird sofort in Betrieb genommen. Potenzielle Fähigkeiten werden über Nacht in realistischen Umgebungen getestet, wobei neue Fähigkeiten mit alten bei relevanten Aufgaben verglichen werden.

  • Nur solche Kandidatenfähigkeiten, die bei den entsprechenden Validierungsaufgaben besser abschneiden als die derzeit eingesetzte Fähigkeit, werden akzeptiert, in das gemeinsame Repository eingefügt und am nächsten Tag allen Agenten bereitgestellt.
  • Kandidatenfähigkeiten mit schlechteren Ergebnissen werden verworfen, was laut den Autoren zu einer sogenannten monotonen Bereitstellung führt: Der Fähigkeitspool wird niemals schlechter.

Diese Sicherheitsprüfung hat ihren Preis. Die Validierung verbraucht zusätzliche Token, da die Kandidaten in echten Umgebungen mit vollständiger Interaktion mit Tools ausgeführt werden müssen. Der Vorteil ist ein stabileres Verhalten der Benutzer im Vergleich zum Direktbereitstellen von Änderungen.

Bewertung

Die Frage lautete, ob die durch Mehrbenutzer-Spuren verursachte Fähigkeitsentwicklung die Leistung bei späteren Aufgaben verbessert, die realen Agentenarbeiten ähneln.

Einrichtung

Der Benchmark WildClawBench umfasst 60 komplexe Aufgaben in sechs Fähigkeitsbereichen. Die Aufgaben werden von Anfang bis Ende in echten Linux-Containern mit echten Toolchains und multimodalen Eingaben ausgeführt – es erfolgt nicht nur textbasierte Ausgabe. Die Bewertung ist streng, und ein kritischer Fehler kann die Punktzahl einer Aufgabe auf null senken.

Der Test war außerdem keine einzige Offline-Ausführung. Er simulierte sechs Tage der Einsatzumgebung. Jeden Tag führten acht gleichzeitige Benutzer Aufgaben über Agenten aus. Jede Nacht erzeugte das System auf der Grundlage der Spuren des Tages Kandidaten für Fähigkeitsaktualisierungen und validierte sie in der realistischen Umgebung; nur die erfolgreichen Aktualisierungen wurden am folgenden Tag veröffentlicht. Über die gesamte Dauer wurde dasselbe Modell, Qwen3-Max, verwendet.

Ergebnisse

Es wurden Ergebnisse für vier repräsentative Aufgabenkategorien berichtet, wobei sich die Verbesserungspfade unterschieden. Die kreative Synthese profitierte zunächst von einer zuverlässigeren Umgebung und einer besseren Eingabeeinrichtung. Die Suche und das Abrufen verbesserten sich schrittweise, angefangen bei der Dateivvalidierung und anschließend bei der Suchplanung, die besser auf Einschränkungen Rücksicht nahm.

Verglichen mit dem ersten Tag war die Kurve nicht unruhig. Sie stieg schrittweise an und erreichte in den meisten Kategorien anschließend ein Plateau, da validierte Aktualisierungen in den bisher besten Fähigkeitspool integriert wurden.

Man sollte jedoch die Skala im Hinterkopf behalten: acht Nutzer, sechs Tage und vier gemeldete Kategorien. Es handelt sich um ein kleines Experiment. Die stetigen Fortschritte sind ermutigend für die kollektive Fähigkeitsentwicklung, doch größere Umsetzungen stellen die eigentliche Prüfung dar.

Bewertung

SkillClaw ist hochgradig durchdacht konzipiert. Es aggregiert Ausführungsdaten von bestehenden Agenten, verwendet einen evolutionären Prozess, um über Erfolge und Misserfolge nachzudenken, passt die Fähigkeiten anhand dessen an, was es lernt, und testet anschließend asynchron, wobei die besten Ergebnisse beibehalten werden. All das setzt eine große Menge an Interaktionsdaten voraus – sowohl gute als auch schlechte – aus einer großen Nutzerbasis.

Zwei Bedenken fallen besonders auf.

  • Evolution, Ausführung und Validierung stützen sich alle auf ein einziges Grundmodell. Insbesondere bei der Validierung vergleicht das Modell selbst alte und neue Ergebnisse. Dadurch kann ein Teufelskreis entstehen, in dem bestimmte Voreingenommenheiten sich ständig verstärken. Die Benchmark-Werte können dabei stetig ansteigen, ohne dass entsprechende Geschäftsmetriken folgen.
  • Es bleibt ein ungelöstes Problem, zu bestimmen, welche Interaktionen tatsächlich vorteilhaft sind. Ohne einen zuverlässigen Bewertungskreislauf ist es von vornherein schwierig, ein hochwertiges Repository für Spuren zu erstellen.

Das Framework ähnelt auch Trace2Skill, einem verwandten Ansatz, der die Erfahrungen von Agenten in übertragbare Fähigkeiten umwandelt. Beide Ansätze teilen die Erkenntnis, dass Agenten sich ohne Parameteranpassung verbessern können, indem sie Erfahrungsspuren in wiederverwendbare Fähigkeiten umwandeln. Die Unterschiede sind jedoch bemerkenswert:

  • SkillClaw betrachtet die Entwicklung von Fähigkeiten hauptsächlich als ein Online-Systemproblem: Wie können verteilt agierende Agenten fragmentierte tägliche Interaktionen zu gemeinsamen Fähigkeiten zusammenfassen und diese in einer realistisch simulierten Umgebung sicher weiterentwickeln?
  • Trace2Skill betrachtet es als Destillation von Erfahrungen: Viele einzelne Spuren werden aufgespalten, hochwertige allgemeine Lektionen synthetisiert und zu übertragbaren, deklarativen Fähigkeitsobjekten zusammengestellt.

Die ursprüngliche Veröffentlichung trägt den Titel „SkillClaw: Let Skills Evolve Collectively with Agentic Evolver“ und ist auf arXiv verfügbar.

Verwandte Literatur

  • Warum das Agent-Harness und nicht das Modell entscheidet, was Wirklichkeit wird — Ein zeitüberschreitender CRM-Update zeigt, warum Agenten Toolverträge, Zustände mit unbekannten Ergebnissen, idempotente Wiederholungsversuche sowie überprüfte Abschlüsse benötigen, sowie Kontrollmechanismen, die beibehalten werden sollten.