Sandbox für rekursive Sprachmodelle: Was behinderte die Entwicklung, was muss neu aufgebaut werden?
Lektionen aus dem Versand einer rekursiven Sprachmodell-Sandbox: Isolierschichten, Broker, CDR, die Grenzen der Userspace-Trace-Technologie sowie eines Hosts – und warum Zurückhaltung siegte.
Quellen: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production
Ein rekursives Sprachmodellsystem beginnt mit einer einfachen Anweisung: Man sollte dem Modell nicht den gesamten Prompt zur Verarbeitung geben. Stattdessen soll das Modell Code schreiben, diesen Code an den Daten ausprobieren, das Ergebnis lesen und entscheiden, was als Nächstes versucht werden soll. Es dauerte Monate, diese Anweisung in eine funktionierende Plattform umzuwandeln – Monate des Lesens von Code, des Auseinandernehmens von Komponenten, bis jede gut genug verstanden war, um sie erklären zu können, sowie des Überprüfens, ob die Erklärung auch für Unbekannte verständlich war. Folgend findet sich eine Rückschau auf das fertige System: Was der intensiven Nutzung standhielt, was bei einem zweiten Versuch geändert werden würde, was überraschend war und wohin sich das Muster zu entwickeln scheint.
Warum es schwieriger war, es zu erklären, als es zu bauen
Die ersten Ideen weisen klare Formen auf. Eine davon ist das zentrale Konzept der rekursiven Schleife, die andere ein Vertrauensgrenzenkonzept. Im weiteren Verlauf ist das Material nicht mehr aus einer einzigen Idee bestehend. Das Broker-Muster, die signierten Zustandswechsel sowie die Isolierschichten bilden eine Ansammlung von Ingenieurentscheidungen, die nur im Zusammenhang Sinn ergeben. Die Entscheidung, welche davon dargestellt und welche in einen Fußnotenverweis verbannt werden sollen, nahm mehr Zeit in Anspruch als das Schreiben der Sätze selbst. Es war typisch, einen Tag mit einem Teil des Codebases zu verbringen, nur um anschließend herauszufinden, worum es eigentlich ging.
Die langsamen Phasen waren nicht verschwendet. Die schichtweisen Sandboxes, der Broker, der vier Anbieter umfasst, die signierten Zustandswechsel sowie der Detonationsprozess wurden alle dank dieser zusätzlichen Zeit besser erklärt – auch wenn der Zeitplan danach ungleichmäßig aussah.
Lektionen, die weiterhin relevant sind
Einige der aus der Entwicklung stammenden Gewohnheiten gelten für jede ähnliche Agentenplattform, unabhängig von ihrem Anwendungsbereich.
- Entwerfen Sie jede Schicht für den Angreifer und nicht für den durchschnittlichen Benutzer. Eine Architektur, bei der jede Stufe davon ausgeht, dass die vorherige bereits fehlschlagen könnte, ist schwer zu durchdringen und äußerst schwer zu überwinden.
- Warten Sie mit dem Vertrauen in eine Abstraktion, bis mehrere Implementierungen vorliegen. Eine Broker-Schnittstelle, die mit identischer Logik vier verschiedene Anbieter übersteht, hat sich bewährt, während eine, die nur für einen einzigen Anbieter entwickelt wurde, lediglich auf Vermutungen beruht.
- Betrachten Sie die Befugnisse des Agenten als Budget, das bewusst ausgegeben werden muss. Reichweite, Kosten und Berechtigungen benötigen jeweils eine klare Obergrenze, die durch die Anforderungen der Aufgabe festgelegt wird – und nicht weiter.
- Ziehen Sie sichtbares Denken vor undurchsichtige List. Ein System, das zeigt, warum es als Nächstes etwas überprüfen will, ist leichter zu debuggen, leichter zu vertrauen und leichter einem Neuling zu erklären.
- Die erste Version sollte ehrlich zu ihren Einschränkungen sein. Ein Einzel-Host-Betrieb, das Verfolgen im Benutzerbereich sowie das Fehlen gemeinsamer Bedrohungsdaten sind in einer ersten Version nur dann akzeptabel, wenn sie ausdrücklich als Grenzen festgelegt werden und nicht erst in der Produktion entdeckt werden müssen.
- Der Kernzyklus zur Erstellung von Code, zur Ausführung desselben, zur Beobachtung des Ergebnisses und zur Auswahl des nächsten Schritts hat alles überstanden, was ihm entgegengesetzt wurde.
- Der dreischichtige Isolierungsmechanismus, der von Namespace-Shadowing über gVisor bis hin zu vollständig entfernten Sandboxes reicht, ließ niemals etwas durch, was er eigentlich aufhalten sollte.
- Das Broker-Muster ist eine Art Abstraktion, die erst dann vollständig zu schätzen ist, wenn man es viermal für vier völlig unterschiedliche Anbieter implementiert hat und gesehen hat, wie dieselben zwanzig Logikzeilen unverändert bei jedem von ihnen ausgeführt werden.
- Der Pipeline für die Entschärfung und Rekonstruktion von Inhalten war das Stolzstück. Es war der Teil, bei dem am leichtesten unauffällige Fehler entstehen konnten, und in allen getesteten Dateiformaten ist es auf diese Weise nie fehlgeschlagen.
Was verzögerte die Entwicklung
Einige Teile des Systems haben tatsächlich das Prädikat „für die Produktion bereit“ verdient.
Alles davon entstand nicht aus offensichtlichen Ideen. Es resultierte aus der Annahme, dass irgendwann jemand versuchen würde, das System zu stören, und jeder Layer wurde entsprechend dieser Annahme statt nach dem idealen Ablauf entworfen.
Was würde bei einer zweiten Version ändern?
Eine Rückschau, die nur Erfolge auflistet, ist wie ein Highlight-Reel – daher verdienen die Mängel klare Aussagen.
Auswertung ausschließlich aus dem Benutzerbereich
Die Syscall-Verfolgung im Zündprozess findet vollständig im Benutzerbereich mithilfe von strace statt. Das ist eine echte Einschränkung und keine stilistische Präferenz. Ein ausreichend ausgefeiltes Sample kann erkennen, dass es auf diese Weise verfolgt wird, und sein Verhalten ändern, oder Zeitlücken ausnutzen, die ein Kernel-Ebene-Hook nicht erkennen würde. Eine Neuimplementierung würde eBPF oder ein äquivalentes Mechanismus auf Kernel-Ebene unter die Benutzerbereichs-Verfolgung einfügen – nicht anstelle davon –, da die Benutzerbereichsschicht weiterhin gegenüber Samples, die sich nicht besonders anzustrengen versuchen, wirksam bleibt.
Keine externe Bedrohungsinformation
Das System verfügt über keinen Zugang zu externen Bedrohungsinformationen. Jede Beurteilung eines Samples ist strukturell angelegt: Dieses SysCall-Muster ähnelt Prozessinjektionen, jener Abschnitt weist ungewöhnliche Entropie auf. Dabei wird nicht berücksichtigt, ob der genaue Hash einer Datei bereits anderswo erfasst und klassifiziert wurde. Diese Lücke sollte frühzeitig geschlossen werden, denn viel von dem, was ein menschlicher Analyst beiträgt, besteht überhaupt nicht aus klugem Mustererkennen – es geht einfach darum, bereits einmal genau dieses Phänomen erlebt zu haben.
Nur ein Host
Jeder Sandkasten, jede Detonation sowie jede rekursive Aufrufkette werden von einer einzigen Maschine koordiniert – es gibt weder eine Scheduling-Funktion zwischen Maschinen noch Clustering. Das war eine angemessene Wahl für ein von einer Person an einem Sommer entwickeltes System, doch die falsche Wahl für eine reale Arbeitslast in großem Umfang. Eine verteilte Koordination ist keine kleine Funktion, die später hinzugefügt werden kann. Sie stellt eine eigene Architektur dar, die auf der ursprünglichen aufgebaut ist, und sie als Zusatzfunktion darzustellen, wäre die unaufrichtigste Aussage überhaupt. Die Scheduling von Aufgaben zwischen Maschinen, das Überwinden von Problemen, wenn ein Knoten während einer Detonation verschwindet, sowie die Aufrechterhaltung der Konsistenz des signierten Zustands zwischen Hosts sind alles neue Probleme, die in einem Ein-Prozess-Design nicht vorkommen.
Die Überraschung: Beschränkung statt Leistungsfähigkeit
Das schwierige Ingenieurproblem bestand immer wieder darin, Einschränkungen vorzunehmen. Jede schwierige Entscheidung bedeutete im Grunde, zu verhindern, dass etwas mehr tat, als nötig war:
- einen Skript-Entschärfungsmechanismus, der nur den genauen gefährlichen Knoten betrifft,
- einen Güterichter, der keinen Dateinamen mit einer Domain verwechseln darf,
- eine rekursive Aufteilung, die kein Budget ausgibt, das sie nicht benötigt.
Man ging davon aus, dass die Herausforderung darin bestehen würde, den Agenten ausreichend fähig zu machen. In Wirklichkeit bestand die Herausforderung darin, ihn ausreichend fähig zu machen, während man ihn nur in dem Umfang erweiterte, wie viel Vertrauen er bei jedem einzelnen Schritt erworben hatte.
Eine kleinere Überraschung betraf die Reaktionen der Leser. Es ging nie um den klügsten Code, sondern um die Momente, in denen das Denken sichtbar wurde, in denen man erkennen konnte, wie das System entschied, was als Nächstes untersucht werden sollte, anstatt nur eine Checkliste abzuarbeiten. Das stärkt die im Laufe des Projekts immer mehr gewordene Überzeugung: Der Wert eines agierenden Systems liegt selten im Mechanismus selbst, sondern im darauf aufbauenden Urteilsvermögen – und Urteilsvermögen ist weitaus schwieriger zu beschreiben als Architektur.
Wohin die Entwicklung geht
Rekursive, Werkzeuge nutzende Agenten, die über ihre eigene Ausführung nachdenken, wirken nicht wie eine vorübergehende Modeerscheinung. Sie ähneln eher einer Standardform, auf die sich ernsthafte agierende Systeme zubewegen werden, da der andere Ansatz – das Schreiben einer speziellen, festen Pipeline jedes Mal, wenn eine neue Problemklasse auftaucht – mit der Vielfalt der tatsächlichen Probleme nicht Schritt halten kann.
Die Themen, die am meisten Aufmerksamkeit erhielten – nämlich Vertrauensgrenzen, Eindämmung, Durchsetzung des Anwendungsbereichs und Kostenkontrolle – sind keine sekundären Sicherheitsaspekte, die dieser Architektur zugeordnet sind. Sie entscheiden darüber, ob jemand bereit ist, sie einzusetzen. Ein funktionsfähiges, vertrauenswürdiges und gelegentlich sehr ungewöhnliches System, das auf der Idee beruht, den gesamten Prompt nicht in ein Modell zu packen, ist ein sinnvoller Punkt, an dem man anhalten kann, sowie ein sinnvoller Ausgangspunkt für das nächste Projekt.