Accueil / Articles

Sandbox de modèle de langage récursif : ce qui a entravé les choses, ce qui doit être reconstruit.

Leçons tirées du déploiement d’un environnement de test pour un modèle de langage récursif : couches d’isolation, intermédiaires, CDR, les limites du suivi dans l’espace utilisateur et d’un seul hôte, ainsi que la raison pour laquelle la retenue a triomphé.

Éditeur : REACTAPP.TOP6 min de lecture1344 mots

Sources: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production

Un système de modèle de langage récursif part d’une instruction simple : cesser de fournir l’intégralité du prompt au modèle. Au lieu de cela, on laisse le modèle écrire du code, l’exécuter sur les données, lire le résultat et décider de ce à essayer ensuite. Transformer cette instruction en une plateforme fonctionnelle a nécessité des mois de lecture de code, de décomposition des composants jusqu’à ce que chacun soit suffisamment bien compris pour être expliqué, puis d’évaluation pour déterminer si cette explication tenait la route pour un tiers. Ce qui suit est une rétrospective sur le système final : ce qui a résisté à un usage intensif, ce qui changerait lors d’une deuxième tentative, ce qui s’est avéré surprenant et vers où semble se diriger cette évolution.

Pourquoi l’expliquer était plus difficile que de le construire

Les idées initiales présentent des formes simples. L’une concerne le concept central de boucle récursive, et l’autre, la frontière de confiance. Plus on avance, le matériel cesse d’être une seule idée. Le pattern du broker, les allers-retours avec état signé et les couches d’isolation deviennent un ensemble de décisions techniques qui n’ont de sens que lorsqu’elles sont examinées ensemble. Choisir celles à présenter et celles à reléguer en note de bas de page a pris plus de temps que l’écriture même des phrases. Il était courant de passer une journée sur une partie du codebase uniquement pour déterminer de quoi elle traitait réellement.

Ces périodes de réflexion plus longues n’ont pas été vaines. Les environnements de test en couches, le broker qui relie quatre fournisseurs, les allers-retours signés ainsi que le pipeline de détonation ont tous été mieux expliqués grâce à ce temps supplémentaire, même si le calendrier final semblait inégal.

Leçons transposables

Quelques habitudes issues du développement s’appliquent à toute plateforme d’agent similaire, quel que soit son domaine.

  • Concevez chaque couche en pensant à l’attaquant, et non à l’utilisateur moyen. Une architecture où chaque étape suppose que la précédente a déjà échoué est difficile à décrire et très difficile à contourner.
  • Attendez plusieurs implémentations avant de faire confiance à une abstraction. Une interface de broker qui fonctionne avec quatre fournisseurs différents grâce à une logique identique s’est avérée fiable, tandis qu’une implémentée uniquement pour un seul fournisseur n’est qu’une supposition.
  • Considérez l’autorité de l’agent comme un budget à utiliser de manière intentionnelle. La portée, le coût et les permissions doivent chacun disposer d’un plafond clairement défini, déterminé par les exigences de la tâche et rien de plus.
  • Préférez un raisonnement visible à une ruse opaque. Un système qui montre pourquoi il choisit d’inspecter telle ou telle chose ensuite est plus facile à déboguer, plus facile à faire confiance et plus facile à expliquer à quelqu’un de nouveau.
  • La première version doit être honnête quant à ses limites. Un fonctionnement sur un seul hôte, le suivi dans l’espace utilisateur ainsi que l’absence de données de menaces partagées ne sont acceptables dans une première version que s’ils sont explicitement définis comme des limites et non laissés à être découverts en production.

Qu’est-ce qui a retardé les choses

Certaines parties du système méritent véritablement l’étiquette « prêt pour la production ».

  • Le cycle de base consistant à générer du code, à l’exécuter, à observer le résultat et à choisir l’étape suivante a résisté à tout ce qui lui a été opposé.
  • La pile d’isolation à trois niveaux, allant du masquage des noms de domaine jusqu’aux sandbox entièrement distants via gVisor, n’a jamais laissé passer quoi que ce soit qu’elle était censée bloquer.
  • Le modèle de broker est le type d’abstraction qui ne devient pleinement apprécié qu’après l’avoir mis en œuvre quatre fois pour quatre fournisseurs vraiment différents et avoir observé les mêmes vingt lignes de logique fonctionner sans modification pour chacun d’eux.
  • Le pipeline de désarmement et de reconstruction du contenu était la partie dont nous étions les plus fiers. C’était celui où il était le plus facile de commettre des erreurs subtiles, et malgré tous les formats de fichiers testés, il n’a jamais échoué de cette manière.

Rien de tout cela n’est né d’idées évidentes. Cela provient du postulat initial selon lequel quelqu’un tenterait tôt ou tard de compromettre le système, et chaque couche a été conçue en fonction de ce postulat plutôt que sur la base d’un scénario idéal.

Qu’est-ce qui changerait lors d’une deuxième version

Une rétrospective ne mentionnant que les succès n’est qu’un montage de réussites ; par conséquent, les lacunes méritent des explications directes.

Traçage uniquement depuis l’espace utilisateur

Le suivi des appels système dans le pipeline de détonation s’effectue entièrement en espace utilisateur via strace. Il s’agit d’une véritable limitation et non d’une préférence stylistique. Un échantillon suffisamment sophistiqué peut se rendre compte qu’il est suivi de cette manière et modifier son comportement, ou exploiter des écarts de temps que des hooks au niveau du noyau ne permettraient pas d’exploiter. Une refonte impliquerait l’ajout d’eBPF ou d’un mécanisme équivalent au niveau du noyau en complément du suivi en espace utilisateur, et non à sa place, car la couche en espace utilisateur reste efficace face aux échantillons qui ne font pas d’efforts pour se cacher.

Aucune intelligence sur les menaces externes

Le système ne dispose d’aucun lien avec des sources d’informations sur les menaces externes. Chaque conclusion concernant un échantillon est de nature structurelle : ce motif d’appel système ressemble à une injection de processus, cette section présente une entropie inhabituelle. Rien de tout cela ne dépend du fait que l’hash exact d’un fichier ait été identifié et classé ailleurs. Ce manque doit être comblé rapidement, car une grande partie de ce que contribue un analyste humain n’est pas du tout basée sur une détection intelligente de motifs, mais simplement sur le fait d’avoir déjà rencontré cette situation précise.

Un seul hôte

Chaque environnement de test, chaque détonation et chaque chaîne d’appels récursifs sont coordonnés depuis une seule machine, sans planification entre machines ni clustering. C’était un choix judicieux pour un système développé par une seule personne en une seule été, mais un choix inadapté pour gérer un volume réel de travail. La coordination distribuée n’est pas une fonctionnalité secondaire à ajouter ultérieurement ; elle constitue une architecture distincte superposée à l’originale, et la présenter comme un simple complément serait la déclaration la moins honnête qui soit. La planification des tâches entre machines, la récupération en cas de disparition d’un nœud au milieu d’une détonation et le maintien de la cohérence de l’état signé entre les hôtes sont autant de problèmes nouveaux qui n’existent pas dans un système à processus unique.

La surprise : la modération plutôt que les capacités

Le problème d’ingénierie complexe s’est avéré, encore et encore, être lié à la maîtrise des dérives. Presque chaque décision difficile consistait à empêcher quelque chose de faire plus que ce qui était nécessaire :

  • un désamorceur de script qui ne touche que le nœud dangereux précis,
  • un garde de portée qui ne doit pas confondre un nom de fichier avec un domaine,
  • une décomposition récursive qui ne doit pas consommer de ressources inutiles.

On s’attendait à ce que le défi consiste à rendre l’agent suffisamment capable. En pratique, le défi a été de le rendre suffisamment capable tout en ne lui accordant que la confiance qu’il avait gagnée à chaque étape.

Une petite surprise concernait la réaction des lecteurs. Ce n’était jamais le code le plus ingénieux qui les intéressait, mais plutôt les moments où le raisonnement devenait visible, où l’on pouvait observer le système décider de ce qu’il fallait examiner ensuite, plutôt que de se contenter de suivre une liste de contrôle. Cela renforce une conviction qui s’est affirmée au fil du projet : la valeur d’un système agentiel réside rarement dans le mécanisme lui-même, mais dans le jugement qui s’y superpose, et ce jugement est bien plus difficile à décrire que l’architecture.

Où mène ce modèle

Les agents récursifs qui utilisent des outils et raisonnent au sujet de leur propre exécution ne semblent pas être une mode passagère. Ils ressemblent plutôt à une forme de base vers laquelle convergera tout travail sérieux en matière d’agents, car l’autre approche, qui consiste à écrire un pipeline fixe dédié chaque fois qu’apparaît une nouvelle catégorie de problèmes, ne peut pas suivre le rythme de la diversité des problèmes réels.

Les sujets qui ont suscité le plus d’attention, à savoir les limites de confiance, la contention, l’application du périmètre et le contrôle des coûts, ne sont pas de simples notes de sécurité annexées à cette architecture. Ce sont eux qui déterminent si quelqu’un est prêt à l’implémenter. Un système fonctionnel, fiable et parfois très particulier, construit sur l’idée de ne pas charger l’intégralité de la requête dans un modèle, constitue un point de référence raisonnable, tant pour s’arrêter que pour commencer le projet suivant.