Inicio / Artículos

Entorno de pruebas para modelos de lenguaje recursivos: qué obstaculizó el avance y qué necesita ser reconstruido.

Lecciones de enviar una caja de pruebas para un modelo de lenguaje recursivo: capas de aislamiento, intermediarios, CDR, los límites del rastreo en el espacio de usuario y un único host, y por qué la moderación fue la solución.

Editor: REACTAPP.TOP6 min de lectura1344 palabras

Fuentes: What I’d Build Differently: Lessons From Shipping a Recursive Agent to Production

Un sistema de modelo de lenguaje recursivo parte de una instrucción sencilla: dejar de proporcionar todo el texto de entrada al modelo. En su lugar, se le permite al modelo escribir código, ejecutar ese código con los datos, leer el resultado y decidir qué probar a continuación. Convertir esa instrucción en una plataforma funcional requirió meses de lectura de código, desglose de sus componentes hasta comprenderlos lo suficiente como para explicarlos, y luego evaluar si esa explicación era comprensible para alguien ajeno al proyecto. A continuación se presenta una reflexión sobre el sistema finalizado: qué sobrevivió al uso intensivo, qué cambiaría en un segundo intento, qué resultó sorprendente y hacia dónde parece dirigirse el patrón.

Por qué explicarlo fue más difícil que construirlo

Las ideas iniciales tienen formas simples. Una es la noción central de un bucle recursivo, y la otra es un límite de confianza. Más adelante, el material deja de ser una sola idea. El patrón de intermediario, los viajes de ida y vuelta con estado firmado y las capas de aislamiento se convierten en un montón de decisiones de ingeniería que solo tienen sentido cuando se analizan juntas. Elegir cuáles mostrar y cuáles relegar a una nota al pie consumió más tiempo que escribir las propias oraciones. Era típico pasar un día entero trabajando en una parte del códigobase solo para decidir cuál era su verdadero propósito.

Los períodos de trabajo más lentos no fueron en vano. Las sandboxes en capas, el intermediario que abarca a cuatro proveedores, los viajes de ida y vuelta con firma y la tubería de detonación quedaron mejor explicados gracias a ese tiempo adicional, aunque el cronograma pareciera desigual posteriormente.

Lecciones que se mantienen

Algunos hábitos de la construcción son aplicables a cualquier plataforma de agentes similar, sea cual sea su área de uso.

  • Diseñe cada capa pensando en el atacante, no en el usuario promedio. Una estructura en la que cada etapa asume que la anterior ya pudo haber fallado es difícil de describir y muy complicada de superar.
  • Espere varias implementaciones antes de confiar en una abstracción. Una interfaz de intermediario que funcione con cuatro proveedores diferentes utilizando lógica idéntica ha demostrado su eficacia, mientras que una diseñada solo para un proveedor es meramente una suposición.
  • Trate la autoridad del agente como un presupuesto que debe gastarse de manera deliberada. El alcance, el costo y los permisos requieren un límite explícito, establecido según lo que exija la tarea y nada más.
  • Prefiera un razonamiento visible a una astucia opaca. Un sistema que muestra por qué eligió inspeccionar algo en particular es más fácil de depurar, más fiable y más sencillo de explicar a alguien nuevo.
  • Que la primera versión sea honesta respecto a sus limitaciones. El funcionamiento en un único servidor, el seguimiento en el espacio de usuario y la ausencia de datos de amenazas compartidos son aceptables en una primera versión solo si se especifican como limitaciones y no se dejan descubrir en entornos de producción.

Qué funcionó bien

Algunas partes del sistema realmente merecieron la etiqueta de listas para producción.

  • El ciclo principal de generación de código, ejecución de este, observación del resultado y selección del siguiente paso superó todo lo que se le presentó.
  • La capa de aislamiento de tres niveles, que va desde el sombreado de nombres de espacio hasta gVisor y pasando por entornos de pruebas completamente remotos, nunca permitió que trascendiera nada de lo que debía bloquear.
  • El patrón de broker es ese tipo de abstracción que solo se aprecia plenamente después de implementarlo cuatro veces para cuatro proveedores verdaderamente diferentes y ver cómo las mismas veinte líneas de lógica se ejecutan sin modificaciones en cada uno de ellos.
  • El proceso de desarme y reconstrucción de contenido fue la parte de la que más nos enorgullecíamos. Era el que más fácilmente podía fallar de forma sutil, y en todos los formatos de archivo probados nunca falló de esa manera.

Nada de esto surgió de ideas obvias. Provenía de asumir desde el principio que eventualmente alguien intentaría sabotear el sistema, y de diseñar cada capa basándose en esa suposición en lugar del escenario ideal.

Qué cambiaría en una segunda versión

Una revisión que solo enumera éxitos es como un video de lo mejor, por lo que las deficiencias merecen descripciones directas.

Rastreo únicamente desde el espacio de usuario

El seguimiento de syscalls en la cadena de detonación se realiza íntegramente en espacio de usuario a través de strace. Esa es una limitación real y no una preferencia estilística. Una muestra lo suficientemente sofisticada puede darse cuenta de que está siendo rastreada de esta manera y modificar su comportamiento, o aprovechar brechas de tiempo que un gancho a nivel de kernel no detectaría. Una reconstrucción añadiría eBPF o un mecanismo equivalente a nivel de kernel debajo del seguimiento en espacio de usuario, no en su lugar, ya que la capa de espacio de usuario sigue siendo efectiva contra muestras que no se esfuerzan por ocultarse.

Sin inteligencia de amenazas externas

El sistema no cuenta con conexión alguna a fuentes de inteligencia sobre amenazas externas. Cada veredicto sobre una muestra es de tipo estructural: este patrón de llamada a sistema se asemeja a inyección de procesos, esa sección presenta entropía inusual. Nada de esto depende de si el hash exacto de un archivo ya ha sido visto y clasificado en otro lugar. Este vacío debe cerrarse cuanto antes, ya que gran parte de lo que aporta un analista humano no es en absoluto un análisis inteligente de patrones, sino simplemente haberse encontrado antes con esa situación exacta.

Solo un host

Cada entorno de pruebas, cada detonación y cada cadena de llamadas recursivas se coordinan desde una sola máquina, sin programación distribuida entre máquinas ni clustering. Esa fue una elección razonable para un sistema creado por una sola persona durante un verano, pero la elección incorrecta para manejar una carga real con un volumen considerable. La coordinación distribuida no es una característica menor que se pueda añadir posteriormente; implica una arquitectura separada que se superpone a la original, y presentarla como un complemento sería la declaración menos honesta posible. Programar tareas entre máquinas, recuperarse de un nodo que desaparece durante una detonación y mantener la consistencia del estado firmado entre los hosts son problemas nuevos que no existen en un diseño de un solo proceso.

La sorpresa: la moderación sobre la capacidad

El problema de ingeniería complejo resultó, una y otra vez, estar relacionado con la moderación. Casi toda decisión difícil consistía en evitar que algo hiciera más de lo necesario:

  • un desactivador de scripts que solo afecte al nodo peligroso exacto,
  • un protector de ámbito que no confunda un nombre de archivo con un dominio,
  • un descomposición recursiva que no gaste un presupuesto del que no necesita.

Se esperaba que el desafío fuera hacer que el agente fuera lo suficientemente capaz. En la práctica, el desafío fue lograr esa capacidad mientras se le otorgaba solo la confianza que había ganado en cada paso concreto.

Una sorpresa menor tuvo que ver con cómo reaccionaron los lectores. Nunca se trató del código más ingenioso, sino de los momentos en que era visible el razonamiento, cuando se podía observar al sistema decidir qué examinar a continuación en lugar de seguir una lista de verificación. Esto refuerza una creencia que se hizo más fuerte a lo largo del proyecto: el valor de un sistema agente rara vez radica en el mecanismo en sí, sino en el juicio que se aplica sobre él, y el juicio es mucho más difícil de describir que la arquitectura.

Adónde conduce este patrón

Los agentes recursivos que utilizan herramientas y razonan sobre su propia ejecución no parecen ser una moda pasajera. Se asemejan más a una forma estándar hacia la cual convergerá todo trabajo serio con sistemas agentes, ya que la otra opción, crear un pipeline fijo dedicado cada vez que aparece una nueva categoría de problemas, no puede mantenerse al paso de la variedad de problemas reales.

Los temas que recibieron más atención, a saber, los límites de confianza, el contención, la aplicación del alcance y el control de costos, no son meras notas a pie de página relacionadas con la seguridad. Son ellos los que determinan si alguien está dispuesto a implementarlo. Un sistema funcional, confiable y, a veces, muy peculiar, construido sobre la idea de no cargar todo el prompt en un modelo, representa un punto razonable al que llegar y un punto razonable desde donde comenzar el próximo proyecto.