Los sistemas multiagente son sistemas de backend con componentes no deterministas.
Los sistemas de producción multiagente premian hábitos de backend: contratos en cada frontera, instrucciones como configuración, un presupuesto de contexto estricto, un único rol por agente y reintentos.
Fuentes: Multi-Agent Systems Are Backend Systems with Non-Deterministic Components
El agente basado en IA proviene de la ciencia de datos y el aprendizaje automático, por lo que el trabajo inicial resulta familiar. Si se trabaja el tiempo suficiente en un sistema multiagente en producción, deja de parecerse en absoluto a la ciencia de datos. Comienza a asemejarse más a la ingeniería de backend, con la diferencia de que algunos de sus componentes son no deterministas. Visto de esta manera, muchas decisiones de diseño se vuelven más fáciles de comprender.
El objetivo no es eliminar la flexibilidad que aportan los LLM, ya que esa flexibilidad es precisamente la razón por la que se utilizan. El objetivo es establecer límites predecibles alrededor de ella.
Asignar un contrato a cada límite
Los LLM comunican por texto, por lo que es tentador permitir que las partes de un sistema de agentes también se comuniquen entre sí por texto. Un componente escribe algo, el siguiente lo lee e interpreta su significado.
Eso funciona hasta que la interpretación se convierte en una fuente de dudas en sí misma.
Las solicitudes de aclaración son un buen ejemplo. Un componente puede darse cuenta de que le falta información y explicarlo con fluidez en prosa, pero dejar que el resto del flujo de trabajo adivine. ¿Es un fallo o una solicitud de aclaración? ¿Debería detenerse la ejecución? ¿Qué es exactamente lo que falta?
La solución es ir avanzando de esta manera hacia contratos explícitos y estructurados. En lugar de una frase como “No tengo suficiente información para continuar, ¿podría preguntarle al usuario qué conjunto de datos usar?”, los componentes intercambian un mensaje como este:
{
"status": "needs_clarification",
"question": "Which dataset should be used?",
"required_input": "dataset"
}
El formato JSON es secundario. Lo que realmente importa es el contrato. El siguiente componente recibe un estado conocido con una forma definida y nunca necesita inferir la intención a partir del texto generado.
La interacción humana puede seguir el mismo patrón. Cuando un componente específico de un dominio necesita información adicional, emite una solicitud estructurada de aclaración, y una capa de interacción separada decide cómo mostrarla al usuario. En resumen:
Domain workflow
↓
Structured clarification request
↓
User interaction layer
↓
User
La finalización merece el mismo trato. Si completar una tarea es importante para la orquestación, debería ser un evento de protocolo definido, y no algo que otro modelo deba deducir de frases como “el análisis está completo.”
La idea va mucho más allá de la simple clarificación o finalización. Los mensajes entre componentes, las llamadas a herramientas y sus respuestas, los errores y los eventos de orquestación se benefician todos de límites explícitos.
Una regla práctica: si otro componente tiene que interpretar la salida de un LLM, esa salida probablemente merece un esquema.
El lenguaje natural debe usarse donde realmente se necesite. Dentro del sistema, la ambigüedad tiende a causar más problemas de los que resuelve.
Trate los prompts como configuración
A medida que el sistema crece, resulta cada vez más difícil mantener la edición manual de cada prompt del sistema como un bloque de texto independiente. Las reglas compartidas terminan copiándose en varios lugares, las descripciones de las capacidades cambian con el tiempo y el prompt se desvía de lo que realmente está disponible en tiempo de ejecución.
Una configuración más declarativa ayuda. Las reglas compartidas, las instrucciones específicas para cada rol, las descripciones de las capacidades y los ejemplos se encuentran en secciones separadas y se combinan en el prompt final durante el proceso de construcción.
El paso de construcción también ofrece la posibilidad de validar la configuración antes de que el modelo la vea. Si un prompt indica una capacidad que en realidad no está implementada, el proceso de construcción debería detectarlo. Lo mismo ocurre con secciones faltantes, definiciones duplicadas o configuraciones que ya no coinciden con el rol asignado.
Nadie edita directamente la instrucción final. Esta se genera a partir de piezas de configuración más pequeñas, se valida y se emite como un artefacto de compilación que se puede versionar y reconstruir según se desee.
En ese punto, la gestión de instrucciones se parece mucho más a una configuración de software ordinaria que a la escritura. Se reutilizan partes compartidas, se valida todo lo que se puede validar antes del tiempo de ejecución y se mantiene la salida generada consistente con el sistema que la rodea.
El contexto es un presupuesto
Las ventanas de contexto grandes facilitan seguir añadiendo contenido: instrucciones, ejemplos, historial, descripciones de capacidades, artefactos, salidas anteriores. Con el tiempo, el modelo cuenta con todo lo que podría necesitar, y a veces comienza a rendir peor.
La explicación obvia es la longitud, como si el modelo simplemente hubiera olvidado algo. Sin embargo, con los modelos actuales, la dilución de instrucciones suele ser un enfoque más útil.
El contexto efectivo de un agente es mucho más amplio que su prompt del sistema:
instructions
+ available capabilities
+ examples
+ conversation history
+ artifacts
+ previous outputs
+ workflow state
Un modelo puede ser perfectamente capaz de localizar una instrucción específica en todo ese contenido. Pero eso no implica que vaya a obedecer cada instrucción de la misma manera una vez que varios señales compitan por su atención.
Por lo tanto, la pregunta más útil es cuánto contexto realmente necesita un componente, en contraste con cuánto puede aceptar técnicamente el modelo.
Esto va más allá del ahorro de tokens. Un contexto más pequeño y relevante reduce el espacio de decisiones y hace que el comportamiento sea más fácil de predecir. Cada elemento adicional de contexto compite por la atención del modelo; no permanece allí sin costo alguno.
Un agente, un rol
La cantidad de herramientas resulta ser una señal deficiente para determinar cuándo dividir un agente. Un agente puede tener muchas capacidades estrechamente relacionadas y aún así tener un propósito claro, mientras que otro con solo unas pocas herramientas ya podría estar realizando varias tareas no relacionadas.
La responsabilidad constituye una línea de separación mucho mejor. Diferentes responsabilidades suelen requerir instrucciones, contexto, reglas de validación y políticas de manejo de errores distintos. Se trata de una separación de responsabilidades aplicada a los componentes probabilísticos.
Divida según las responsabilidades e ignore la cantidad de herramientas.
El grafo almacena estado
La optimización de los prompts recibe mucha atención en el trabajo con agentes. El estado, en cambio, recibe menos atención.
Es fácil centrarse en el tamaño del prompt y pasar por alto el estado del grafo. Un prompt cuidadosamente redactado puede seguir estando asociado a un estado que conserva resultados y artefactos de varios pasos anteriores, a menos que ese estado se gestione intencionadamente.
En la orquestación basada en grafos, los mensajes, los resultados intermedios, los artefactos y las salidas anteriores se acumulan a medida que la ejecución avanza por el grafo. El grafo recuerda todo esto, lo cual es útil, pero implica que el estado necesita un diseño deliberado.
Un artefacto grande creado en una etapa temprana puede seguir utilizándose en etapas posteriores que nunca necesitan su contenido. Lo mismo ocurre con las respuestas de herramientas complejas y los resultados intermedios.
En el caso de artefactos más voluminosos, suele ser mejor mantener los datos fuera del grafo. En lugar de esto:
Large artifact
↓
Graph state
↓
Step
↓
Step
↓
Step
Por lo general, basta con algo similar a lo siguiente:
Large artifact
↓
External storage
↓
Reference + metadata
↓
Graph state
La mayoría de los componentes no necesitan que todo se genere anteriormente en el flujo de trabajo; solo requieren lo suficiente para tomar la decisión siguiente.
El tamaño de los estímulos es solo un aspecto del problema del contexto, y el estado merece la misma atención. Díganlo de manera activa y no dejen que se convierta en un lugar donde se descarta todo lo que genera la ejecución.
La fiabilidad es, en gran medida, cuestión de ingeniería
Incluso con buenos contratos, roles bien definidos y un contexto gestionado con cuidado, los agentes siguen haciendo cosas sorprendentes: una acción falla, el modelo elige la acción incorrecta o la repite, un flujo de trabajo termina demasiado pronto o dura mucho más de lo esperado.
También hay casos en los que cada paso parece razonable, pero el flujo de trabajo en su conjunto no avanza. El modelo sigue tomando decisiones válidas a nivel local y, de hecho, crea un bucle.
El primer instinto, especialmente en quienes comenzaron a usar modelos LLM grandes a principios de 2023, es solucionar tales problemas en el prompt. A veces funciona. Pero la mayoría de los mecanismos de fiabilidad que resultan necesarios se asemejan más a técnicas de ingeniería de backend:
- reintentos y tiempos de espera
- límites estrictos en la cantidad de iteraciones y llamadas a herramientas que puede realizar una ejecución
- detección de bucles al observar que la misma acción o estado vuelve a aparecer
- un estímulo suave cuando la ejecución se detiene pero aún puede recuperarse
- estados de fallo explícitos con rutas de recuperación
Cuando algo no debe ocurrir más de un número determinado de veces, imponer un límite es mejor que añadir otra instrucción pidiendo al modelo que se comporte de cierta manera. Los prompts forman parte de la ingeniería de fiabilidad, pero no deberían ser toda la capa de fiabilidad.
La observabilidad sigue la misma lógica. Cuando falla una solicitud ordinaria del backend, los registros y la traza de pila suelen indicar qué sucedió. Con un flujo de trabajo basado en agentes, a menudo no basta con saber dónde falló.
Es necesario reconstruir cómo llegó a esa situación: la ruta elegida, las acciones intentadas, los argumentos generados y los resultados devueltos. En la depuración de bucles, lo interesante suele ser no el error final sino la cadena de decisiones que hicieron que la ejecución volviera siempre al mismo camino.
En los sistemas basados en agentes se depuran tanto las decisiones como el código, por lo que una buena observabilidad debe permitir reconstruir el camino de decisiones.
La elección del modelo es una decisión de diseño del sistema
Tratar a los agentes como componentes de software también cambia la forma en que se eligen los modelos. No hay nada que indique que cada componente deba ejecutarse con un modelo compartido, y enviarlos todos al modelo más grande disponible tiene aún menos sentido.
Un sistema multiagente mezcla de forma natural tareas de dificultad muy diferente. Algunas requieren razonamiento, planificación o síntesis reales. Otras se limitan a enrutar, extraer, clasificar, transformar datos estructurados o elegir entre un pequeño conjunto de acciones.
Un modelo de vanguardia puede funcionar en cualquier situación, pero también puede hacer que el sistema sea innecesariamente lento y costoso. Lo importante para cada función es el equilibrio entre calidad, fiabilidad, latencia y precio.
La elección va más allá del simple conteo de parámetros o de las posiciones en las listas de clasificación. Los modelos que parecen similares en las pruebas de referencia pueden comportarse de manera muy distinta dentro del mismo flujo de trabajo.
La arquitectura es un factor, ya que los modelos densos, de mezcla de expertos e híbridos difieren en sus características. También es importante el proceso posterior al entrenamiento: diferentes métodos de ajuste fino supervisado, optimización de preferencias y aprendizaje por refuerzo influyen en la capacidad de seguir instrucciones, razonar, utilizar herramientas, generar resultados estructurados y comportarse de manera creativa.
Los compromisos en la práctica son concretos. Un modelo puede ser rápido, económico y fiable para tareas específicas como el enrutamiento o la clasificación, pero a veces llena vacíos mediante razonamientos plausibles en pasos abiertos. Otro puede ser más lento y costoso, pero claramente más estable en el razonamiento multietapa.
No es necesario entrenar estos modelos para que esto tenga importancia. Saber cómo se comportan de manera diferente te ayuda a decidir dónde encaja cada uno dentro de un sistema más amplio.
El punto de referencia más importante es su carga de trabajo real. En cuanto a la enrutación, pruebe la enrutación misma. En los casos en que la salida debe coincidir con un esquema, cuente cuán a menudo lo hace. Los componentes que dependen del razonamiento reciben un conjunto de casos de razonamiento típicos. Incluya la latencia y el costo en la misma evaluación.
Juzgue un modelo según el papel que desempeña en su sistema y no según su clasificación general.
Ingeniería frente al no determinismo
Hay una dirección común en todo esto. Los primeros prototipos de agentes maximizan la libertad: se le dan al modelo instrucciones, herramientas y contexto, y luego se le permite decidir.
Al avanzar hacia la producción, gran parte del trabajo se realiza en la dirección opuesta. Las responsabilidades se reducen, las interfaces se vuelven estructuradas, el contexto se vuelve más relevante, el estado se gestiona de forma intencionada, las rutas de fallo son explícitas y la elección del modelo depende del papel que desempeñe.
Incluso los prompts dejan de ser texto aislado y comienzan a funcionar como configuraciones que deben ser ensambladas, validadas, versionadas y reproducidas.
Nada de esto elimina la capacidad del LLM para tomar decisiones. Si cada decisión pudiera escribirse de manera determinista, tendría poco sentido crear un sistema agente. Lo importante es decidir dónde el no determinismo es útil y dónde no lo es.
Por eso, estos sistemas cada vez se asemejan más a ingeniería de backend con un nuevo tipo de componente. El LLM proporciona flexibilidad dentro de los límites, mientras que la ingeniería de software establece esos límites.
El mejor sistema agente no es aquel en el que los agentes pueden hacer más cosas, sino aquel en el que tienen exactamente la libertad que necesitan.
Leer más
- Notas prácticas: Google ADK explicado: Creación de sistemas multiagente con — Guía detallada de las Notas prácticas: Google ADK explicado: Creación de sistemas multiagente con: contratos, verificaciones y espacios para código listo para usar para los equipos que implementan este patrón.
- Sistemas multiagente de LangGraph: Supervisores, subgrafos y Send — Pase de un agente sobrecargado a varios: enrutamiento por supervisor, distribución y concentración de datos, subgrafos, procesamiento map-reduce basado en Send y un asistente de investigación multiagente completo en LangGraph.