Hacer que dos agentes locales de LLM debatan: anclaje, consenso falso, errores en los esquemas.
Dos agentes locales de LLM en Ollama diseñados para debatir con evidencias, no con personajes: fundamentación en NLI, un error de consenso falso, verificaciones de ataque contra afirmación y campos obligatorios.
Fuentes: Two agents talking, and how to tell whether the conversation is real
Al ejecutarse con una sola RTX 3060 Ti (8 GB) utilizando qwen2.5:7b bajo Ollama, este experimento busca determinar si dos agentes locales pueden mantener un diálogo útil y cómo alguien podría darse cuenta de ello. Se basa en un hallazgo anterior: dos instancias de un mismo modelo no representan dos opiniones distintas. Un crítico que compartió los pesos, los valores iniciales y los modos de fallo con el investigador aprobó sin problemas las alucinaciones de este último.
Aun así, vale la pena intentar crear un diálogo entre dos agentes, ya que esa conclusión dejó algo fuera. Dos copias de un mismo modelo no pueden diferir en su juicio, pero sí pueden discrepar en cuanto a los hechos si cada una posee información diferente.
Diferencia por información, no por personalidad
La forma habitual de hacer que los agentes difieran es asignándoles personalidades: ser optimista, ser escéptico, ser el proponente, ser el crítico. El efecto ya había sido medido. Pedirle a un crítico que fuera escéptico lo llevó a rechazar 5 de 5 hallazgos en lugar de aprobarlos a todos, lo cual representa el mismo comportamiento uniforme bajo una etiqueta diferente.
Por lo tanto, la asimetría debe ser estructural:
Agent A → read sources 1, 2. Cannot see sources 3, 4.
Agent B → read sources 3, 4. Cannot see sources 1, 2.
La pregunta del primer agente es real, ya que no conoce la respuesta, y la respuesta del segundo agente contiene información real que el primero no ha visto. El acuerdo entre ellos también significa algo, porque abarca dos conjuntos de evidencias. La inducción no puede falsificar esto; lo que se introduce en cada ventana de contexto lo garantiza.
Mensajes fluidos que todos fallaron
La primera ejecución generó seis mensajes fluidos, relevantes y debidamente matizados. La verificación de fundamentación rechazó todos ellos:
✗ A [answer] does not follow from its evidence (nli=0.03)
Our sources indicate that AI Agents are specialized, tool-enhanced
systems leveraging foundation models...
Pero la oración apareció en el testimonio de ese agente casi literalmente. El modelo de inferencia siguió asignándole un valor de 0.03. El problema radicaba en lo que se le proporcionaba como entrada. NLI requiere una proposición clara como hipótesis, pero la entrada eran frases conversacionales del tipo “Nuestras fuentes indican que...” o “Basándonos en nuestras fuentes, propongamos que...”. Ese tipo de enmarcamiento nunca aparece en la fuente citada, por lo que la puntuación cae drásticamente.
Trabajos anteriores sobre la extracción de conclusiones no habían tropezado con este problema, ya que en ellos se utilizaba simplemente una oración extraída de un artículo. El diálogo es diferente: sus dos interlocutores desean cosas opuestas; el agente interlocutor busca una conversación, mientras que el verificador necesita texto estructurado. Resolverlo consistió en dividir el mensaje en dos campos: content se envía al otro agente, y claim es una única oración declarativa sin enmarcamiento, y es lo único que recibe una puntuación.
| Campo | Texto | Implicación |
|---|---|---|
content | la versión matizada y conversacional del punto | 0.03 |
claim | una afirmación directa de que los agentes de IA son sistemas especializados mejorados con herramientas | 0.93 |
El modelo no había cambiado. Se estaba evaluando la cadena de texto incorrecta.
Un consenso al que nadie llegó
Mientras esas seis mensajes eran rechazados, el sistema imprimió lo siguiente al final de la conversación:
🤝 CONSENSUS (6 messages, 0 questions, 0 concessions)
AI memory architectures are evolving towards unified context layers...
Ningún mensaje fue aceptado, ya que cada contribución falló en la verificación de evidencias, y aun así el sistema anunció la existencia de un consenso sólido listo para ser incluido en un informe.
La causa radicaba en los problemas de conectividad. El paso de consenso leyó la transcripción, pero el método transcript() filtró únicamente las intervenciones aceptadas. Como el resultado fue una conversación vacía, el sistema elaboró una conclusión basada únicamente en las citas de las fuentes y la etiquetó como algo sobre lo que dos investigadores estaban de acuerdo.
Esta es la clase de error más desagradable en un sistema como este. Nada se cae y nada rechaza la operación. La salida se muestra bien, parece ordenada y presenta un historial falso. Otros fallos en el proyecto generaron alarma, mientras que este pasó por ser un éxito. Tres líneas lo solucionan: cuando no queda ningún mensaje tras la verificación, converged se fuerza a false y se imprime la razón. La lección más profunda perdura más allá del parche. Las afirmaciones sobre procesos necesitan la misma verificación que las afirmaciones sobre hechos, porque “los agentes estuvieron de acuerdo” describe el mundo y requiere pruebas.
Debate sobre contradicciones
Una capa de debate separada aborda las contradicciones entre dos fuentes, donde cada agente solo defiende un lado a partir de su propia cita. Los primeros ocho argumentos fallaron todos en la verificación de base.
La cita del orador no menciona cómo están evolucionando los sistemas de memoria de la IA, ni tampoco cualquier posibilidad de que los agentes colaboren.
Obviamente, eso no puede deducirse de las pruebas presentadas por el propio orador, ya que estas describen las del oponente. La refutación se evaluó basándose en una premisa incorrecta, lo cual constituye un error de categoría dentro del sistema de verificación. Las refutaciones y las afirmaciones son actos de habla diferentes, por lo que se someten a pruebas distintas:
- Una afirmación debe poder deducirse de la propia cita del orador, lo que se mide con NLI.
- Una refutación debe abordar la afirmación específica del oponente, lo que se evalúa mediante la superposición de palabras y no mediante la deducción lógica.
Los argumentos que carecen tanto de una afirmación fundamentada como de una refutación dirigida siguen siendo descartados. Decir “tu evidencia no demuestra X” ahora es una jugada válida y no constituye un fracaso automático.
Los temas se eligen sin utilizar un modelo. Cada par de hallazgos pasa por el análisis NLI, y los pares con una alta probabilidad de contradicción se convierten en debates. Con un umbral de 0.5, un par superó la prueba con un valor de 0.517: un hallazgo que indica que los agentes de IA son sistemas especializados mejorados por herramientas, y otro que señala que los sistemas de memoria están evolucionando hacia capas de contexto unificadas. Estos abordan temas diferentes. Dos agentes aún dedicaron cuatro rondas a un conflicto que en realidad no existía, algo que precisamente este nivel estaba destinado a evitar.
Al elevar el umbral a 0.7, este nivel permaneció en silencio respecto a ese tema, al no detectar conflictos entre cuatro artículos sobre la memoria de los agentes. Eso es correcto, ya que los artículos no se contradicen entre sí. Un sistema de debates sin nada sobre lo que debatir está cumpliendo su función.
No existen campos opcionales
El nuevo campo claim comenzó como opcional con un valor por defecto de "", y el modelo lo ignoró. Los seis mensajes volvieron a utilizar texto conversacional y el proceso regresó a un estado anterior. Esta fue la cuarta aparición de este mismo error:
| Etapa | Elegida en el esquema | Resultado |
|---|---|---|
| Análisis de referencia | default_factory=list | Un {} vacío seguía contándose como un análisis válido |
| Salida de críticas | El campo estaba marcado como required pero se aceptó una cadena vacía | Aproximadamente el 30% de las críticas devolvieron contenido en blanco |
| Lista con valor por defecto | El modelo emitió [] | Ocho críticas desaparecieron |
claim en diálogo | default="" | El modelo lo omitió y los seis mensajes fallaron |
Conclusión: un campo opcional está efectivamente ausente en todas las ocasiones. Para que un modelo pequeño genere algo, el esquema debe rechazar las salidas que lo carezcan.
Se necesitaron dos esquemas, porque una pregunta no puede contener una afirmación mientras que una declaración sí debe hacerlo. La siguiente necesidad conversacional elige uno: Question cuando es momento de hacer una pregunta y Statement en los demás casos, siendo claim y grounded_in obligatorios en ambos. Una pregunta se ve así:
❓ A: Could you provide more details on how multi-agent systems differ
from single-agent implementations, according to your sources?
Y esta es una ronda de respuestas:
✗ B: "Your sources do not directly compare multi-agent systems to
single-agent implementations." → rejected (nli=0.051)💡 A: Multi-agent systems often require more sophisticated memory
architectures and coordination protocols. (nli=0.985)💡 B: AI memory systems are evolving toward unified context layers for
efficient cross-agent collaboration. (nli=0.998)📋 A: [proposes joint conclusion] (nli=0.982)
📋 B: [proposes joint conclusion] (nli=0.540)🤝 CONSENSUS (6 messages, 1 question, 5 grounded)
Cinco de los seis mensajes fueron rechazados. Ese único rechazo es ilustrativo. El segundo agente intentó describir las fuentes del primero, que no puede ver. La verificación detectó eso, no por una comprensión de la epistemología, sino porque una afirmación sobre los documentos de un agente no puede deducirse de los del otro.
Una ejecución anterior salió mejor. Al pedirle detalles que carecía, el segundo agente admitió que sus fuentes no los abarcaban, y el sistema informó sobre la falta de consenso junto con la razón exacta: ninguna de las fuentes proporcionó los ejemplos solicitados. Eso era lo que buscaba el diseño desde el principio: un agente consciente de lo que no sabe. Un prompt que pedía humildad no logró eso; en cambio, hacer que las afirmaciones sin sustento fallaran sí lo logró.
Costo
Una ronda requiere 138 llamadas al LLM, a un ritmo de aproximadamente dos segundos cada una en la 3060 Ti. El diálogo representa 7, el debate 5, la síntesis unos 12, y el resto se destina a la extracción y la crítica. Funciona, pero el presupuesto se ha convertido en la limitación, no en la capacidad.
Lecciones
- Diferen por la información. Diferentes contextos generan preguntas distintas, mientras que instrucciones diferentes hacen que el mismo modelo se comporte de manera diferente.
- Separar la conversación de las afirmaciones medibles. Un campo está destinado al otro agente y otro al verificador; una sola cadena de texto no puede servir para ambos.
- Verificar las afirmaciones sobre el proceso. La frase “Estuvieron de acuerdo” necesita pruebas, y su ausencia la convirtió en la salida más peligrosa que el sistema haya generado jamás.
- Pruebe los ataques y las afirmaciones de manera diferente. Calificar “su evidencia no muestra X” en comparación con la propia evidencia del orador es un error de categoría.
- Acepte un debate vacío. Bajar los estándares hasta el punto de que se genere contenido solo sirve para crear teatro.
- Haga que los campos obligatorios realmente lo sean. Los opcionales simplemente no existen.
Queda por determinar si algo de esto supera a un único agente con una herramienta de búsqueda.
Leer más
- Construyendo memoria de agente que sobrevive a la conversación sin acumular datos — Un diseño de memoria en tres niveles para agentes: permitir que el estado de la sesión se elimine, mantener las notas a largo plazo pequeñas y editables, y obtener datos en tiempo real actualizados. Además, se aborda el fallo en la transferencia entre múltiples agentes.
- Cuando dos agentes superan a uno: un Copilot de revisión de código de LangGraph creado de ambas maneras — Construye un revisor de código como un único agente y también como Analizador más Revisor de riesgos en LangGraph, y luego aprende los tres casos en los que los sistemas multiagente justifican su costo.
- Qué es un harness de agente y por qué los agentes de IA fiables lo necesitan — Una explicación adecuada para principiantes sobre la ingeniería de harnesses: el contexto, las herramientas, la memoria, las medidas de seguridad y los controles de bucle que rodean a un LLM para convertirlo en un agente confiable.
- Dar un historial de conversación a un chatbot de LangChain con mensajes — Crea un chatbot sencillo pasando los mensajes anteriores al modelo mediante MessagesPlaceholder, y comprende por qué el historial no es lo mismo que la memoria integrada del modelo.