Faire débattre deux agents LLM locaux : fondement, faux consensus, bugs de schéma.
Deux agents LLM locaux sur Ollama mis en débat grâce aux preuves, et non aux personnages : fondement sur la NLI, un bug de consensus fictif, vérifications d’attaque contre d’affirmation et champs obligatoires.
Sources: Two agents talking, and how to tell whether the conversation is real
Ce test, exécuté sur une seule carte RTX 3060 Ti (8 GB) avec qwen2.5:7b via Ollama, vise à déterminer si deux agents locaux peuvent entamer un dialogue utile et comment on pourrait le constater. Il s’inspire d’une découverte antérieure : deux instances d’un même modèle ne représentent pas deux opinions distinctes. Un critique ayant partagé les poids, les priorités et les modes de défaillance avec le chercheur a accepté sans réserve les hallucinations de ce dernier.
Néanmoins, il vaut la peine de tenter de créer un dialogue entre deux agents, car cette conclusion omettait certains éléments. Deux copies d’un même modèle ne peuvent pas différer dans leur jugement, mais elles peuvent diverger sur les faits si chacune en possède de différents.
Différence due aux informations, non à la personnalité
La manière habituelle de faire en sorte que les agents diffèrent consiste à leur attribuer des personnalités : être optimiste, être sceptique, être celui qui propose, être celui qui critique. L’effet avait déjà été mesuré. En demandant à un critique d’être sceptique, on est passé d’une approbation de 13 sur 13 résultats à une mise en évidence de 5 sur 5, ce qui représente le même comportement uniforme sous une étiquette différente.
Ainsi, l’asymétrie doit être structurelle :
Agent A → read sources 1, 2. Cannot see sources 3, 4.
Agent B → read sources 3, 4. Cannot see sources 1, 2.
La question du premier agent est réelle, car il ne connaît pas la réponse, et la réponse du deuxième agent contient des informations réelles que le premier n’a pas vues. Leur accord a également de l’importance, car il concerne deux ensembles de preuves. Les prompts ne peuvent pas simuler cela ; ce qui est introduit dans chaque fenêtre de contexte le garantit.
Messages fluides qui ont tous échoué
La première tentative a produit six messages fluides, pertinents et formulés avec prudence. Cependant, la vérification de fondement les a tous rejetés :
✗ A [answer] does not follow from its evidence (nli=0.03)
Our sources indicate that AI Agents are specialized, tool-enhanced
systems leveraging foundation models...
Cependant, la phrase figurait dans les déclarations de cet agent presque mot pour mot. Le modèle d’implication lui attribuait toujours 0,03. Le problème résidait dans ce qui lui était fourni. NLI exige une proposition claire en tant qu’hypothèse, or l’entrée était constituée de formulations conversationnelles du type « Nos sources indiquent que... » ou « Sur la base de nos sources, proposons que... ». Ce type de formulation n’apparaît jamais dans la source citée, ce qui fait chuter la note.
Des travaux antérieurs sur l’extraction des conclusions n’avaient pas rencontré ce problème, car une affirmation y était présentée sous forme de simple phrase tirée d’un article. Le dialogue est différent : ses deux interlocuteurs ont des besoins opposés — l’agent partenaire souhaite une conversation, tandis que le vérificateur exige un texte formel. Diviser le message en deux champs a résolu le problème. content est envoyé à l’autre agent, tandis que claim correspond à une seule phrase déclarative simple, sans cadre particulier, et c’est elle seule qui est évaluée.
| Champ | Texte | Implication |
|---|---|---|
content | la version nuancée et conversationnelle du propos | 0,03 |
claim | une affirmation directe selon laquelle les agents IA sont des systèmes spécialisés renforcés par des outils | 0,93 |
Le modèle n’avait pas changé. C’était la mauvaise chaîne de caractères qui était évaluée.
Un consensus que personne n’a atteint
Pendant que ces six messages étaient rejetés, le système a affiché ceci à la fin de la conversation :
🤝 CONSENSUS (6 messages, 0 questions, 0 concessions)
AI memory architectures are evolving towards unified context layers...
Aucun message n’a été retenu, car chaque contribution a échoué au contrôle des preuves, et pourtant le système annonçait l’existence d’un consensus solide prêt à être intégré dans un rapport.
La cause résidait dans la logique du système. L’étape de consensus lisait la transcription, mais la méthode transcript() ne prenait en compte que les échanges validés. Le système obtenait ainsi une conversation vide, écrivait une conclusion uniquement à partir des citations sources et la présentait comme étant le fruit d’un accord entre deux chercheurs.
C’est la catégorie de bug la plus insidieuse pour un système de ce type. Rien ne plante et rien ne refuse de fonctionner. La sortie est lisible, bien présentée, mais présente une histoire fausse. D’autres échecs dans le projet ont fait du bruit, tandis que celui-ci a été pris pour un succès. Trois lignes suffisent pour le corriger : lorsque aucun message ne survit au vérification de fondement, converged est forcé à prendre la valeur false et la raison est affichée. La leçon plus profonde perdure au-delà du correctif. Les affirmations concernant les processus nécessitent la même vérification que celles concernant les faits, car l’affirmation « les agents étaient d’accord » décrit le monde et exige des preuves.
Débat sur les contradictions
Une couche de débat distincte gère les contradictions entre deux sources, chaque agent ne défendant que son propre point de vue à partir de sa propre citation. Les huit premiers arguments ont tous échoué au test de vérification de fondement.
La citation du locuteur ne mentionne ni l’évolution des systèmes de mémoire basés sur l’IA, ni toute possibilité de collaboration entre des agents.
Évidemment, cela ne peut pas découler des propres preuves du locuteur, car celles-ci décrivent celles de l’adversaire. La réfutation était évaluée sur une prémisse erronée, ce qui constitue une erreur de catégorie au sein du vérificateur. Les réfutations et les affirmations sont des actes de parole différents, ce qui leur vaut des tests distincts :
- Une affirmation doit découler de la propre citation du locuteur, ce qui est mesuré à l’aide de NLI.
- Une réfutation doit s’adresser à l’affirmation spécifique de l’adversaire, ce qui est évalué par la superposition des mots et non par la déduction logique.
Les arguments ne comportant ni affirmation fondée ni réfutation ciblée sont tout de même rejetés. Dire « vos preuves ne montrent pas X » est désormais une manœuvre valide et non une défaite automatique.
Les sujets sont sélectionnés sans modèle. Chaque paire de résultats est soumise à l’analyse NLI, et les paires présentant une forte probabilité de contradiction deviennent des débats. À un seuil de 0,5, une paire a été retenue avec un score de 0,517 : l’une affirme que les agents IA sont des systèmes spécialisés améliorés par des outils, tandis que l’autre indique que les systèmes de mémoire évoluent vers des couches de contexte unifiées. Ce sont des sujets différents. Deux agents ont encore passé quatre tours à débattre d’un conflit qui n’existait pas, ce qui est précisément ce que cette couche était censée éviter.
Lorsque le seuil a été relevé à 0,7, cette couche est restée silencieuse sur ce sujet, ne détectant aucun conflit parmi quatre articles sur la mémoire des agents. C’est correct, car ces articles ne se contredisent pas. Un système de débat ne disposant de rien à débattre remplit donc sa fonction.
Il n’existe pas de champs optionnels
Le nouveau champ claim était initialement optionnel avec une valeur par défaut de "", et le modèle l’ignorait. Les six messages ont tous recouru à du texte conversationnel, ce qui a entraîné un déclin des performances. Il s’agissait de la quatrième apparition de cette même erreur :
| Étape | Choix du schéma | Résultat |
|---|---|---|
| Analyse de référence | default_factory=list | Un {} vide était toujours compté comme une analyse valide |
| Sortie des critiques | Le champ était marqué required mais une chaîne vide était acceptée | Environ 30 % des critiques revenaient vides |
| Liste avec valeur par défaut | Le modèle émettait [] | Huit critiques ont disparu |
claim dans le dialogue | default="" | le modèle l’a ignoré et les six messages ont tous échoué |
En résumé : un champ optionnel est en fait absent à chaque fois. Pour que un modèle de petite taille produise quelque chose, le schéma doit rejeter les résultats qui ne le contiennent pas.
Deux schémas étaient nécessaires, car une question ne peut pas comporter d’affirmation tandis qu’une déclaration doit en contenir une. Le besoin conversationnel suivant choisit l’un d’eux : Question lorsqu’il est temps de poser une question, et Statement dans le cas contraire, avec claim et grounded_in étant tous deux obligatoires. Une question a cette forme :
❓ A: Could you provide more details on how multi-agent systems differ
from single-agent implementations, according to your sources?
Et voici une série de réponses :
✗ B: "Your sources do not directly compare multi-agent systems to
single-agent implementations." → rejected (nli=0.051)💡 A: Multi-agent systems often require more sophisticated memory
architectures and coordination protocols. (nli=0.985)💡 B: AI memory systems are evolving toward unified context layers for
efficient cross-agent collaboration. (nli=0.998)📋 A: [proposes joint conclusion] (nli=0.982)
📋 B: [proposes joint conclusion] (nli=0.540)🤝 CONSENSUS (6 messages, 1 question, 5 grounded)
Cinq des six messages ont été rejetés. Ce seul rejet est édifiant. Le deuxième agent a tenté de décrire les sources du premier agent, qu’il ne pouvait pas voir. La vérification a permis de le détecter, non pas grâce à une compréhension de l’épistémologie, mais parce qu’une affirmation concernant les documents d’un agent ne peut être déduite de celles de l’autre.
Une tentative antérieure s’est mieux déroulée. Lorsqu’on lui a demandé des détails qu’il manquait, le deuxième agent a admis que ses sources ne les couvraient pas, et le système a indiqué l’absence de consensus en donnant la raison exacte : aucune des sources n’a fourni les exemples demandés. C’est précisément ce que visait la conception dès le début : un agent conscient de ce qu’il ne sait pas. Une demande d’humilité n’a pas abouti à ce résultat, tandis que le fait de faire échouer les affirmations non étayées y a contribué.
Coût
Une tour nécessite 138 appels à l’LLM, chacun prenant environ deux secondes sur une carte 3060 Ti. Le dialogue représente 7 appels, le débat 5, la synthèse environ 12, et le reste est consacré à l’extraction et à la critique. Le système fonctionne, mais le budget est désormais la contrainte, et non la capacité.
Leçons
- Différencier selon les informations. Des contextes différents génèrent des questions différentes, tandis que des instructions différentes font utiliser le même modèle sous des formes différentes.
- Séparer la conversation des affirmations mesurables. Un champ est destiné à l’autre agent et un autre au vérificateur ; une seule chaîne de caractères ne peut servir les deux.
- Vérifier les affirmations relatives au processus. L’affirmation « Ils ont convenu » nécessite des preuves, et son absence en a fait la sortie la plus dangereuse jamais produite par le système.
- Testez les attaques et les affirmations de manière différente. Évaluer « vos preuves ne montrent pas X » par rapport aux propres preuves de l’interlocuteur constitue une erreur de catégorie.
- Acceptez un débat vide. Abaisser les exigences au point de générer du contenu ne fait que créer de la comédie.
- Rendez les champs obligatoires vraiment obligatoires. Les champs optionnels n’existent tout simplement pas.
Il reste à déterminer si tout cela surpasse un seul agent doté d’un outil de recherche.