Startseite / Artikel

Zwei lokale LLM-Agenten zum Debattieren bringen: Grundierung, falscher Konsens, Schema-Fehler

Zwei lokale LLM-Agenten auf Ollama, die durch Beweise statt durch Rollenfiguren debattieren: NLI-Basis, ein Fehler beim künstlichen Konsens, Überprüfungen von Angriffen gegen Aussagen sowie erforderliche Felder.

Verlag: REACTAPP.TOP7 Min. Lesezeit1697 Wörter

Quellen: Two agents talking, and how to tell whether the conversation is real

Dieses Experiment, das unter Ollama mit qwen2.5:7b auf einer einzigen RTX 3060 Ti (8 GB) durchgeführt wird, fragt nach der Möglichkeit, dass zwei lokale Agenten einen nützlichen Dialog führen können, und wie man das erkennen könnte. Es baut auf einer früheren Erkenntnis auf: Zwei Instanzen derselben Modelle stellen nicht zwei unterschiedliche Meinungen dar. Ein Kritiker, der dem Forscher Gewichte, Vorannahmen und Fehlermuster zur Verfügung stellte, akzeptierte ohne Widerspruch die Halluzinationen des Forschers.

Trotzdem lohnt es sich, einen Dialog zwischen zwei Agenten zu entwickeln, da diese Schlussfolgerung etwas ausließ. Zwei Kopien desselben Modells können sich in ihrer Beurteilung nicht unterscheiden, können sich aber in Bezug auf Fakten unterscheiden, falls jeweils andere Fakten vorliegen.

Unterschied durch Informationen, nicht durch Persönlichkeit

Die übliche Methode, um Agenten voneinander zu unterscheiden, besteht darin, ihnen Persönlichkeiten zuzuweisen: optimistisch sein, skeptisch sein, der Vorschlagende sein oder der Kritiker sein. Die Auswirkungen wurden bereits gemessen. Dem Kritiker zu sagen, er solle skeptisch sein, führte dazu, dass er von der Zustimmung zu allen 13 Erkenntnissen zur Markierung von 5 von 5 überging – was dasselbe einheitliche Verhalten unter einem anderen Label ist.

Daher muss die Asymmetrie strukturell sein:

Agent A → read sources 1, 2.  Cannot see sources 3, 4.
Agent B → read sources 3, 4.  Cannot see sources 1, 2.

Die Frage des ersten Agenten ist tatsächlich eine echte Frage, da er die Antwort nicht kennt, und die Antwort des zweiten Agenten enthält echte Informationen, die der erste noch nicht gesehen hat. Die Übereinstimmung zwischen ihnen bedeutet ebenfalls etwas, da sie zwei verschiedene Datensätze umfasst. Prompting kann das nicht fälschen – was in jedes Kontextfenster eingegeben wird, stellt dies sicher.

Flüssige Nachrichten, die alle fehlschlugen

Bei dem ersten Versuch wurden sechs Nachrichten erzeugt, die flüssig formuliert waren, zum Thema passten und angemessen abgemildert waren. Die Überprüfung auf Grundlage ließ jedoch jede einzelne abgelehnt werden:

✗ A [answer] does not follow from its evidence (nli=0.03)
     Our sources indicate that AI Agents are specialized, tool-enhanced
     systems leveraging foundation models...

Doch der Satz erschien in den Aussagen dieses Agenten nahezu wortwörtlich. Das Implikationsmodell gab weiterhin einen Wert von 0,03 an. Das Problem lag darin, was ihm als Eingabe gegeben wurde. NLI benötigt als Hypothese eine klare Aussage, während die Eingabe aus umständlichen Formulierungen wie „Unsere Quellen deuten darauf hin, dass...“ oder „Auf der Grundlage unserer Quellen schlagen wir vor, dass...“ bestand. Diese Einleitungen kommen in der zitierten Quelle nie vor, wodurch die Bewertung stark sinkt.

Frühere Arbeiten zur Extraktion von Erkenntnissen waren nicht auf dieses Problem gestoßen, da dort lediglich einfache Sätze aus Artikeln verwendet wurden. Im Dialog ist das anders. Die beiden Leser verlangen gegensätzliche Dinge: der Partneragent möchte eine Konversation, während der Prüfer einen präzisen, sachlichen Text benötigt. Die Aufteilung der Nachricht in zwei Felder löste das Problem. content wird an den anderen Agenten gesendet. claim ist ein einziger, einfacher, deklarativer Satz ohne Rahmen, und er ist das Einzige, das bewertet wird.

Feld Text Entailment
content die abgemilderte, konversationelle Version der Aussage 0.03
claim eine einfache Aussage, dass KI-Agenten spezialisierte, durch Tools erweiterte Systeme sind 0.93

Das Modell hatte sich nicht geändert. Es wurde der falsche String bewertet.

Ein Konsens, den niemand erreichte

Während diese sechs Nachrichten abgelehnt wurden, gab das System am Ende des Gesprächs Folgendes aus:

🤝 CONSENSUS  (6 messages, 0 questions, 0 concessions)
   AI memory architectures are evolving towards unified context layers...

Es gab keine überprüften Nachrichten, da jeder Beitrag die Überprüfung der Belege nicht bestanden hatte, und dennoch gab das System an, es gäbe einen zuverlässigen Konsens, der in einen Bericht eingefügt werden könne.

Der Grund lag im Systemdesign. Der Konsensbildungsprozess las die Transkription, doch die transcript()-Methode filterte nur die überprüften Sätze heraus. Es ergab sich somit ein leeres Gespräch, weshalb allein aus den Quellenzitaten eine Schlussfolgerung erstellt und diese als etwas dargestellt wurde, worüber zwei Forscher übereinstimmten.

Das ist die schlimmste Art von Fehler für ein solches System. Nichts stürzt ab und nichts weigert sich. Die Ausgabe liest sich gut, sieht ordentlich aus und weist eine falsche Historie auf. Andere Fehler im Projekt machten Lärm, während dieser als Erfolg durchging. Drei Zeilen reichen aus, um ihn zu beheben: Wenn keine Nachricht nach der Verankerung übrig bleibt, wird converged auf falsch gesetzt und der Grund wird ausgegeben. Die tiefere Lektion hält länger an als der Patch. Aussagen über Prozesse benötigen dieselbe Überprüfung wie Aussagen über Fakten, denn „die Agenten waren sich einig“ beschreibt die Welt und erfordert Beweise.

Debatte über Widersprüche

Eine separate Debattebene kümmert sich um Widersprüche zwischen zwei Quellen, wobei jeder Agent nur aus seiner eigenen Zitierung heraus eine Seite verteidigt. Alle ersten acht Argumente scheiterten an der Verankerungsprüfung.

Der Zitat des Sprechers erwähnt weder, wie sich KI-Gedächtnissysteme weiterentwickeln, noch irgendein Potenzial für die Zusammenarbeit von Agenten.

Offensichtlich lässt sich das aus den eigenen Belegen des Sprechers nicht ableiten, da diese die des Gegners beschreiben. Die Widerlegung wurde auf der falschen Prämisse bewertet, was ein Kategorienfehler im Prüfsystem darstellt. Widerlegungen und Behauptungen sind unterschiedliche Sprachakte, weshalb sie unterschiedliche Tests erhalten:

  • Eine Behauptung muss aus den eigenen Zitaten des Sprechers abgeleitet werden und wird mit NLI gemessen.
  • Eine Widerlegung muss sich auf die konkrete Behauptung des Gegners beziehen und wird anhand von Wortüberschneidungen und nicht durch Ableitbarkeit bewertet.

Argumente ohne fundierte Behauptung oder gezielte Widerlegung werden dennoch abgelehnt. Der Satz „Ihre Belege zeigen nicht X“ gilt nun als gültiger Zug und nicht als automatischer Misserfolg.

Die Themen werden ohne Modell ausgewählt. Jedes Paar von Erkenntnissen wird durch das NLI geprüft, und Paare mit hoher Widerspruchswahrscheinlichkeit werden zu Debatten. Bei einem Schwellenwert von 0,5 schaffte es ein Paar mit einem Wert von 0,517: eine Erkenntnis, dass KI-Agenten spezialisierte, durch Werkzeuge erweiterte Systeme sind, und eine weitere, dass sich Speichersysteme in Richtung vereinigter Kontextschichten entwickeln. Beide beziehen sich auf unterschiedliche Themen. Zwei Agenten verbrachten weiterhin vier Runden mit einem Konflikt, der gar nicht existierte – genau das ist der Konflikt, den diese Schicht verhindern sollte.

Als der Schwellenwert auf 0,7 erhöht wurde, wurde es zu diesem Thema ruhig, da in vier Artikeln über Agentenspeicher keine Konflikte festgestellt wurden. Das ist korrekt, denn die Artikel widersprechen einander nicht. Ein Debattensystem, das nichts zu debattieren hat, erfüllt somit seine Aufgabe.

Optionale Felder existieren nicht

Das neue claim-Feld war ursprünglich optional mit dem Standardwert "", und das Modell ignorierte es. Alle sechs Nachrichten fielen auf den konversationellen Text zurück, wodurch die Leistung nachließ. Dies war das vierte Auftreten desselben Fehlers:

Phase Schema-Auswahl Ergebnis
Benchmark-Parsing default_factory=list Ein leeres {} wurde dennoch als gültiges Parsing gezählt
Kritikausgabe Das Feld war als required markiert, doch ein leeres String wurde akzeptiert Etwa 30 % der Kritiken kamen leer zurück
Listen mit Standardwert Das Modell gab [] aus Acht Kritiken verschwanden
Dialog-claim default="" Das Modell hat es übersprungen und alle sechs Nachrichten sind fehlgeschlagen.

Fazit: Ein optionales Feld ist praktisch jedes Mal abwesend. Damit ein kleines Modell etwas erzeugen kann, muss das Schema Ausgaben ablehnen, die es nicht enthalten.

Zwei Schemata waren erforderlich, weil eine Frage keine Behauptung enthalten kann, während eine Aussage eine haben muss. Der nächste konversationelle Bedarf wählt eines aus: Question, wenn es Zeit ist zu fragen, und Statement ansonsten, wobei sowohl claim als auch grounded_in obligatorisch sind. Eine Frage sieht so aus:

❓ A: Could you provide more details on how multi-agent systems differ
     from single-agent implementations, according to your sources?

Und das ist eine Runde mit Antworten:

✗ B: "Your sources do not directly compare multi-agent systems to
     single-agent implementations."          → rejected (nli=0.051)💡 A: Multi-agent systems often require more sophisticated memory
     architectures and coordination protocols.        (nli=0.985)💡 B: AI memory systems are evolving toward unified context layers for
     efficient cross-agent collaboration.             (nli=0.998)📋 A: [proposes joint conclusion]                     (nli=0.982)
📋 B: [proposes joint conclusion]                     (nli=0.540)🤝 CONSENSUS (6 messages, 1 question, 5 grounded)

Fünf von sechs Nachrichten wurden abgelehnt. Die eine Ablehnung ist aufschlussreich. Der zweite Agent versuchte, die Quellen des ersten Agents zu beschreiben, die dieser nicht einsehen kann. Die Überprüfung erkannte das – nicht durch ein Verständnis epistemischer Aspekte, sondern weil eine Aussage über die Dokumente eines Agents nicht aus denen des anderen abgeleitet werden kann.

Ein früherer Versuch verlief besser. Als konkrete Angaben gefordert wurden, die fehlten, gab der zweite Agent zu, dass seine Quellen diese nicht abdeckten, und das System meldete keinen Konsens zusammen mit dem genauen Grund: Keine der Quellen lieferte die angeforderten Beispiele. Genau das war von Anfang an das Ziel der Konzeption – ein Agent, der weiß, was er nicht weiß. Eine Aufforderung zur Bescheidenheit brachte das nicht hervor; stattdessen führte das Erstellen ununtermaufter Aussagen dazu.

Kosten

Eine Runde erfordert 138 LLM-Aufrufe à etwa zwei Sekunden auf der 3060 Ti. Davon entfallen 7 auf das Gespräch, 5 auf die Debatte, etwa 12 auf die Synthese, und der Rest geht auf Extraktion und Kritik. Es läuft zwar, doch das Budget ist nun die Beschränkung und nicht mehr die Leistungsfähigkeit.

Lektionen

  1. Unterschiede durch Informationen erzeugen. Verschiedene Kontexte führen zu unterschiedlichen Fragen, während unterschiedliche Anweisungen dasselbe Modell in unterschiedlichen Formen hervorbringen.
  2. Gespräche von messbaren Aussagen trennen. Ein Feld ist für den anderen Agenten und ein weiteres für den Prüfer vorgesehen – ein einziger String kann nicht für beide dienen.
  3. Aussagen zum Prozess überprüfen. „Sie waren sich einig“ benötigt Beweise; deren Fehlen machte diese Aussage zum gefährlichsten Ergebnis, das das System je erzeugt hat.
  4. Testen Sie Angriffe und Aussagen auf unterschiedliche Weise. Die Bewertung mit „Ihre Beweise zeigen nicht X“ im Vergleich zu den eigenen Beweisen des Sprechers ist ein Kategorienfehler.
  5. Nehmen Sie eine leere Debatte hin. Wenn man die Anforderungen senkt, bis Inhalte entstehen, entsteht nur Theaterspiel.
  6. Machen Sie erforderliche Felder tatsächlich erforderlich. Optionale Felder existieren einfach nicht.

Ob irgendetwas davon einem einzelnen Agenten mit Suchwerkzeug überlegen ist, bleibt unerforscht.