Strona główna / Artykuły

Stworzenie dwóch lokalnych agentów LLM do debaty: uzasadnianie, fałszywy konsensus, błędy schematu.

Dwa lokalne agenty LLM na Ollama, które debatują na podstawie dowodów, a nie ról: podstawa NLI, błąd fałszywego konsensusu, sprawdzanie ataków i twierdzeń oraz wymagane pola.

Wydawca: REACTAPP.TOP7 min czytania1697 słów

Źródła: Two agents talking, and how to tell whether the conversation is real

W tym eksperymencie, przeprowadzonym na pojedynczym GPU RTX 3060 Ti (8 GB) z modelem qwen2.5:7b w środowisku Ollama, badane jest, czy dwa lokalne agenty mogą prowadzić użyteczną rozmowę oraz jak można to stwierdzić. Jest to kontynuacja wcześniejszych ustaleń: dwie instancje tego samego modelu to nie dwa różne opinie. Krytyk, który udostępnił badaczowi wagi, założenia wstępne oraz sposoby awarii, bez żadnych oporów zaakceptował halucynacje badacza.

Mimo to próba stworzenia dialogu pomiędzy dwoma agentami jest warta wysiłku, ponieważ tamtejszy wniosek pominął pewne aspekty. Dwie kopie tego samego modelu nie mogą różnić się w ocenach, ale mogą się różnić co do faktów, jeśli każda posiada inne dane.

Różnica wynika z informacji, a nie z osobowości

Zwykłym sposobem na różnicowanie agentów jest przydzielanie im postaw: być optymistą, być sceptykiem, być proponentem, być krytykiem. Skutek ten został już zmierzony. Polecenie krytykowi, by był sceptykiem, spowodowało, że przesunął się on od aprobowania wszystkich 13 ustaleń do zaznaczania problemów we wszystkich 5 przypadkach, co stanowi to samo jednolite zachowanie pod inną nazwą.

Zatem asymetria musi mieć charakter strukturalny:

Agent A → read sources 1, 2.  Cannot see sources 3, 4.
Agent B → read sources 3, 4.  Cannot see sources 1, 2.

Pierwsze pytanie pierwszego agenta jest rzeczywiste, ponieważ nie zna odpowiedzi, a odpowiedź drugiego agenta zawiera prawdziwe informacje, których pierwszy nie widział. Zgoda między nimi również ma znaczenie, gdyż obejmuje dwa zbiory dowodów. Sztuczne wprowadzanie informacji nie może tego symulować – to, co trafia do każdego okna kontekstowego, to potwierdza.

Poprawne wiadomości, które wszystkie zawiodły

Pierwsza próba dała sześć wiadomości, które były poprawne, dotyczyły tematu i zawierały odpowiednie zastrzeżenia. Sprawdzenie spójności odrzuciło je wszystkie:

✗ A [answer] does not follow from its evidence (nli=0.03)
     Our sources indicate that AI Agents are specialized, tool-enhanced
     systems leveraging foundation models...

Jednak zdanie to pojawiło się w zeznaniach tego agenta niemal dosłownie. Model inferencji nadal przyznał mu wynik 0,03. Problem leżał w tym, co zostało do niego podane. NLI wymaga jako hipotezy czystej propozycji, natomiast dane wejściowe stanowiły rozmowne sformułowania w stylu „Nasze źródła wskazują, że…” lub „Na podstawie naszych źródeł zaproponujmy, że…”. Taki opis nigdy nie pojawia się w cytowanym tekście źródłowym, dlatego wynik spada do zera.

Wcześniejsze prace nad wydobywaniem wniosków nie napotkały tego problemu, ponieważ chodziło wtedy o proste zdanie zaczerpnięte z artykułu. Dialog jest inny – jego dwaj odbiorcy oczekują różnych rzeczy: agent rozmawiający pragnie konwersacji, natomiast sprawdzający – tekstu o charakterze analitycznym. Rozdzielenie wiadomości na dwa pola rozwiązało ten problem. content trafia do drugiego agenta, natomiast claim to pojedyncze, proste zdanie deklaratywne bez żadnego kontekstu, i to jedyne jest oceniane.

Pole Tekst Implikacja
content Umiarkowana, konwersacyjna wersja stwierdzenia 0.03
claim Proste stwierdzenie, że agenci AI to specjalistyczne systemy wzbogacone o narzędzia 0.93

Model się nie zmienił. Oceniano niewłaściwy ciąg znaków.

Konsensus, do którego nikt nie doszedł

Gdy te sześć wiadomości były odrzucane, system wyświetlił następujący tekst na końcu rozmowy:

🤝 CONSENSUS  (6 messages, 0 questions, 0 concessions)
   AI memory architectures are evolving towards unified context layers...

Żadna wiadomość nie została zaakceptowana, ponieważ każdy wkład nie przeszedł weryfikacji dowodów, a mimo to system ogłosił istnienie pewnego konsensusu gotowego do wklejenia do raportu.

Powodem były problemy z mechanizmem przetwarzania danych. Etap tworzenia konsensusu odczytywał transkrypcję, ale metoda transcript() filtrowała tylko te fragmenty, które zostały zaakceptowane. W rezultacie otrzymano pustą rozmowę, więc system stworzył wniosek na podstawie samych cytatów z źródła i oznaczył go jako coś, co dwóch badaczy uzgodniło.

To najgorszy typ błędu w takim systemie. Nic się nie zawala, nic nie odmawia działania. Wynik jest czytelny, wygląda uporządkowanie i przedstawia fałszywą historię. Inne awarie w projekcie wywoływały hałas, podczas gdy ta została uznana za sukces. Naprawia ją trzy linijki kodu: gdy żadna wiadomość nie przetrwa procesu weryfikacji, wartość converged zostaje ustawiona na fałszywą, a podany jest powód. Głębsza lekcja przetrwa nawet po zastosowaniu poprawki. Stwierdzenia dotyczące procesów wymagają takiej samej weryfikacji jak stwierdzenia o faktach, ponieważ „agenci się zgodzili” opisuje stan rzeczy i wymaga dowodów.

Dyskusje na temat sprzeczności

Odrębna warstwa dyskusji zajmuje się sprzecznościami pomiędzy dwoma źródłami, przy czym każdy agent broni tylko swojej strony na podstawie własnego cytatu. Pierwsze osiem argumentów nie przeszło testu weryfikacji.

Cytat mówcy w ogóle nie wspomina o tym, jak ewoluują systemy pamięci sztucznej inteligencji, ani o żadnym potencjale do współpracy agentów.

Oczywiście nie można tego wywnioskować z samych dowodów przedstawionych przez mówcę, ponieważ opisują one dowody przeciwnika. Odpowiedź była oceniana w oparciu o błędną przesłankę, co stanowi błąd kategorialny w narzędziu weryfikacji. Odpowiedzi i twierdzenia to różne akty mowy, dlatego podlegają różnym testom:

  • Twierdzenie musi wynikać z samego cytatu mówcy i jest mierzone za pomocą NLI.
  • Odpowiedź musi odnosić się do konkretnego twierdzenia przeciwnika i jest mierzona na podstawie pokrycia słów, a nie na podstawie wywodzenia.

Argumenty, które nie zawierają ani uzasadnionego twierdzenia, ani skierowanej odpowiedzi, są nadal odrzucane. Stwierdzenie „twoje dowody nie pokazują X” jest teraz ważnym ruchem, a nie automatyczną porażką.

Tematy są wybierane bez użycia modelu. Każda para wyników przechodzi przez analizę NLI, a pary o wysokiej prawdopodobieństwie sprzeczności stają się przedmiotem debat. Przy progu 0,5 tylko jedna para przeszła test z wynikiem 0,517: jedno stwierdzenie mówiło, że agenci AI to wyspecjalizowane systemy wzbogacone o narzędzia, a drugie, że systemy pamięci zmierzają ku zintegrowanym warstwom kontekstowym. Dotyczą one różnych tematów. Dwa agenci spędzili jeszcze cztery rundy na kłótni, której w rzeczywistości nie było – to właśnie takie sytuacje miała zapobiegać ta warstwa.

Gdy próg został podniesiony do 0,7, warstwa ucichła w tym temacie, nie wykrywając żadnych konfliktów pomiędzy czterema artykułami na temat pamięci agentów. To prawidłowe, ponieważ artykuły te nie są ze sobą sprzeczne. System debatowy, który nie ma o czym debatować, prawidłowo pełni swoją funkcję.

Pola opcjonalne nie istnieją

Nowe pole claim początkowo było opcjonalne, z domyślną wartością "", a model je ignorował. Wszystkie sześć wiadomości wróciło do tekstu konwersacyjnego, co spowodowało regres. Było to czwarte wystąpienie tego samego błędu:

Etap Wybór schematu Wynik
Analiza benchmarku default_factory=list pusty {} nadal był uznawany za prawidłową analizę
Wyniki krytyki pole oznaczone jako required, a mimo to przyjęto pustą ścieżkę około 30% ocen wróciło pustych
Lista z domyślną wartością model wygenerował [] osiem ocen zniknęło
Dialog z claim default="" model to pominął i wszystkie sześć wiadomości zawiodły

Wniosek: pole opcjonalne jest w praktyce zawsze nieobecne. Aby mały model mógł coś wygenerować, schemat musi odrzucić wynik, w którym tego pola brakuje.

Potrzebne były dwa schematy, ponieważ pytanie nie może zawierać twierdzenia, podczas gdy stwierdzenie musi je mieć. Kolejna potrzeba konwersacyjna decyduje o wyborze: Question w momencie zadawania pytania, a Statement w pozostałych przypadkach, przy czym claim i grounded_in są obowiązkowe. Pytanie wygląda tak:

❓ A: Could you provide more details on how multi-agent systems differ
     from single-agent implementations, according to your sources?

A oto kolejna tura odpowiedzi:

✗ B: "Your sources do not directly compare multi-agent systems to
     single-agent implementations."          → rejected (nli=0.051)💡 A: Multi-agent systems often require more sophisticated memory
     architectures and coordination protocols.        (nli=0.985)💡 B: AI memory systems are evolving toward unified context layers for
     efficient cross-agent collaboration.             (nli=0.998)📋 A: [proposes joint conclusion]                     (nli=0.982)
📋 B: [proposes joint conclusion]                     (nli=0.540)🤝 CONSENSUS (6 messages, 1 question, 5 grounded)

Pięć z sześciu wiadomości zostało odrzuconych. To jedno odrzucenie ma wartość pouczającą. Drugi agent próbował opisać źródła pierwszego agenta, których nie może zobaczyć. Sprawdzenie spójności wykryło to, nie dzięki zrozumieniu kwestii epistemologicznych, lecz dlatego, że twierdzenie dotyczące dokumentów jednego agenta nie może wynikać z tych drugiego.

Jedna wcześniejsza próba poszła lepiej. Gdy poproszono o konkretne informacje, których brakowało, drugi agent przyznał, że jego źródła ich nie obejmują, a system poinformował o braku konsensusu wraz z dokładnym powodem: żadne z źródeł nie dostarczyło wymaganych przykładów. To właśnie od początku było celem projektu – agent świadomy tego, czego nie wie. Prośba o pokorę tego nie przyniosła; natomiast uniemożliwienie składania nieudokumentowanych stwierdzeń tak.

Koszt

Jedno rundowanie wymaga 138 wywołań modelu LLM, po około dwóch sekundach każde, na karcie 3060 Ti. Na dialog przypada 7 wywołań, na debatę 5, na syntezę około 12, a reszta idzie na ekstrakcję i krytykę. System działa, ale ograniczeniem stał się budżet, a nie możliwości.

Lekcje

  1. Różnicuj się pod względem informacji. Różne konteksty prowadzą do różnych pytań, natomiast różne instrukcje sprawiają, że ten sam model zachowuje się inaczej.
  2. Rozdzielaj rozmowę od mierzalnych twierdzeń. Jedno pole przeznaczone jest dla drugiego agenta, a drugie dla sprawdzającego – pojedynczy ciąg znaków nie może służyć obu.
  3. Weryfikuj twierdzenia dotyczące procesu. Stwierdzenie „Zgodzili się” wymaga dowodów, a ich brak sprawił, że stało się to najniebezpieczniejszym wynikiem, jaki kiedykolwiek wydał system.
  4. Testuj ataki i stwierdzenia w inny sposób. Ocena „twoje dowody nie pokazują X” w odniesieniu do własnych dowodów mówcy to błąd kategorii.
  5. Przyjmij debatę pustą. Obniżanie standardów aż do momentu, gdy powstanie treść, tworzy jedynie pozór dyskusji.
  6. Uczyń pola obowiązkowe naprawdę obowiązkowymi. Pola opcjonalne po prostu nie powinny istnieć.

Czy cokolwiek z tego przewyższa pojedynczego agenta z narzędziem wyszukiwania, pozostaje niewyznaczone.