Головна / Статті

Створення двох локальних агентів LLM для дебатів: обґрунтування, фальшивий консенсус, помилки схеми.

Два місцеві агенти LLM на Ollama, створені для дебатів на основі доказів, а не персонажів: підтримка NLI, помилка фальшивого консенсусу, перевірки атак та тверджень, а також обов’язкові поля.

Видавець: REACTAPP.TOP7 хв читання1697 слів

Джерела: Two agents talking, and how to tell whether the conversation is real

Цей експеримент, який виконується на одній картці RTX 3060 Ti (8 ГБ) із моделлю qwen2.5:7b у середовищі Ollama, ставить питання про те, чи можуть два локальні агенти вести корисний діалог та як це можна визначити. Він ґрунтується на попередньому висновку: дві інстанції однієї моделі — це не дві різні думки. Критик, який поділився з дослідником вагами, початковими припущеннями та способами збоїв, без проблем схвалив галюцинації дослідника.

Проте спроба створити діалог між двома агентами варта зусиль, адже цей висновок щось проігнорував. Дві копії однієї моделі не можуть відрізнятися у судженнях, але можуть розійтися у фактах, якщо кожна має іншу інформацію.

Різниця через інформацію, а не через особистість

Звичайний спосіб зробити агентів різними — це надати їм персонажів: бути оптимістом, бути скептиком, бути тим, хто пропонує, бути критиком. Ефект вже був виміряний. Коли критика просили бути скептиком, її поведінка з схвалення всіх 13 результатів змінилася на позначення проблем у всіх 5 випадках, що є однаковою поведінкою під іншою назвою.

Отже, асиметрія мусить бути структурною:

Agent A → read sources 1, 2.  Cannot see sources 3, 4.
Agent B → read sources 3, 4.  Cannot see sources 1, 2.

Зараз запит першого агента є справжнім, оскільки він не знає відповіді, а відповідь другого агента містить справжню інформацію, якої перший не бачив. Узгодженість між ними також має значення, адже вона охоплює два набори доказів. Стимулювання не може цього підробити — те, що потрапляє до кожного вікна контексту, забезпечує це.

Плавні повідомлення, які всі провалилися

Під час першої спроби було створено шість повідомлень, які були плавними, на тему та належним чином узгодженими. Однак перевірка на відповідність реальності відхилила кожне з них:

✗ A [answer] does not follow from its evidence (nli=0.03)
     Our sources indicate that AI Agents are specialized, tool-enhanced
     systems leveraging foundation models...

Проте це речення з’явилося у свідченнях того агента майже дослівно. Модель визначення змісту все одно присвоїла йому оцінку 0,03. Проблема полягала у тому, що їй надавали. NLI вимагає як гіпотезу чистого твердження, тоді як вхідним даним були розмовні формулювання на кшталт „Наші джерела свідчать про те, що...“ або „Виходячи з наших джерел, запропонуймо...“. Ці оболонки ніколи не зустрічаються у наведених джерелах, тому оцінка різко падає.

Попередні дослідження з вилучення висновків не стикалися з цією проблемою, оскільки там йшлося про просте речення, взяте зі статті. Діалог — це інше. Його два учасники хочуть протилежного: один агент прагне розмови, а інший — клінічного тексту. Розділення повідомлення на два поля вирішило цю проблему. content надсилається іншому агенту. claim — це єдине просте декларативне речення без будь-якої оболонки, і саме його оцінюють.

Поле Текст Ступінь відповідності
content умеренна, розмовна версія тези 0.03
claim просте твердження про те, що штучні інтелектуальні агенти є спеціалізованими системами з використанням інструментів 0.93

Модель не змінилась. Оцінювалась неправильна строка.

Консенсус, якого ніхто не досяг

Поки ці шість повідомлень відхилялися, система вивела це наприкінці розмови:

🤝 CONSENSUS  (6 messages, 0 questions, 0 concessions)
   AI memory architectures are evolving towards unified context layers...

Жодне повідомлення не було прийняте, оскільки кожен внесок не пройшов перевірку на наявність доказів, проте система все одно оголосила про наявність узгодженої думки, готової до вставки у звіт.

Причина полягала у проблемах з системою обробки даних. Крок формування узгодженої думки читав транскрипцію, але метод transcript() фільтрував лише ті фрагменти, які мали підтвердження. У результаті отримувалась порожня розмова; система формувала висновок лише на основі цитат з джерела та позначала його як щось, що підтверджене двома дослідниками.

Це найгірший тип помилок у такій системі. Ніщо не збивається з роботи, і ніщо не відмовляє. Результат виглядає добре, охайно та містить хибну інформацію про минуле. Інші збої в проекті створювали шум, тоді як цей пройшов як успіх. Його можна виправити трьома рядками: якщо після перевірки не залишається жодного повідомлення, значення converged змушують стати хибним, і виводиться причина. Глибший урок залишається довше, ніж патч. Твердження щодо процесів потребують такої ж перевірки, як і твердження щодо фактів, адже фраза „агенти погодилися“ описує світ та потребує доказів.

Дискусії щодо суперечностей

Окремий рівень дискусій стосується суперечностей між двома джерелами, причому кожен агент захищає лише свою сторону на основі власних цитат. Усі перші вісім аргументів провалили перевірку на обґрунтованість.

У цитаті спікера не згадується, як розвиваються системи пам’яті ШІ, чи існує можливість співпраці агентів.

Очевидно, що це не може випливати з власних доказів спікера, адже вони описують докази опонента. Спростування оцінюється на основі неправильної передумови, що є категорійною помилкою в алгоритмі перевірки. Спростування та твердження є різними мовними актами, тому для них використовуються різні критерії оцінки:

  • Твердження має випливати з власної цитати спікера, що оцінюється за допомогою NLI.
  • Спростування має стосуватися конкретного твердження опонента, що оцінюється за кількістю спільних слів, а не за принципом випливання.

Аргументи, які не містять ні обґрунтованого твердження, ні цілеспрямованого спростування, все одно відкидаються. Фраза «Ваші докази не показують X» тепер є допустимим кроком, а не ознакою автоматичної невдачі.

Теми обираються без використання моделі. Кожна пара результатів проходить перевірку за допомогою NLI, а пари з високою ймовірністю суперечки стають предметом дебатів. При пороговому значенні 0,5 одна пара пройшла перевірку з результатом 0,517: один з результатів стосувався того, що штучні інтелектуальні агенти є спеціалізованими системами, покращеними за допомогою інструментів, а інший — того, що системи пам’яті рухаються у напрямку уніфікованих рівнів контексту. Це стосується різних тем. Два агенти все ще провели чотири раунди у суперечці, якої насправді не існувало, що є саме тим сценарієм, якого мав запобігти цей рівень.

Коли порогове значення підвищили до 0,7, цей рівень замовк щодо цієї теми, не виявивши жодних суперечок серед чотирьох статей про пам’ять агентів. Це правильно, адже статті не суперечать одна одній. Система дебатів, у якої немає предмета для дискусії, виконує свою функцію.

Неіснуючі додаткові поля

Нове поле claim спочатку було необов’язковим із значенням за замовчуванням "", і модель його ігнорувала. Усі шість повідомлень перейшли на звичайний текст розмови, що призвело до погіршення результатів. Це вже четвертий випадок однієї й тієї самої помилки:

Етап Вибір схеми Результат
Аналіз бази даних default_factory=list порожнє {} все одно вважалося коректним результатом аналізу
Виведення критики поле позначене як required, проте приймалася порожня стрічка близько 30% критик було повернуто порожніми
Список із значенням за замовчуванням модель генерувала [] вісім критик зникли
Поле claim у діалозі default="" модель проігнорувала його, і всі шість повідомлень зазнали невдачі

Висновок: необов’язкове поле фактично відсутнє щоразу. Щоб невелика модель щось створила, схема мусить відхиляти результати, у яких воно відсутнє.

Потрібні були дві схеми, тому що запит не може містити твердження, тоді як твердження мусить його містити. Наступна потреба у розмові визначає вибір: Question — коли потрібно поставити запитання, а Statement — в інших випадках, причому claim та grounded_in є обов’язковими. Запитання виглядає так:

❓ A: Could you provide more details on how multi-agent systems differ
     from single-agent implementations, according to your sources?

І ось черга відповідей:

✗ B: "Your sources do not directly compare multi-agent systems to
     single-agent implementations."          → rejected (nli=0.051)💡 A: Multi-agent systems often require more sophisticated memory
     architectures and coordination protocols.        (nli=0.985)💡 B: AI memory systems are evolving toward unified context layers for
     efficient cross-agent collaboration.             (nli=0.998)📋 A: [proposes joint conclusion]                     (nli=0.982)
📋 B: [proposes joint conclusion]                     (nli=0.540)🤝 CONSENSUS (6 messages, 1 question, 5 grounded)

П’ять із шести повідомлень були відхилені. Одне відхилення є корисним для навчання. Другий агент намагався описати джерела першого агента, які той не може бачити. Перевірка на наявність підстав виявила це, не завдяки розумінню епістеміки, а тому, що твердження щодо документів одного агента не може бути виведене з документів іншого.

Одна попередня спроба пройшла краще. Коли було запитано про конкретику, якої не вистачало, другий агент визнав, що його джерела не охоплюють це, і система повідомила про відсутність консенсусу разом із точною причиною: жодне з джерел не надало запитаних прикладів. Саме цього від самого початку прагнула концепція — агент, який усвідомлює, чого не знає. Запит на скромність цього не досяг, тоді як змушення робити непідтверджені твердження це зробило.

Витрати

Одна ітерація вимагає 138 викликів LLM приблизно по два секунди кожен на картці 3060 Ti. На діалог йде 7 викликів, на дебати — 5, на синтез — близько 12, а решта припадає на екстракцію та критику. Система працює, але обмеженням став бюджет, а не її можливості.

Уроки

  1. Різниця у інформації. Різні контексти породжують різні запитання, тоді як різні інструкції змушують одну й ту саму модель діяти по-різному.
  2. Розділяйте розмову від вимірюваних тверджень. Одне поле призначене для іншого агента, а інше — для перевіряючого; один рядок не може виконувати обидві функції.
  3. Перевіряйте твердження про процес. Фраза „Вони погодилися“ потребує доказів, і їх відсутність зробила цей результат найнебезпечнішим, який коли-небудь створювала система.
  • Тестуйте атаки та твердження по-різному. Оцінка фрази „ваши докази не показують X“ на основі власних доказів спікера є помилкою категорії.
  • Прийміть порожню дискусію. Зниження стандартів до рівня, який змушує створювати контент, перетворює все на театральність.
  • Зробіть обов’язковими ті поля, які мають бути обов’язковими. Додаткові поля просто не існують.
  • Чи краще це за одного агента з інструментом пошуку, залишається невиміреним.