Вчимо ШІ розслідувати як експерт: експеримент із деревом дій для діагностики хвороб рослин

Для кращих відповідей ШІ може знадобитися процедура, а не ще один довідник

Мовні моделі вже вміють перетравлювати гори документації, зважувати варіанти й давати пристойні відповіді. Тому, коли у вузькій галузі потрібен кращий результат, рефлекс один: дати моделі ще більше того самого. Більше посібників, більше довідкових матеріалів, більше прикладів, більше контексту.

Але є й другий вид експертного знання, якому приділяють значно менше уваги. Це не те, що експерт знає. Це те, куди експерт дивиться далі, коли відповіді не знає. Невеликий експеримент із хворобами рослин добре показує різницю.

Чому діагностика рослин — не розпізнавання зображень

На перший погляд це задача класифікації. На одному листку плями, другий пожовк, у третього викривлений ріст: назви симптом, назви хворобу.

Професіонали працюють інакше. Той самий симптом може спричинити вірус, грибок, бактерії, комахи, нестача живлення, хімічний опік, водний стрес чи інше пошкодження від середовища. Те, що ви бачите, — лише спостереження. Справжнє завдання — зрозуміти, що може його пояснити і яка перевірка дасть змогу відрізнити ці пояснення одне від одного. У фітопатології для цього давно є надійні методи міркування.

Абдукція і дедукція

Діагностичне міркування охайно ділиться на два види висновку.

Абдукція йде від спостережуваного й питає, які гіпотези могли б його пояснити. Це генерація гіпотез:

Observation
    ↓
Possible explanations
    ↓
H1
H2
H3

Дедукція потім бере кожну гіпотезу й питає, що ще ви маєте побачити, якщо вона правильна:

Hypothesis
    ↓
Expected observation
    ↓
Test / inspection

Усе, що дасть ця перевірка, стає новою інформацією, і цикл починається знову:

Observation
    ↓
Abduction
    ↓
Hypotheses
    ↓
Deduction
    ↓
Next observation or test
    ↓
New observation
    ↓
Update hypotheses

Дуже схоже на те, як працюють сучасні ШІ-агенти: міркують, діють, дивляться на результат, продовжують. Звідси очевидне питання: а що, як явно передати ШІ цей процес розслідування?

Перетворюємо процес на дерево дій

В експерименті діагностичну процедуру перетворили на просте дерево дій (Action Tree). Його фрагмент:

START
 │
 ▼
Is the host sufficiently identified?
 ├─ No → Get host information
 └─ Yes
      │
      ▼
Are symptoms and signs sufficiently observed?
 ├─ No → Observe them
 └─ Yes
      │
      ▼
Is the damage pattern known?
 ├─ No → Examine spatial distribution
 └─ Yes
      │
      ▼
Is the spread over time known?
 ├─ No → Examine time course
 └─ Yes
      │
      ▼
Generate competing hypotheses
      │
      ▼
What observation would distinguish them?
      │
      ▼
Choose the next action

Дерево не замінює міркувань моделі, і модель так само вільно висуває гіпотези. Дерево додає рамку, у якій вирішується, що вже встановлено, що поки невідомо, яких доказів бракує і що перевіряти далі. Вважайте це політикою міркування.

Три конфігурації для одного завдання

Порівнювали три конфігурації. Перша — гола модель, у якої є лише сам випадок:

Case
 ↓
LLM
 ↓
Diagnosis + next action

Друга додає до випадку експертне знання, тобто діагностичні довідкові матеріали:

Case
+
diagnostic reference material
 ↓
LLM

Третя дає моделі те саме знання і на додачу дерево дій:

Case
+
same diagnostic knowledge
+
expert investigation procedure
 ↓
LLM

Важливе саме порівняння другої й третьої. Знання предметної галузі в них по суті однакове. Різниця лише в тому, чи модель отримала тільки знання, чи ще й метод, як ним користуватися.

Перший результат розчарував

Перший випадок був досить простим, і всі впоралися добре. Гола модель, модель з експертним знанням і версія з деревом дій дійшли до загалом розумних діагностичних шляхів. Якщо судити лише за точністю підсумкової відповіді, табло виглядало б так:

Raw AI ≈ Knowledge AI ≈ Action Tree AI

За цією міркою експеримент здавався пустушкою. Але змінилося дещо інше.

Першою зросла перевірюваність

Прогін із деревом дій залишив видимий слід, явну послідовність кроків:

Source observation
      ↓
Decision point
      ↓
YES / NO / UNKNOWN
      ↓
Interpretation
      ↓
Current hypotheses
      ↓
Missing evidence
      ↓
Next action

Тобто можна було вивчати структуру роботи, а не лише відповідь. Окремий крок виглядає так:

Question:
Is the field-level damage pattern known?

Observation:
Symptoms are present on several plants,
but the overall distribution has not been examined.

Decision:
INSUFFICIENT_EVIDENCE

Next action:
Map symptomatic and asymptomatic plants across the field.

На виході був не черговий шмат прози, а ланцюжок рішень, який може перевірити хтось інший. За цим закріпилася назва Verification Spine («хребет перевірки»). Дві системи можуть дійти однієї відповіді, але одну з них набагато простіше перевірити, відтворити й виправити.

Підвищуємо складність міркування

Лінивий спосіб ускладнити випадки — взяти рідкісніші хвороби. Натомість в експерименті підвищували складність міркування, за шістьма рівнями.

Питання перестало звучати як «чи може ШІ відповідати на складніші питання». Воно стало звучати як «як поводиться ШІ, коли міркувати за доказами стає важче».

Як поводилися три конфігурації на різних рівнях

Простої перемоги дерева дій не вийшло.

На легких рівнях усі три дійшли розумної відповіді, а виграш був у структурі й перевірюваності. На середній складності почало важити знання предметної галузі. Відкритим там лишалося питання, чи може явна процедура додатково покращити вибір наступної дії й зменшити кількість передчасних висновків. На верхньому рівні успіхом було вже не знайти відповідь, а побачити, що докази її не підтверджують.

Це вказує на три різні види користі:

L0–L1
Structure and verification
        ↓
L2–L4
Reasoning policy and action selection
        ↓
L5
Graceful degradation

Один результат тримався стабільно від найлегшого рівня до найважчого: дерево дій залишало найчистіший Verification Spine. Навіть коли його підсумкова відповідь збігалася з іншими, воно все одно розкладало ось це:

Observation
    ↓
Decision point
    ↓
Evidence
    ↓
Hypothesis
    ↓
Missing information
    ↓
Next action

Така прозорість може зрештою важити не менше, ніж чиста точність.

Оманливі докази

Один випадок навмисно побудували так, щоб він скидався на вірусну хворобу. Рослини мали вірусоподібні симптоми, а поруч була попелиця. Швидка інтуїтивна реакція виглядає так:

Virus is likely
      ↓
Run a virus test

Це не безглуздий висновок. Він правдоподібний, і саме тому випадок складний.

Першим питанням дерева було, чи хтось зʼясував, як розподілені пошкодження. Ніхто не зʼясував, тож наступним кроком став не дорогий молекулярний тест, а простий погляд на те, як пошкодження розташовані в полі. Нові спостереження:

Almost all affected plants were inside one spray-width.

Different plant species showed similar damage.

The boundary did not expand over the following days.

Тепер картина змінюється. Патоген, що передається, виглядає значно менш переконливо, а абіотична причина на кшталт хімічного опіку піднімається вище. Дерево не дало ШІ додаткового знання. Воно змінило те, що ШІ вирішив перевірити далі, і це, можливо, цінніша здатність.

Знати і зʼясовувати

Звідси корисний поділ. Класичне доповнення знань питає, що знають експерти. Дерево дій питає, як експерти зʼясовують. Це різні активи.

Уявіть фахівця перед складним випадком. Його майстерність — не лише великий запас фактів. Вона містить і такі емпіричні правила:

• Не роби висновків лише за зовнішнім виглядом.
• Спершу перевір просторову картину.
• Це спостереження розділяє дві великі групи причин.
• З дорогим тестом поки зачекай.
• Цей результат виключає одразу кілька гіпотез.
• Доказів недостатньо для рішення.
• Випадок не схожий на відомі патерни, передай його вище.

Це процедурне знання, і більша його частина майже ніколи не записується.

Коли відповідь дізнатися неможливо

Верхній рівень складності підніс ще один сюрприз. Один випадок побудували так, що докази не дозволяли розрізнити дві останні гіпотези. У сценарії не було більше жодного придатного тесту, а жодні хитрі міркування не відновлять інформацію, якої немає. Правильним висновком був зовсім не діагноз:

INSUFFICIENT EVIDENCE (недостатньо доказів)

Це зсуває питання з того, як довго ШІ може й далі давати правильні відповіді, на те, що він робить на межі того, що підтверджують докази. Системи можуть деградувати двома зовсім різними способами. Небезпечний:

Correct
  ↓
Correct
  ↓
Plausible guess
  ↓
Confidently wrong

І гідний:

Correct
  ↓
Uncertain
  ↓
Insufficient evidence
  ↓
Escalate

У реальній професійній роботі гідна деградація може важити не менше, ніж вища точність.

Межа можливостей міркування

Експеримент натякає, що користь від структурованих експертних процедур змінюється разом зі складністю.

Коли задача легка і ШІ вже знає відповідь, виграш — в узгодженості, структурованій інтерпретації, простежуваності й відтворюваності.

Коли складність середня і конкурують кілька правдоподібних шляхів, процедура допомагає уникнути передчасного висновку, помітити відсутні докази, обрати інформативніші дії та перевірити конкурентні гіпотези одну проти одної.

Коли бракує самих доказів, користь у тому, щоб розпізнати межу, тримати невирішені гіпотези відкритими й передавати випадок вище, а не вигадувати відповідь.

Тож питання «чи робить дерево дій ШІ розумнішим» може бути хибним. Краще спитати, як воно зсуває межу можливостей міркування моделі.

Хіба це не стара ідея експертних систем?

Заперечити легко. Якщо ви пишете для ШІ дерева рішень, чи не відтворюєте ви експертні системи на правилах з 1980-х?

Не зовсім. Жорстка експертна система каже щось на кшталт:

IF A AND B
THEN diagnosis = X

Тут робота розділена. Дерево визначає, які питання розглядати, а мовна модель і далі бере на себе складну інтерпретацію брудних спостережень:

Action Tree
→ controls the investigation process

LLM
→ interprets messy observations
→ generates hypotheses
→ recognizes unusual cases

Action Tree
→ checks what remains unresolved
→ guides the next information-gathering action

Дерево обмежує процес, але не диктує відповідь повністю. Таке поєднання працює лише тому, що мовні моделі вміють міркувати над неоднозначними неструктурованими даними так, як старі рушії правил ніколи не могли.

У «більше контексту» є межі

Звична реакція на слабку ШІ-систему — додати контексту. Це й надалі важитиме, але віддача від нагромадження документів може падати.

Інший важіль — те, що організації майже ніколи не записують як дані, а саме те, як досвідчені люди пробираються крізь невизначеність. Що перевіряють першим? Що змушує їх відмовитися від першої гіпотези? Яке дешеве спостереження скорочує простір пошуку вдвічі? Коли вони оголошують докази недостатніми і коли відходять від стандартної процедури та передають випадок вище? Ніщо з цього не простий факт. Це стратегія пошуку.

Краще питання

Початкове питання було в тому, чи може експертне дерево дій змусити ШІ давати кращі відповіді. Експеримент залишив цікавіше: чи може ШІ працювати краще, якщо навчити його того, як експерти зменшують невизначеність?

Працювати краще — це і правильна відповідь, і стабільний шлях до неї, і розкриття ключових рішень, і вибір сильніших наступних дій, і опір спокусливим раннім висновкам, і розуміння, коли доказів просто не вистачає.

Наступний крок прикладного ШІ, можливо, не лише в тому, щоб учити машини того, що знають експерти. Можливо, він у тому, щоб ухопити щось тонше: як експерти зʼясовують.