Учим ИИ расследовать как эксперт: эксперимент с деревом действий для диагностики болезней растений

Для лучших ответов ИИ может понадобиться процедура, а не ещё один справочник

Языковые модели уже умеют перемалывать горы документации, взвешивать варианты и давать приличные ответы. Поэтому, когда в узкой области нужен результат получше, рефлекс один: дать модели ещё больше того же. Больше руководств, больше справочных материалов, больше примеров, больше контекста.

Но есть и второй вид экспертного знания, которому уделяют куда меньше внимания. Это не то, что эксперт знает. Это то, куда эксперт смотрит дальше, когда ответа он не знает. Небольшой эксперимент с болезнями растений хорошо показывает разницу.

Почему диагностика растений — не распознавание изображений

На первый взгляд это задача классификации. На одном листе пятна, другой пожелтел, у третьего искривлён рост: назови симптом, назови болезнь.

Профессионалы работают иначе. Один и тот же симптом может дать вирус, грибок, бактерии, насекомые, нехватка питания, химический ожог, водный стресс или другое повреждение от среды. То, что вы видите, — лишь наблюдение. Настоящая задача — понять, что может его объяснить и какая проверка позволит отличить эти объяснения друг от друга. В фитопатологии для этого давно есть надёжные методы рассуждения.

Абдукция и дедукция

Диагностическое рассуждение аккуратно делится на два вида вывода.

Абдукция идёт от наблюдаемого и спрашивает, какие гипотезы могли бы его объяснить. Это генерация гипотез:

Observation
    ↓
Possible explanations
    ↓
H1
H2
H3

Дедукция затем берёт каждую гипотезу и спрашивает, что ещё вы должны увидеть, если она верна:

Hypothesis
    ↓
Expected observation
    ↓
Test / inspection

Всё, что даст эта проверка, становится новой информацией, и цикл начинается заново:

Observation
    ↓
Abduction
    ↓
Hypotheses
    ↓
Deduction
    ↓
Next observation or test
    ↓
New observation
    ↓
Update hypotheses

Очень похоже на то, как работают современные ИИ-агенты: рассуждают, действуют, смотрят на результат, продолжают. Отсюда очевидный вопрос: а что, если явно передать ИИ этот процесс расследования?

Превращаем процесс в дерево действий

В эксперименте диагностическую процедуру превратили в простое дерево действий (Action Tree). Его фрагмент:

START
 │
 ▼
Is the host sufficiently identified?
 ├─ No → Get host information
 └─ Yes
      │
      ▼
Are symptoms and signs sufficiently observed?
 ├─ No → Observe them
 └─ Yes
      │
      ▼
Is the damage pattern known?
 ├─ No → Examine spatial distribution
 └─ Yes
      │
      ▼
Is the spread over time known?
 ├─ No → Examine time course
 └─ Yes
      │
      ▼
Generate competing hypotheses
      │
      ▼
What observation would distinguish them?
      │
      ▼
Choose the next action

Дерево не заменяет рассуждения модели, и модель по-прежнему свободно выдвигает гипотезы. Дерево добавляет рамку, в которой решается, что уже установлено, что пока неизвестно, каких свидетельств не хватает и что проверять дальше. Считайте это политикой рассуждения.

Три конфигурации для одной задачи

Сравнивали три конфигурации. Первая — голая модель, у которой есть только сам случай:

Case
 ↓
LLM
 ↓
Diagnosis + next action

Вторая добавляет к случаю экспертное знание, то есть диагностические справочные материалы:

Case
+
diagnostic reference material
 ↓
LLM

Третья даёт модели то же знание и вдобавок дерево действий:

Case
+
same diagnostic knowledge
+
expert investigation procedure
 ↓
LLM

Важно сравнение второй и третьей. Знание предметной области у них по сути одинаковое. Разница только в том, получила ли модель одно знание или ещё и метод, как им пользоваться.

Первый результат разочаровал

Первый случай был довольно простым, и все справились хорошо. Голая модель, модель с экспертным знанием и версия с деревом действий пришли к в целом разумным диагностическим путям. Если судить только по точности итогового ответа, табло выглядело бы так:

Raw AI ≈ Knowledge AI ≈ Action Tree AI

По этой мерке эксперимент выглядел пустышкой. Но изменилось кое-что другое.

Первой выросла проверяемость

Прогон с деревом действий оставил видимый след, явную последовательность шагов:

Source observation
      ↓
Decision point
      ↓
YES / NO / UNKNOWN
      ↓
Interpretation
      ↓
Current hypotheses
      ↓
Missing evidence
      ↓
Next action

Это значит, что можно было изучать структуру работы, а не только ответ. Отдельный шаг выглядит так:

Question:
Is the field-level damage pattern known?

Observation:
Symptoms are present on several plants,
but the overall distribution has not been examined.

Decision:
INSUFFICIENT_EVIDENCE

Next action:
Map symptomatic and asymptomatic plants across the field.

На выходе был не очередной кусок прозы, а цепочка решений, которую может проверить кто-то другой. За этим закрепилось название Verification Spine («хребет проверки»). Две системы могут прийти к одному ответу, но одну из них гораздо проще проверить, воспроизвести и исправить.

Повышаем сложность рассуждения

Ленивый способ усложнить случаи — взять болезни пореже. Вместо этого в эксперименте повышали сложность рассуждения, по шести уровням.

Вопрос перестал звучать как «может ли ИИ отвечать на более трудные вопросы». Он стал звучать как «как ведёт себя ИИ, когда рассуждать по свидетельствам становится труднее».

Как вели себя три конфигурации на разных уровнях

Простой победы дерева действий не получилось.

На лёгких уровнях все три пришли к разумному ответу, а выигрыш был в структуре и проверяемости. На средней сложности начало сказываться знание предметной области. Открытым там оставался вопрос, может ли явная процедура дополнительно улучшить выбор следующего действия и снизить число преждевременных выводов. На верхнем уровне успехом было уже не найти ответ, а увидеть, что свидетельства его не подтверждают.

Это указывает на три разных вида пользы:

L0–L1
Structure and verification
        ↓
L2–L4
Reasoning policy and action selection
        ↓
L5
Graceful degradation

Один результат держался стабильно от самого лёгкого уровня до самого трудного: дерево действий оставляло самый чистый Verification Spine. Даже когда его итоговый ответ совпадал с остальными, оно всё равно раскладывало вот это:

Observation
    ↓
Decision point
    ↓
Evidence
    ↓
Hypothesis
    ↓
Missing information
    ↓
Next action

Такая прозрачность может в итоге значить не меньше, чем чистая точность.

Обманчивые свидетельства

Один случай специально построили так, чтобы он выглядел как вирусная болезнь. У растений были вирусоподобные симптомы, а рядом — тля. Быстрая интуитивная реакция выглядит так:

Virus is likely
      ↓
Run a virus test

Это не нелепый вывод. Он правдоподобен, и именно поэтому случай трудный.

Первым вопросом дерева было, выяснил ли кто-нибудь, как распределены повреждения. Никто не выяснил, поэтому следующим шагом стал не дорогой молекулярный тест, а простой взгляд на то, как повреждения расположены в поле. Новые наблюдения:

Almost all affected plants were inside one spray-width.

Different plant species showed similar damage.

The boundary did not expand over the following days.

Теперь картина меняется. Передающийся патоген выглядит куда менее убедительно, а абиотическая причина вроде химического ожога поднимается выше. Дерево не дало ИИ дополнительного знания. Оно изменило то, что ИИ решил проверить дальше, и это, возможно, более ценная способность.

Знать и выяснять

Отсюда полезное разделение. Классическое пополнение знаний спрашивает, что знают эксперты. Дерево действий спрашивает, как эксперты выясняют. Это разные активы.

Представьте специалиста перед трудным случаем. Его мастерство — не только большой запас фактов. Оно включает и такие эмпирические правила:

• Не делай выводов по одному внешнему виду.
• Сначала проверь пространственную картину.
• Это наблюдение разделяет две большие группы причин.
• С дорогим тестом пока подожди.
• Этот результат исключает сразу несколько гипотез.
• Свидетельств недостаточно для решения.
• Случай не похож на известные паттерны, передай его выше.

Это процедурное знание, и большая его часть почти никогда не записывается.

Когда ответ узнать нельзя

Верхний уровень сложности преподнёс ещё один сюрприз. Один случай построили так, что свидетельства не позволяли различить две последние гипотезы. В сценарии не было больше ни одного пригодного теста, а никакие хитрые рассуждения не восстановят информацию, которой нет. Правильным выводом был вовсе не диагноз:

INSUFFICIENT EVIDENCE (недостаточно свидетельств)

Это сдвигает вопрос с того, как долго ИИ может продолжать давать верные ответы, на то, что он делает на границе того, что подтверждают свидетельства. Системы могут деградировать двумя совсем разными способами. Опасный:

Correct
  ↓
Correct
  ↓
Plausible guess
  ↓
Confidently wrong

И достойный:

Correct
  ↓
Uncertain
  ↓
Insufficient evidence
  ↓
Escalate

В реальной профессиональной работе достойная деградация может значить не меньше, чем более высокая точность.

Граница возможностей рассуждения

Эксперимент намекает, что польза от структурированных экспертных процедур меняется вместе со сложностью.

Когда задача лёгкая и ИИ уже знает ответ, выигрыш — в согласованности, структурированной интерпретации, прослеживаемости и воспроизводимости.

Когда сложность средняя и конкурируют несколько правдоподобных путей, процедура помогает избежать преждевременного вывода, заметить недостающие свидетельства, выбрать более информативные действия и проверить конкурирующие гипотезы друг против друга.

Когда не хватает самих свидетельств, польза в том, чтобы распознать предел, держать нерешённые гипотезы открытыми и передавать случай выше, а не выдумывать ответ.

Так что вопрос «делает ли дерево действий ИИ умнее» может быть неверным. Лучше спросить, как оно сдвигает границу возможностей рассуждения модели.

Это не та же старая идея экспертных систем?

Возразить легко. Если вы пишете для ИИ деревья решений, не воссоздаёте ли вы экспертные системы на правилах из 1980-х?

Не совсем. Жёсткая экспертная система говорит что-то вроде:

IF A AND B
THEN diagnosis = X

Здесь работа разделена. Дерево определяет, какие вопросы рассматривать, а языковая модель по-прежнему берёт на себя трудную интерпретацию грязных наблюдений:

Action Tree
→ controls the investigation process

LLM
→ interprets messy observations
→ generates hypotheses
→ recognizes unusual cases

Action Tree
→ checks what remains unresolved
→ guides the next information-gathering action

Дерево ограничивает процесс, но не диктует ответ целиком. Такое сочетание работает только потому, что языковые модели умеют рассуждать над неоднозначными неструктурированными данными так, как старые движки правил никогда не могли.

У «больше контекста» есть пределы

Обычная реакция на слабую ИИ-систему — добавить контекста. Это останется важным, но отдача от наваливания документов может падать.

Другой рычаг — то, что организации почти никогда не записывают как данные, а именно то, как опытные люди пробираются через неопределённость. Что проверяют первым? Что заставляет их отказаться от первой гипотезы? Какое дешёвое наблюдение сокращает пространство поиска вдвое? Когда они объявляют свидетельства недостаточными и когда уходят от стандартной процедуры и передают случай выше? Ничто из этого не простой факт. Это стратегия поиска.

Вопрос получше

Исходный вопрос был в том, может ли экспертное дерево действий заставить ИИ давать лучшие ответы. Эксперимент оставил вопрос интереснее: может ли ИИ работать лучше, если научить его тому, как эксперты снижают неопределённость?

Работать лучше — это и правильный ответ, и стабильный путь к нему, и раскрытие ключевых решений, и выбор более сильных следующих действий, и сопротивление соблазнительным ранним выводам, и понимание, когда свидетельств просто не хватает.

Следующий шаг прикладного ИИ, возможно, не только в том, чтобы учить машины тому, что знают эксперты. Возможно, он в том, чтобы уловить нечто более тонкое: как эксперты выясняют.