Главная / Статьи / Агентство против автономии: разбор двух основных концепций в агентных ИИ

Агентство против автономии: разбор двух основных концепций в агентных ИИ

Узнайте, как с помощью простой умственной модели и примеров отличить способность ИИ-агента к действию (агентность) от его независимости в принятии решений (автономия).

1142 слов

В последнее время все больше внимания уделяется изучению агентных ИИ, и при анализе работы ИИ-агентов возникают два термина, которые на первый взгляд кажутся почти взаимозаменяемыми:

Агентность.

Автономия.

На первый взгляд эти два понятия сливаются друг с другом. Агентность определяется как способность системы действовать, принимать решения и достигать целей. Сразу после этого появляется понятие автономии, которое описывается как способность агента найти способ достижения цели с использованием имеющейся у него информации и ресурсов, без необходимости пошагового руководства со стороны человека.

Именно здесь и возникает путаница. Если агентность уже включает принятие решений и действия, а автономия также связана с принятием решений и действиями, то в чем смысл использования двух отдельных терминов для описания кажущегося одинаковым поведения?

Это недопонимание превратилось в полезный урок, как только были прояснены соответствующие концепции.

Сначала мне нужно было разделить эти два понятия

Решением стало переформулирование каждого термина простым языком.

Что касается агентности, вопрос звучит так:

Может ли система принимать решения и действовать ради достижения цели?

Что касается автономии, вопрос звучит так:

Насколько независимо может система принимать эти решения и выполнять их без участия человека, который бы направлял каждое её действие?

Вот то, чего не хватало. Под агентностью понимается наличие способности к действию и принятию решений. Автономия же касается степени свободы, которой обладает система при реализации этой способности. Как только мы формулируем их в таком ключе, эти два понятия перестают пересекаться и начинают описывать разные аспекты одной и той же системы.

Агент может обладать агентностью без полной автономии

Пример поможет проиллюстрировать это. Предположим, у ИИ-агента появляется цель:

Resolve a customer's payment issue.

Агент оценивает ситуацию и анализирует её:

I should check the payment status.

Затем:

I should retry the failed transaction.

Затем:

I should notify the customer.

Здесь система определяет, какие действия имеют смысл. Этот процесс рассуждений и есть агентность.

Теперь представьте, что тот же агент должен перед каждым действием делать паузу и проверять ситуацию:

Agent:
"I want to check the payment system."
Human:
"Approved."

Затем:

Agent:
"I want to retry the transaction."
Human:
"Approved."

Агент по-прежнему сам решает, что делать дальше. Но человек остается тем, кто утверждает каждый шаг перед его выполнением. Таким образом, у агента есть субъектность, однако его автономия строго ограничена.

Теперь увеличим автономию

Теперь дадим этому же агенту цель вместо списка проверок:

Goal:
Resolve the customer's failed payment.

И позволим ему самостоятельно выполнять весь процесс:

Inspect payment status
        ↓
Identify the problem
        ↓
Choose the appropriate tool
        ↓
Retry the payment
        ↓
Verify the result
        ↓
Notify the customer

Обратите внимание, чего не хватает: нет такой инструкции, как

First do this.
Then do this.
Now call this API.
Now check this.
Now send this.

Была указана только цель. Система самостоятельно определила последовательность действий, используя доступную информацию и ресурсы. В этот момент автономия перестаёт быть абстрактным понятием и становится чем-то, что можно фактически наблюдать.

Настоящий вопрос не только в том:

Может ли эта система принимать решения?

Кроме того:

Сколько человеческого надзора требуется при принятии и выполнении этих решений?

Модель мышления, которую стоит сохранить

После рассмотрения всех этих определений появляется приятно простая модель.

AGENCY
Can I decide and act toward a goal?

И ещё:

AUTONOMY
How independently can I decide and act
without step-by-step human direction?

Вот и всё. Нет необходимости хранить в голове длинное определение.

Агентность → способность.

Автономия → независимость.

Тогда искусственный интеллект-агент выглядит иначе

До достижения этой точки легко представить приложения ИИ в виде простого потока:

User asks something
        ↓
Model generates something
        ↓
User receives response

Но агенты добавляют совершенно новый уровень сложности.

Система может иметь цель.

У неё может быть осознание окружающей среды.

У неё могут быть инструменты и ресурсы, которые она может использовать.

И вместо того, чтобы ей явно указывать каждый промежуточный шаг, она может сама определить, какие действия имеют смысл.

Это меняет представление о том, что на самом деле является агентом:

GOAL
  ↓
Observe available information
  ↓
Decide what to do
  ↓
Use available resources
  ↓
Take action
  ↓
Continue toward the goal

В этой картине агентность и автономия выполняют разные функции.

Агентность заключается в способности системы принимать решения и действовать.

Автономия — это степень независимости, которой она обладает при этом.

Почему это различие важно для инженеров

Одного лишь знания определения редко бывает достаточно. Полезно продолжать задавать вопросы вроде:

«Зачем вообще нужен этот термин?» «В чём он отличается от только что рассмотренного?» «Какую функцию он на самом деле выполняет внутри системы?»

Та же схема наблюдается и при рассмотрении понятий агентности и автономии.

Изначально умственная карта может выглядеть так:

Agency → decision-making
Autonomy → decision-making
???

Как только вы начинаете анализировать, что их разделяет, картина становится такой:

Agency
→ capability to decide and act
Autonomy
→ independence in deciding and acting

Теперь каждое понятие занимает своё отдельное место в умственной модели этих систем.

Это гораздо полезнее, чем просто запоминать два определения в стиле словаря.

Вывод

Самое значительное изменение в понимании происходит, когда мы осознаём, что система не становится автономной сразу же после того, как она обретает способность принимать решения.

На самом деле стоит задать два отдельных вопроса.

Может ли система вообще принимать решения и действовать ради достижения цели?

Это и есть агентность.

А ещё:

Насколько велика её независимость при использовании этой способности, без необходимости постоянного управления со стороны человека?

Это и есть автономия.

Разница между ними тонкая.

Но как только это становится понятно, ИИ с агентностью перестаёт казаться чем-то слишком абстрактным.

Именно это и является самой приятной частью изучения этой области.

Появляется новый термин.

Его оспаривают.

Сравнивают с уже известным.

Проверяют на наличие слабых мест.

И в конечном итоге появляется модель, достаточно простая, чтобы её можно было объяснить кому-то ещё без необходимости обращаться к исходным материалам.

Обычно это и является признаком того, что что-то действительно усвоено.

Агентство указывает, способен ли система принимать решения и действовать. Автономия показывает, насколько независимо она может это делать.

Связанные статьи