Почему согласование ИИ требует проверяемых значений: уроки из исследований Эллиота Дамасио

Один пациент из литературы по нейронаукам заслуживает места в каждом списке литературы по согласованию ИИ. Антонио Дамасио называет его Эллиотом, и его случай лежит в основе книги «Ошибка Декарта». Опухоль, давившая на вентромедиальную префронтальную кору, была удалена хирургически вместе с частью окружающих тканей. После этого Эллиот показал результаты, превышающие средние по тестам на IQ. Его память, языковые способности, внимание, фактические знания и логическое мышление остались нетронутыми. Столкнувшись с моральной дилеммой, он мог более полно изложить аргументы обеих сторон, чем большинство людей.

Однако его жизнь рухнула. Он потерял работу, затем сбережения из-за серии неудачных деловых решений, и пережил два развода. На каждом этапе он мог детально проанализировать возможные варианты, но каждый раз делал плохой выбор и ничему не учился. Эллиот не потерял знания — он потерял то, что превращает знания в практические действия.

Этот пример как нельзя лучше иллюстрирует, что именно пытается исправить концепция «соответствия». Он также служит предупреждением: отрасль за огромные средства создала системы с противоположным дефицитом, и практически не существует терминологии для его выявления.

Четыре инженерных вопроса

Если отбросить риторику, то проблема соответствия сводится к проблеме механизма ценностей. Она делится на четыре вопроса, все из которых являются инженерными:

1. Как система передает ценность?
2. Как она применяет эту ценность в момент принятия решения?
3. Как люди могут проверить, какую ценность была применена?
4. Как люди могут скорректировать ценность, если она неверна?

Вопрос «Какие значения должна хранить система?» намеренно отсутствует в том списке. Это другая проблема — проблема управления и человеческого суждения, которая рассматривается ближе к концу. Смешивание этих аспектов и приводит к тому, что дискуссии об согласованности так часто сворачиваются к философии, хотя им следовало бы формировать четкие схемы. Так как же лучшие современные системы отвечают на эти четыре вопроса?

Чего достигает обучение с усилением на основе обратной связи от людей и где оно ограничивается

Метод обучения с усилением на основе обратной связи от людей заслуживает признания. Он действительно работает: он превратил модели, способные без разбора генерировать любой контент, в инструменты, которые стали широко полезными, сотрудничающими и безопасными в той мере, в которой это никогда не удавалось достичь с помощью обычного предобучения. Он входит в число настоящих инженерных достижений прошлого десятилетия, и те, кто его отвергает, просто не имели возможности познакомиться с моделями, существовавшими до него.

Однако способ его работы имеет большое значение.

RLHF использует сигналы человеческих предпочтений и интегрирует их в те самые матрицы весов, которые хранят остальные знания модели. Значения и знания становятся единым целым. Между ними нет никакой границы, будь она заметной или скрытой. Её просто не существует.

Это примерно как попытка дать человеку хороший вкус, перепрограммировав его кору головного мозга и надеясь, что это принесёт результат. Иногда так и бывает. Однако возникают три проблемы:

1. Проверка невозможна. Нет способа выяснить, что ценит модель. Можно изучать её поведение и делать выводы, что является психологическим экспериментом, а не проверкой.
2. Отслеживание невозможно. Когда модель отклоняет запрос, одобряет кредит или помечает заявку, никто не может указать на тот опыт, который породил такое предпочтение. Происхождение было уничтожено в процессе обучения по замыслу разработчиков.

Внесение корректировок невозможно. Достаточно найти одну ошибочную ценность — такую как смещение, чрезмерная коррекция или предвзятость, возникшая из-за некачественных данных аннотаторов, — и не существует способа её точечного устранения. Переобучение нарушает всё остальное в процессе.

Amazon узнала об этом на собственном опыте. Начиная с 2014 года компания создала модель, оценивающую кандидатов на работу от одной до пяти звёзд, обучив её на десятилетии собственных резюме, взятых из отрасли, где преобладали мужчины. Модель научилась наказывать резюме, содержащие слово «женский» и названия определённых женских колледжей. Amazon обнаружила эти термины и нейтрализовала их. Затем, в 2017 году, компания отказалась от проекта, поскольку даже после устранения заметных проблем у неё не было способа доказать, что модель не проявляет ту же предвзятость через какой-либо другой фактор, о котором никто не подумал проверить.

Этот анекдот иллюстрирует всю суть проблемы. Проблема заключалась не в том, что модель выучила что-то неправильное — ведь это происходит со всеми моделями. Проблема была в том, что никто не мог выяснить, чего ещё она выучила, и поэтому никто не мог понять, когда были внесены исправления. Это всё равно что играть в «убей крота» без света. Многолетняя работа закончилась лишь потому, что к этим значениям невозможно было получить доступ.

Для чат-бота, предлагающего рецепты, это не проблема. Но для систем, занимающихся принятием кредитных решений, медицинской триажей, рассмотрением претензий или чем-либо ещё, что регулятор может однажды потребовать объяснить под присягой, эти три недостатка — не просто неудобства. Они делают такой подход неприемлемым.

Когда непрозрачные значения вредят настоящим семьям

Исключение из списка не является абстракцией. С 2005 по 2019 год нидерландские налоговые органы ошибочно обвинили примерно 26 000 родителей в мошенничестве с пособием на уход за детьми. Модель самообучающейся классификации рисков, используемая с 2013 года, участвовала в выборе тех, кого отметить. Одним из её входных параметров было гражданство, что повышало оценки для неграждан Нидерландов, приводило к большему количеству расследований в их отношении и напрямую влияло на процесс обучения модели. Государственным служащим, занимающимся проверкой отмеченных случаев, никогда не объясняли, почему оценка высока. Организация «Амнистия International» назвала это ситуацию «черной дырой ответственности». Семьи теряли дома, работу и браки, а правительство пало в январе 2021 года.

Механизм важен не меньше, чем результат. Ни один инженер не решил, что «неголландский язык — это более рискованно» должен считаться ценностью. Это накапливалось, оставаясь безымянным и неразборчивым, в системе, где ценности и знания сосуществовали в одном пространстве, а те, кто ею управлял, не имели способа это обнаружить.

Мы склонны считать это естественным состоянием вещей, как будто ценности должны быть расплывчатыми и неразборчивыми. Биология говорит об обратном.

Роль эмоций в процессе рассуждений

Согласно распространённому мнению, холодная, похожая на Спока рациональность способствует правильным суждениям, в то время как эмоции их портят. Однако доказательства указывают на обратное.

Гипотеза соматических маркеров Дамасио предполагает, что эмоциональные процессы направляют и влияют на принятие решений, а не мешают им. Когда человек сталкивается с определенным исходом, к нему связывается телесно-аффективное состояние. Позже, сталкиваясь с похожим вариантом, этот маркер снова активируется — иногда в виде осознанного предчувствия, а чаще без сознания — и повлияет на выбор ещё до начала обдумывания. Бехара и Дамасио максимально прямо формулируют этот функциональный принцип: качественное, рациональное принятие решений зависит от предварительной точной обработки эмоций. Когнитивные процессы без эмоциональных сигналов не приводят к нормальному поведению даже при полном наличии знаний.

Именно это и демонстрирует Эллиот: полное знание, отсутствие сигналов ценности, и каждый выбор делается путем явного анализа затрат и выгод без возможности прекратить его. Он так и не заканчивал ни одного такого анализа.

Сравнительный анализ затрудняет отказ от этой идеи. В предложенной Мендлом и Полом модели животное выбирает между эмоциональными вариантами: каждое возможное действие имеет определенную ценность, формируемую на основе чувств, связанных с предыдущими результатами этого действия в схожих ситуациях. Андерсон и Адольфс выделяют четыре основных элемента эмоций — масштабируемость, валентность, устойчивость и генерализацию — и наблюдают их проявление у организмов, находящихся на большом расстоянии от нас, таких как рыбы и дрозофилы.

Эволюция неоднократно и независимо приходила к такой структуре на протяжении сотен миллионов лет, поскольку нервная система, неспособная классифицировать опыт как хороший, плохой, дорогостоящий или опасный, вынуждена каждый раз заново анализировать мир. Эволюция создала механизм передачи ценностей, поскольку ни один эффективный принимающий решения не может обойтись без него. В области искусственного интеллекта были разработаны системы с энциклопедическими знаниями, к которым затем привязывались ценности путем их интеграции в эти знания.

Правильный механизм, плохая реализация

Механизм биологии работоспособен: сигналы ценностей формируются на основе опыта, связываются с памятью и используются при принятии решений. Однако его реализация имеет недостатки именно в тех аспектах, которые важны для инженеров:

• Его невозможно проверить. Никто не воспринимает собственные соматические маркеры как ценности; в лучшем случае возникает лишь ощущение.

Его невозможно отследить. Интуиция подсказывает отклонить предложение о работе, а при попытке узнать причину слышен только молчание. Происхождение этого решения теряется без следа.

Его невозможно изменить. Урок, полученный в результате одного плохого опыта в девятнадцать лет, не исчезает по команде. Только с удачей и усилиями со временем он становится менее заметным.

Если поставить эти три момента рядом с тремя примерами неудач RLHF, они полностью совпадают. Эта область переняла слабости биологии, отказавшись от своего истинного архитектурного подхода. Поэтому стоит сохранить механизм и исправить его реализацию.

Механизм с доказательствами

Как только проблема сформулирована в таком виде, дизайн развивается практически автоматически. Во время обучения, когда система фиксирует определенный паттерн опыта, к нему присваивается валентность — числовое значение, обычно находящееся в диапазоне от -1 до +1, которое хранится рядом с паттерном, а не объединяется с ним. Во время прогнозирования, когда этот паттерн совпадает с текущим наблюдением, его валентность передается вместе с прогнозом и влияет на выбор действия.

Всё сводится к этому. Это соматический маркер, созданный с помощью чисел вместо нейрохимии, и последствия его действия оказываются более значительными, чем кажется:

1. Проверяемость. Никто не может прочитать соматические маркеры человека, но такой показатель, как уровень безопасности -0.7 по определенной выученной модели, представляет собой просто число в известном месте. Можно составить полный список значений системы и их степени влияния. Никаких скрытых изысканий, никаких выводов о поведении, никаких психологических экспериментов.
2. Отслеживаемость. Интуиция не оставляет никаких записей, тогда как выученная валентность указывает на конкретные наблюдения, на основе которых она сформировалась, и на то, что происходило при каждом из них. Происхождение сохраняется, поскольку ничто его не уничтожает.
3. Изменяемость. Когда значение не соответствует норме, его можно просто изменить напрямую или ввести контрпример, позволяя среднему значению его учесть. Не требуется дополнительная обучающая процедура, и не связанные с этим знания остаются нетронутыми. Людям может понадобиться терапия или новый алгоритм обработки, но здесь существует более простое решение.

Представьте себе систему, которая обучалась на потоке событий аккаунтов и сохраняла следующее:

PTRN|a7f3e91   ["login_new_device", "password_reset", "payee_added", <additional context>]
   emotives   →  fraud_risk: -0.62   urgency: +0.85
   provenance →  13 matched occurrences | 9 adverse, 4 benign
                 recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]

В процессе обучения каждое вхождение данной последовательности добавляло оценку результата к шаблону: шаблон хранит то, что произошло, а эмоциональный компонент — как всё сложилось. Когда последующий поток событий совпадает с этими тремя шагами, шаблон активируется, и к прогнозу добавляется оценка риска мошенничества. Именно эта цифра, привязанная к шаблону, побуждает систему одобрить перевод средств.

Теперь предположим, что эта ценность неверна. Представьте, что девять из тринадцати негативных результатов произошли в течение одного трехнедельного периода; в это время акция по обновлению устройств заставила многих честных клиентов пройти именно эту последовательность действий, а отдел борьбы с мошенничеством заметил их все. Чтобы это обнаружить, не нужны теории о внутреннем устройстве модели: достаточно просмотреть историю событий и увидеть, что даты сгруппированы вместе. Чтобы это исправить, также не требуется повторной обучающей процедуры. Просто скорректируйте значение для этой закономерности или предоставьте корректирующие данные, позволяя «скользящему окну» их учесть.

Радиус воздействия составляет одну закономерность. Все остальное, что знает система, остается нетронутым, поскольку изначально оно не было связано с этой закономерностью.

Разделение ценностей и знаний также позволяет делать то, что невозможно в совмещенных системах. Разные наборы ценностей могут использоваться с одинаковыми полученными знаниями для разных сценариев применения, ценности системы можно сравнивать до и после обновления, а аудитору достаточно просто передать список.

Четыре функции эмоций

Пфистер и Бём утверждают, что эмоции выполняют четыре отдельные функции в процессе принятия решений, а не одну, и каждая из них соответствует чему-то, что стоит реализовать:

• Информация. Удовольствие и боль формируют предпочтения у живых существ. В программном обеспечении метка, присвоенная ценности, указывает, какие последующие действия обычно заканчиваются успешно, а какие — неудачно.
• Скорость. Люди быстро принимают решения под давлением времени, избегая тщательных размышлений. Машина может использовать проверку пороговых значений, чтобы действовать или отклонить вариант, не оценивая каждый из кандидатов.

Актуальность. Эмоции направляют внимание на то, что важно для принятия текущего решения. В программном обеспечении значения служат сигналом для определения приоритетов среди конкурирующих вариантов.

Приверженность. Люди заранее принимают решения по морально значимым вопросам, сопротивляясь мгновенному эгоизму. В системе это означает наличие строгих ограничений, таких как отклонение любого варианта с уровнем безопасности ниже 0,5, которые не пересматриваются при каждом прохождении.

По словам Пфистера и Бёма, приверженность совсем не связана с удовольствием. Она относится к моральной и социальной сфере. Поэтому хорошо спроектированный механизм ценностей требует двух противоположных стимулов, а не одного регулятора: того, чего следует стремиться достичь, и того, чего следует избегать. Намерение и защита.

Рабочая реализация

Механизм был описан в абстрактной форме намеренно, поскольку сам по себе он является основанием для выводов. Он также существует в виде работающего программного обеспечения. KATO — это архитектура с открытым исходным кодом, которая детерминистично изучает шаблоны; её значимые метки называются эмотивами. Они присваиваются шаблонам в процессе обучения и хранятся внутри каждого объекта прогноза. Использование «скользящего окна» недавних средних значений позволяет значениям изменяться по мере накопления опыта, так что ни одно отдельное наблюдение не может ими управлять. Существуют два вида эмотивов: те, которые система стремится максимизировать, и те, которые она стремится минимизировать. Каждый из них представляет собой число, которое можно прочитать, отследить до соответствующих наблюдений и изменить.

Эта концепция не является чем-то новым. Предшественник KATO, GAIuS, как сообщается, был единственным алгоритмом машинного обучения, получившим сертификацию FAA DO-178C. Scale такой сертификации не получил. Однако решения, которые можно объяснить, отследить и воспроизвести, действительно получили её, поэтому детерминизм был не стилистическим выбором, а условием для участия. Аналогичная ситуация с явными и проверяемыми значениями.

Что это не решает

Эмотивные критерии не указывают, какие значения должна иметь система. Этот механизм не может сказать никому, какова правильная оценка для того или иного паттерна, чья безопасность требует повышенного внимания или где справедливость должна уступить место точности. Выбор этих параметров — это определение ценностей, также называемое внешним согласованием, и это по-прежнему остается решением людей, отвечающих за управление.

Изменяется лишь видимость информации. При использовании явных значений человек должен записать их, а кто-то ещё должен их одобрить. Компромиссы больше не являются случайными побочными продуктами процесса аннотации без проверки. Они превращаются в письменные решения с определёнными ответственными.

Это не ограничение данного подхода — это его цель. Согласованность переходит от надежды на этапе обучения к инженерному параметру во время выполнения программы, который можно определить, протестировать, отслеживать и корректировать во вторник днём без использования кластера GPU.

Управление, а не подъёмная сила

Братья Райт не победили, решив проблему подъёмной силы. Планеры летали уже десятилетиями, а двигатели появлялись в своё время. Они победили, решив проблему управления — способа активно направлять то, что уже могло оставаться в воздухе.

Трансформеры могут летать. Этот вопрос уже решён, и время будет продолжать подтверждать это. У них с точки зрения структуры отсутствует управляющая поверхность — место, куда можно было бы дотянуться и сказать «это, а не то», будучи уверенным, что было затронуто именно то, что нужно. Призывы замедлить развитие искусственного интеллекта вряд ли будут прислушаны, что делает отсутствие управляющей поверхности ещё более актуальным.

Биология создала такую структуру и с тех пор, ещё до появления позвоночных, продолжала совершенствовать её. Инструкции по её проектированию существуют для ознакомления.

Источники

• Дамасио, Антонио. Ошибка Декарта: эмоции, разум и человеческий мозг, опубликовано в 1994 году.
• Пфистер и Бём о множественности эмоций, «Суждение и принятие решений», том 3, 2008 год.
• Андерсон и Адольфс, модель для изучения эмоций у разных видов, «Cell», том 157, 2014 год.

Бешара и Дамасио о гипотезе соматических маркеров, Games and Economic Behavior, том 52, 2005 г.

Мендл и Пол об эмоциях у животных и процессе принятия решений, Neuroscience and Biobehavioral Reviews, том 112, 2020 г.