Чому для налаштування ШІ потрібні перевірювані значення: уроки з Елліота Дамасіо
Нейронаука свідчить про те, що цінності слід тримати окремо від знань. Як соматичні маркери створюють перевірювані, відстежувані та змінювані теги цінностей для безпечніших систем ШІ.
Один пацієнт з літератури з нейронаук заслуговує місця у кожному списку читання щодо налаштування ШІ. Антоніо Дамасіо називає його Елліотом, і саме його випадок лежить в основі книги «Помилка Декарта». Пухлину, яка тиснула на вентромедіальну префронтальну кору, було хірургічно видалено разом із частиною навколишніх тканин. Після цього Елліот показав результати вище середнього у тестах на IQ. Його пам’ять, мовлення, увага, фактичні знання та логічне мислення залишилися недоторканими. Стикаючись із моральною дилемою, він міг більш повно, ніж більшість людей, описати аргументи обох сторін.
Проте його життя розвалилося. Він втратив роботу, потім залишки заощаджень через низку поганих бізнес-рішень, і пройшов через два розлучення. На кожному етапі він міг детально проаналізувати можливості, але щоразу робив погані вибори та нічого не вчився. Елліот не втратив знань — він втратив те, що робить знання корисними у практиці.
Цей випадок яскраво ілюструє те, що намагається виправити концепція „вирівнювання“. Це також попередження, адже галузь за величезні кошти створила системи з протилежним дефіцитом, і майже не існує термінології для його виявлення.
Чотири інженерні запитання
Якщо позбутися риторики, то „вирівнювання“ — це проблема механізму формування цінностей. Вона розділяється на чотири запитання, усі з яких є інженерними:
- Як система передає цінність?
- Як вона застосовує цю цінність у момент прийняття рішення?
- Як люди можуть перевірити, яку цінність було застосовано?
- Як люди можуть виправити цінність, якщо вона неправильна?
„Які значення має зберігати система?“ навмисно відсутнє у тому списку. Це інша проблема — проблема управління та людського судження, яка розглядається ближче до кінця. Саме через плутанину цих двох аспектів дискусії щодо узгодження так часто переходять у філософські розмови, хоча мали б створювати чіткі схеми. То як найкращі сучасні системи відповідають на ці чотири запитання?
Що досягає навчання з підкріпленням на основі людських відгуків та де воно має межі
Навчання з підкріпленням на основі людських відгуків (RLHF) заслуговує на визнання. Воно ефективне. Воно перетворило моделі, які б без проблем створювали все що завгодно, на моделі, які є загальновживаними, спроможними до співпраці та безпечними — у чому не досягла успіху жодна форма первинного навчання. Воно належить до справжніх інженерних досягнень останнього десятиліття, і ті, хто його ігнорує, просто не мали можливості працювати з моделями, створеними до його появи.
Проте спосіб його функціонування має значення.
RLHF бере сигнали людських уподобань та поєднує їх із самими матрицями ваг, які зберігають решту знань моделі. Значення та знання стають одним цілим. Жодний кордон їх не розділяє, ні слабкий, ні прихований. Його просто не існує.
Це приблизно як спроба надати людині кращого судження шляхом зміни структури її кори головного мозку та сподівання, що це принесе результат. Іноді так і відбувається. Але виникають три проблеми:
- Перевірка є неможливою. Не існує способу з’ясувати, що цінує модель. Можна досліджувати її поведінку та робити висновки, що є психологічним експериментом, а не перевіркою.
- Відстеження є неможливим. Коли модель відхиляє запит, схвалює кредит чи позначає заявку, ніхто не може вказати на досвід, який створив таку уподобаність. Походження було знищено під час навчання за задумом.
Amazon дізналася про це на власному досвіді. Починаючи з 2014 року компанія створила модель, яка оцінювала кандидатів на роботу від одної до п’яти зірок, навчаючись на даних їхніх резюме протягом десяти років, отриманих з галузі, де переважали чоловіки. Модель навчилася штрафувати резюме, що містили слово „жіночий“ та назви певних жіночих коледжів. Amazon виявила ці терміни та нейтралізувала їх. Потім, у 2017 році, компанія скасувала цей проект, адже після виправлення помилок, які вона бачила, у неї не було способу довести, що модель не проявляє тієї самої переваги через якийсь інший фактор, про який ніхто не подумав перевірити.
Ця історія і є всією аргументацією. Проблема полягала не в тому, що модель навчилася чомусь неправильному, адже це трапляється з кожною моделлю. Проблема була у тому, що ніхто не міг з’ясувати, що ще вона навчилася, тож ніхто не міг визначити, коли виправлення буде завершене. Це наче гра „відбивники“ у темряві. Роки роботи закінчилися через те, що до цих значень не можна було отримати доступ.
Для чат-бота з рецептами це не має значення. Але для систем, які впливають на рішення щодо кредитів, медичну триажу, розгляд скарг чи будь-що інше, що регулятор може колись вимагати пояснити під присягою, ці три проблеми — це не просто незручності. Вони роблять такий підхід непридатним.
Коли непрозорі значення завдають шкоди справжнім сім’ям
Відкидання певних версій не є абстракцією. З 2005 по 2019 рік нідерландська податкова служба помилково звинуватила близько 26 000 батьків у шахрайстві з допомогою допомоги на догляд за дітьми. Модель самонавчання для класифікації ризиків, яка використовується з 2013 року, брала участь у виборі тих, кого потрібно було позначити як підозрюваних. Одним із її вхідних параметрів було громадянство, що підвищувало оцінки для осіб, які не були громадянами Нідерландів, спричиняло більше розслідувань щодо них та використовувало ці результати для подальшого навчання моделі. Державні службовці, які розглядали справи, позначені як підозрілі, ніколи не отримували пояснень щодо високих оцінок. Amnesty International назвала це ситуацію «чорною дірою відповідальності». Сім’ї втрачали житло, роботу та шлюби, а у січні 2021 року уряд впав.
Механізм має таке ж значення, як і результат. Жоден інженер не вирішив, що „неголландська мова — це більший ризик“ має бути певною цінністю. Вона накопичувалася, залишаючись без імені та нерозбірною, у системі, де цінності та знання існували в одному просторі, а люди, які нею керували, не мали способу її виявити.
Ми схильні сприймати це як природний стан речей, ніби цінності мають бути розпливчастими та нерозбірними. Біологія стверджує протилежне.
Яку роль відіграє емоція у міркуваннях
За поширеною думкою, холодна, схожа на Спока раціональність забезпечує правильні судження, тоді як емоції їх спотворюють. Однак докази вказують на протилежне.
Гіпотеза соматичних маркерів Дамасіо передбачає, що емоційні процеси спрямовують та впливають на рішення, замість того щоб заважати їм. Коли людина переживає певний результат, до нього пов’язується фізично-афективний стан. Пізніше, зустрівши схожий варіант, цей маркер знову активується — іноді як свідоме відчуття, а часто поза усвідомленням — і це впливає на вибір ще до початку роздумів. Бехара та Дамасіо якомога пряміше формулюють це функціональне твердження: правильне, раціональне прийняття рішень залежить від попередньої точної емоційної обробки інформації. Когніція без емоційних сигналів не призводить до нормальної поведінки, навіть коли знання є цілком достатніми.
Саме це демонструє Елліот: повна інформація, відсутність сигналів про цінність, і кожен вибір здійснюється через прямий аналіз витрат та користей без можливості його завершення. Він ніколи по-справжньому не завершував жодного такого аналізу.
Порівняльні дослідження ускладнюють ігнорування цієї ідеї. У моделі, запропонованій Мендлом та Полом, тварина обирає між емоційними варіантами: кожна можлива дія має певну цінність, яка формується на основі почуттів, пов’язаних із попередніми результатами цієї дії в схожих ситуаціях. Андерсон та Адольфс перелічують чотири емоційні примітиви – масштабованість, валентність, стійкість та узагальнення – та фіксують їхню наявність у організмах, які знаходяться далеко від нас, таких як риби та дрозофели.
Еволюція неодноразово та незалежно протягом сотень мільйонів років дійшла до цього дизайну, адже нервова система, яка не може класифікувати досвід як хороший, поганий, дорогий чи небезпечний, змушена щоразу заново обчислювати світ після кожного руху. Еволюція створила механізм передачі цінностей, оскільки жоден ефективний приймач рішень не може обійтися без нього. У галузі ШІ були створені системи з енциклопедичними знаннями, а потім цінності були додані шляхом їхнього інтегрування в ці знання.
Правильний механізм, погана реалізація
Механізм біології є правильним: сигнали цінностей, навчені на основі досвіду, пов’язані з пам’яттю та використовуються під час прийняття рішень. Однак її реалізація є поганою саме з тих причин, які важливі для інженерів:
- Її неможливо перевірити. Ніхто не сприймає власні соматичні маркери як цінності; у кращому випадку виникає лише відчуття.
Якщо поставити ці три фактори поруч із трьома невдачами RLHF, вони збігаються. Ця галузь скопіювала слабкості біології та втратила справжнє архітектурне розуміння. Тож варто зберегти механізм та виправити його реалізацію.
Механізм із доказами
Як тільки проблема сформульована таким чином, процес проектування відбувається майже автоматично. Під час навчання, коли система фіксує певну модель досвіду, до неї додається валентність — це числове значення, зазвичай у діапазоні від -1 до +1, яке зберігається поруч із моделлю, а не об’єднується з нею. Під час прогнозування, коли ця модель збігається з поточним спостереженням, її валентність передається разом із прогнозом та впливає на вибір дії.
Ось і все. Це соматичний маркер, створений за допомогою чисел замість нейрохімії, і наслідки його дії є значно серйознішими, ніж здається:
- Перевіряємо. Ніхто не може прочитати соматичні маркери людини, але такий показник, як рівень безпеки -0.7 за певною навченою схемою, — це просто число у відомому місці. Можна навести повний перелік значень системи та їхньої сили. Жодних досліджень, жодних висновків щодо поведінки, жодних психологічних експериментів.
- Відстежувано. Інтуїція не залишає жодних доказів, тоді як навчена валентність вказує на конкретні спостереження, з яких вона сформувалася, та на те, що відбулося під час кожного з них. Походження зберігається, оскільки ніщо його не знищує.
- Змінювано. Якщо значення неправильне, можна безпосередньо змінити число або ввести контрприклад, щоб середнє значення його поглинуло. Не потрібні додаткові тренування, а несумісні знання залишаються недоторканими. Людям може знадобитися терапія чи новий алгоритм, але тут є простіший вихід.
Уявіть собі систему, яка навчалася на основі потоку подій облікового запису та зберегла наступне:
PTRN|a7f3e91 ["login_new_device", "password_reset", "payee_added", <additional context>]
emotives → fraud_risk: -0.62 urgency: +0.85
provenance → 13 matched occurrences | 9 adverse, 4 benign
recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]
Під час навчання кожне повторення цієї послідовності додавало певну оцінку результату до шаблону: шаблон зберігає те, що сталось, а емоційний компонент — те, як усе закінчилося. Коли потім пряма трансляція подій відповідає цим трьом крокам, шаблон активується, і до прогнозу додається показник ризику шахрайства. Саме цей показник, пов’язаний із цим шаблоном, спонукає систему затримати переказ.
Тепер уявімо, що це значення неправильне. Уявіть собі, що дев’ять із тринадцяти негативних результатів виникли протягом одного тритижневого періоду, коли акція з оновленням пристроїв спонукала багатьох чесних клієнтів пройти саме цю послідовність дій, а відділ боротьби з шахрайством помітив усі випадки. Щоб це виявити, не потрібна жодна теорія щодо внутрішньої структури моделі: достатньо переглянути походження даних та дати, які збираються разом. Щоб це виправити, також не потрібно проводити повторну підготовку моделі. Просто скоригуйте значення для цього шаблону або надайте коригуючі дані, щоб інтервальний аналіз їх опрацював.
Радіус впливу становить один шаблон. Усе інше, що знає система, залишається недоторканим, оскільки спочатку воно не було пов’язане з цим шаблоном.
Розділення цінностей від знань також дозволяє робити те, що неможливо у системах, де вони поєднані. Різні набори цінностей можуть використовувати однакові набуті знання для різних сценаріїв застосування; цінності системи можна порівнювати до та після оновлення, а аудитору можна просто передати список.
Чотири функції емоцій
Пфістер та Бьом стверджують, що емоції виконують чотири окремі функції у процесі прийняття рішень, а не одну, і кожна з них відповідає чомусь, що варто реалізувати:
- Інформація. Приємні та болісні відчуття формують уподобання у живих істот. У програмному забезпеченні позначка на значенні вказує, які наступні дії зазвичай закінчуються успішно, а які — невдачею.
- Швидкість. Люди швидко приймають рішення під тиском часу, уникаючи ретельних роздумів. Машина може використовувати перевірку порогових значень, щоб діяти або відмовитися, не оцінюючи кожну з можливостей.
Відданість, наголошують Пфістер та Бьом, зовсім не пов’язана з задоволенням. Вона належить до моральної та соціальної сфери. Тому добре створений механізм цінностей потребує двох протилежних рушійних сил, а не одного параметра: того, що слід переслідувати, та того, що слід уникати. Намір та захист.
Функціональна реалізація
Механізм був описаний у абстрактному вигляді навмисно, оскільки сам аргумент є достатнім для підтвердження чи спростування. Він також існує у вигляді програмного забезпечення. KATO — це архітектура з відкритим кодом, яка детерміністично вивчає шаблони, а її значення позначаються як емотиви. Вони приєднуються до шаблонів під час навчання та зберігаються в кожному об’єкті прогнозу. Завдяки „роликовому вікну“ останніх середніх значень значення може змінюватися з ростом досвіду, тож жодне окреме спостереження не контролює його. Емотиви бувають двох видів: ті, які система намагається максимізувати, та ті, які вона намагається мінімізувати. Кожен з них — це число, яке можна прочитати, відстежити до відповідних спостережень та змінити.
Ця лінійка не є чимось новим. Попередник KATO, GAIuS, нібито був єдиним алгоритмом машинного навчання, сертифікованим за стандартом FAA DO-178C. Scale не отримав такого сертифікату. Однак рішення, які є пояснюваними, простежуваними та відтворюваними, його отримали, тож детермінізм був умовою входження, а не стилістичним вибором. Очевидні та перевірювані значення також є ключем до цього з тієї ж причини.
Що це не вирішує
Емотивні фактори не вказують, які значення має мати система. Цей механізм не може сказати нікому, яка валентність є правильною для певного шаблону, чия безпека потребує більшої уваги чи де справедливість має поступитися місцем точності. Вибір цих параметрів є специфікацією значень, яку також називають зовнішньою узгодженістю, і це залишається рішенням людей щодо управління.
Змінюється лише видимість. За наявності чітких значень людина мусить записати це значення, а інша — його схвалити. Компроміси більше не є випадковими наслідками процесу анотації без перевірки; вони стають письмовими рішеннями з визначеними відповідальними особами.
Це не є обмеженням цього підходу — це його мета. Узгодженість переходить від надії під час навчання до інженерної характеристики під час роботи, яку можна визначити, протестувати, контролювати та коригувати у вівторок після обіду без використання кластера GPU.
Контроль, а не підйомна сила
Брати Райт не виграли, вирішивши проблему підйомної сили. Глайдери літали вже десятиліттями, а двигуни з’являлися за власним графіком. Вони виграли, вирішивши проблему контролю — способу активного керування тим, що вже могло залишатися у повітрі.
Трансформери можуть літати. Це питання вже вирішене, і час продовжуватиме підтверджувати це. За структурою у них бракує керуючої поверхні – місця, куди можна було б доторкнутися та сказати „це, а не те“, будучи впевненим, що було торкнутися саме потрібного елемента. Запроси сповільнити розвиток штучного інтелекту на кордоні малоймовірно будуть почуті, що робить відсутність керуючої поверхні ще більш актуальною.
Біологія створила таку керуючу поверхню та постійно її вдосконалювала ще до появи хребетних. Інструкції щодо її проектування існують для ознайомлення.
Джерела
- Damasio, Antonio. Descartes' Error: Emotion, Reason and the Human Brain, опубліковано у 1994 році.
- Pfister та Böhm про багатство емоцій, Judgment and Decision Making, том 3, 2008 рік.
- Anderson та Adolphs – концепція для вивчення емоцій у різних видів, Cell, том 157, 2014 рік.