Чаму альянс AI патрабуе перакладзенныя значэння: урокі з кнігі Дамасіа «Элліот»
Нейронаука практыкуе, што цянінні следзь утримваць окольна ад знанняў. Как соматычныя маркеры ствараюць перакладзальныя, відстэйліваныя, можна зменяць цянінневыя тагі для болей безпечных систем AI.
Адзін паціѐнт з літаратуры па нейраспектакты заслуговае на месца ў кожным спісе матэрыялу пра супараднаванне ШІ. Антаніо Дамасіо называе яго Элліотам, а яго гісторія стала адной з аснов кнігі «Памылка Декарта». Уражэнне, якое чыніла пухліна на вентромедыяльнай прэфронтальной корцэксе, было хірургічна адчынена, і частка суседніх тканей таксама была адчынена. Пасля чаго Элліот пасягаў вышэй за сярэдній рэгламент у тэстах на IQ. Яго памяць, мова, увага, фактычныя знанні і логічна разумоўка засталіся недаражанымі. Калі яго ставілі перед моральным дылемай, ён могаў болей дакладна, чым большасць людзей, пераказаць аргументы з обох бакоў.
Аднак яго жыццё рухнула. Ён апынуўся без работы, а пасля — і без заўсёдышчаў унаследкі няўдалых бізнес-рашэнняў, і перазнаў два розлучэння. На кожным кроці ён могаў дакладна аналізаваць варыянты, але ў кожны раз выбіраў няўдала і нічога не выучыў. Элліот не апынуўся без знанняў. Ён апынуўся без таго, што робіць знанні практычнымі.
Эты прыклад яскравая дэманстрацыя таго, што намагаецца выправіць «супрацоўка». Ён таксама ёсць паведамленням пра апасцярожнасць, адколькі галузь за вельмі вялікія затраты створыла системы, якія маюць працоўную недастатковасць, і практычна не існуе тэрмінаў для ўсведамлення гэтага.
Чатыры інжынерныя запитанні
Якшчы адмахнуцца ад рэторіки, «супрацоўка» — это проблема механізма цэннасей. Яна складаецца з чатырох запитанняў, усе якія ёсць інжынернымі:
- Як система перадае цэннась?
- Як яна застосоўвае гэтую цэннась у момент прыняцця рашэння?
- Як людзі можаць пераканацца, яку цэннась была застосавана?
- Як людзі можаць выправіць цэннась, калі яна некоректная?
У тым списку спецыяльна не павінна быць прыўязаная фраза «Какія значэнні павінна зберагчы система?». Це адзін з іншых проблем — прыбліжна да канца. Спамешчэнне эйх двух прычына, чаму дыялогі па кантролю так часта ператвараюцца ў філасофскія дыскусіі, калі ўсё ж трэба ствараць чыткія схемы. Тады як найлепшыя сучасныя системы адпаведзаюць на чатыры запитанні?
Што досягае навчанне падкрэпленням на адзінку з адзінакоў чалавека і дзе яно зупыняецца
Навчанне падкрэпленням на адзінку з адзінакоў чалавека (RLHF) заслуговае на пашану. Яно працуе. Яно взяло модэлі, якія раней былі гатовы ствараць хоць шта, і зробіла іх шырока практычнымі, савершансавымі і безпечнымі спосабам, якога ніколі не падарожыла простая прадзяўна. Яно належыць да справжніх інжынерных досягненняў пяцігоддзявыяго перыяду, і тые, хто яго адхіляюць, не мелі можласці прабавіцца з модэлямі, якія існавалі раней.
Аднак важнае — гэты спосаб працы.
RLHF выкарыстоўвае сігналы людскіх прывярэнняў і спаўнаюе іх у тыя самыя матрыцы ваг, якія зберагаюць рэшту знанняў моделі. Значэнні і знанні стаюць адной матэрыяй. Не існуе ніякога межы, якая бы іх раздзеляла, чы то слабкай, чы глыбокай. Їх проста няма.
Гэта прыблізна як прабава даць чалавеку хорашыя суджэння, перепрацаваўшы його кортекс і спадзяючыся, што гэта выйдзе. Інодзе так і бывае. Але ўсё ж выступаюць тры проблемы:
- Немагчыма адбавіць. Не існуе месца, дзе можна было б знайсці тое, чаго ценіць модель. Можна выявіць яе поведзенне і зробіць выводы, што ёсць псыхалогічны эксперымент, а не адбавка.
- Немагчыма праследаваць. Калі модель адмовляе ў запытэ, схваляе кредыт або пазначае прэтэнзію, ніхто не можа паказаць той досвядчэння, які створыў такое прывярэнне. Паходжанне было знишчана пад час навучэння, за прызначэнням.
Компанія Amazon дізналася про це на власному досвіді. Починаючи з 2014 року, вона створила модель, яка оцінювала кандидатів на роботу від однієї до п’яти зірок, навчаючись на десятиліттях власних резюме з галузі, де переважали чоловіки. Модель навчилася штрафувати резюме, що містили слово „жінок“ та назви певних жіночих коледжів. Amazon виявила ці терміни та нейтралізувала їх. Потім, у 2017 році, компанія скасувала проект, оскільки після усунення помилок виявило, що не має способу підтвердити, що модель не виявляє тієї ж переваги через інший фактор, про який ніхто не подумав перевірити.
Этая анекдота паказвае весь сэрцо спрачы. Прычына няхіба не была там, што модель выучылася чаго-небудзь неправільна, адколі кожная модель так рабіць. Прычына была там, што ніхто не мог з’ясавіць, што ўсё яшчэ яна выучылася, і таму ніхто не мог сказаць, калі будзе адрабатана. Гэта як грыцаць моль у темрасе. Рокі роботы заканчыліся, таму што значэнняя не было можна выкарыстоўваць.
Для чат-бота з рэцептамі гэта проста прычына для зусміху. Але для систем, якія вплываюць на прыняття рашэнняў па кредытах, медычную трыажу, расследаванне прэтэнзій чы ўсё, што регулятор можа калі-небудзь патрабаваць ад вас пад прысягою поясніць, гэтыя тры прасоўкі — не проста незгодкі. Яны выключаюць такой падход.
Калі незрозумелыя значэння шкодзяць рэальным сем’ям
Адміністратыўнае рашэнне не ўзьміваецца з галоўнай справы. З 2005 по 2019 год голандскія податковыя установы неправамерна акузавалі адпаведна 26 000 бацькоў у зловжыванні дапамогай на дагляд за дзецьмі. Модэль саманавчання для класыфікацыі рызыка, які вжываецца з 2013 года, спадзялася на выбір тых, каго павінны быць адзначаныя. Голандскі паспорт быў аднам з параметраў, якія падвышалі балы для неголандскіх громадян, прычынілі больш розследаванняў проты яных і перадавалі гэтыя рэзультаты назад у процес навчання. Дзяржавныя службоўцы, якія разбіралі адзначаныя казусы, ніколі не атрымвалі поясненняў, чаму балы былі высокія. Амнесты Інтэрнацыонал назваў гэта «чорную дзяржу» адпаведнасці. Сям’і втрачалі домы, работу і шлюбы, а у стацыі 2021 года падаў уряд.
Механізм мае такое ж значэнне, як і рэсультат. Жадны інжынер не вырашыў, што фраза «нехтацкая мова — гэта большая небяспека» павінна стаць цэнню. Гэта накаплялася, не пазначаная і нерозбірна, ў системе, дзе цэнні і знанні знаходзіліся ў адным прасторе, а людзі, якія ёю керавалі, не мелі можласці яе адкрыць.
Мы часта спрэчвамо гэта як прыродны стан речаў, нібы цэнні павінны быць розпыленымі і неразбірнымі. Біялогія кажа іншае.
Якая эмцыяя падкрэпляе разумаванне
Популярная думка прытаманяе, што холадная, на кшталт Спокка, рацыянальнасць дапамагае даходзіць да правильных рашэнняў, тады калі эмцыяі яе псуюць. Але доказы паказваюць працоўнае.
Гіпатэза Дамасія пра соматычныя маркеры прапануе, што эмачныя процесы керуюць і спакоююць выборы, а не пераскладваюць іх. Калі чалавек перажывае певны наследак, з яго фізычным-эмачным станам асоцюецца гэты наследак. Пазней, калі з’яўляецца падобны варыянт, маркер знова адчуваецца — іноды як свядомая інтуіцыя, а часта без усведамлення — і гэта вплывае на выбор ўжо до пачатку раздумаў. Бечара і Дамасіо як магчыма проста выказваюць гэта функцыйнае тверджэнне: правільны, рашыткавы прыем выбору залежыць ад правільнай практычнай обробкі эмацый. Канцэптыўнае мышленьне без эмачных сігналаў не дае нормальнага паведання, нават калі знанья ўсё ж такі достатняя.
Самэ гэта і прадказвае Эліот: абсалютныя знанья, жадных сігналаў пра цэннасць, і кожны выбор выконваецца чераз чыстаю аналізу витакоў і корыстей, без можлівасці завершыць гэты аналіз. Ён ніколі насправды не завершаў жадного з іх.
Порэйнавальная праца зьмець ідэю складней адхілічыць. У модэлі, якую прапанаваюць Мендл і Пол, жывённе выбірае межа афэктыўнымі варыянтамі: кожная можлівая дзеянне несе цэннась, якая формуюцца на аднойчыні з чувствамі, якія былі пры ранейшых наследках гэтага дзеяння ў падобных ситуацыях. Андерсан і Адольфс пераказваюць чатыры прымітныя эмцыі — адносна меркаванась, валэнцыю, стойкась і генералізацыю — і апісваюць ўжо ў організмах, якія знаходзяцца далёка ад нас, такіх як рыбы і мушкі-вошы.
Эвалюцыя неадзін раз і незалежна адкрыла гэтыя прыемы за сотні мільйонаў гадоў, адтолькі ўражэнняя нервовая система, якая не можа атрыміць інформацыю пра тое, чы ўражэння є добрым, паследным, дорогім чы апасным, вынукае неабходнасць перакалькуляваць всё ў свете з нуля кожны раз, калі адбываецца рух. Эвалюцыя створыла механізм, які несе значэнняя, адтолькі жадны функцыональны прыемнік рашэння не можа існаваць без яго. Сфера штучнага інтэлекту стварыла системы з энцыклапедычнымі знаёмствамі, а пасля прыўязала значэнняя, расчыніўшы іх у тых знаёмствах.
Правы механізм, слабая рэалізацыя
Механізм біалогіі є правильны: сигналы значэнняя, якія выучваюцца на адной з дзеянняў і прыкрепляюцца да памяці, выкарыстоўваюцца час прыймання рашэння. Аднак яго рэалізацыя є слабой самэ таму, чаго дбаюць інжынеры:
- Яго нельга пераглядзець. Ніхто не спрыймае своия соматычныя маркеры як значэнняя. У найкращым случае є толькі пачуцце.
Паставіце гэтыя тры пункты поруч з вышапераказанымі трома невдачамі RLHF — і яны паспадабяюцца. Галузь скопіявала слабасі біологіі і абмовілася ад справжньяго архітектурнага розумеў. Таму трэба застаць механізм і выправіць рэалізацыю.
Механізм з падтверджэннямі
Калі проблема сформульавана так, дыялектыка практычна механічна. У час адкупленаўкі, калі система фіксуе патэрн дасвядчэння, да яго прыўязваецца валентнасць: знакавая цыфра, зазвычай у дапярогу -1 да +1, якая зберагаецца разам з патэрнам, а не сялучыцца з яным. У час прагнозавання, калі гэты патэрн падходзіць да текущага спазырання, яго валентнасць перавозится разам з прагнозам і вплывае на выбор дзеяння.
Гэта ўсё. Цэў соматычны маркер, створаны з цифраў уместо нейрохіміі, і наследкі яго ўжо большы, чым здаецца:
- Магчымае для адзіроўкі. Ніхто не можа прачытаць соматычныя маркеры чалавека, але такі показнік, як рэйтынг безпекі -0.7 па адзинаму вучаным шаблону, ўсьмо толькі цячка на вядомай пазіцыі. Можна выказаць полны спіс значэнняў системы і ўсіх іх характэрыстыкаў. Не трэба ніякіх дапытак, ніякага выводжэння з паведання чалавека, ніякіх псыхалогічных эксперыментаў.
- Возможна праследаванне. Інтуіцыя не заставляе жадных паказанняў, тады калі які-небудзь вучаны показнік вяртаеся да конкрэтных спазыраў, з якіх ён быў створаны, і да таго, што адбывалася ў кожным з іх. Паходжанне застаецца, таму што нічога не знишчыла яго.
- Магчымае рэедытаванне. Калі значэння не правильнае, можна безпасцярожна зменіць цячку, або ж увести прыклад, які заперачае ёго, і прабачыць, каб сярэдній показнік яго абсорбаваў. Не трэба ніякіх практычных працэсаў адучання, а некая іншая інформацыя застаецца недастрыжанай. Людзям можа знадобіцца тэрапія чы ўжо новы практычны падход, але тут існуе простышы спосаб выйсця.
Уявіце сябе системай, яка навчаецца на адзінных падзейх абоўязкаў і яка сахавала следзючыя данні:
PTRN|a7f3e91 ["login_new_device", "password_reset", "payee_added", <additional context>]
emotives → fraud_risk: -0.62 urgency: +0.85
provenance → 13 matched occurrences | 9 adverse, 4 benign
recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]
У процесе навчання кожна парадыгма такой последовальнасці дадзеяў прыбавляла значэнне рэзультата да шаблона: шаблон зберагае тое, што адбылося, а эматывны элемент — як усё заканчылася. Калі пазней реальны стрім западзеньняў паўтарыць гэтыя тры крокі, шаблон актываецца, і разлік рызыку шахрайства супакоўвае прогноз. Гэты показначык, прыязджаны да таго шаблона, і ўпрымкуе систему на затримку пераказу.
Тепер заўважкім, што гэя значэнне некоректнае. Уявім сабе, што дзев’яць з трох проблемных рэзультатаў адбыліся ў межах аднаго трывалага тры недзелі періоду, калі акцыя з апдэйтом прыстрою прабілася да багацько чыстых клёяў самэ праз гэтую секвенцію, а віддзел борьбы з махінаціямі пазначыў усе іх. Ёжа выкрывання гэтага не трэбуе тэорыі пра внутршняю структуру моделі: паказвайце шлях походжэння данных і даты, якія з’яўляюцца разам. Для выправлення таксама не трэбуе перепрыяўкі моделі. Адкорректавайце значэнне для гэтага патэрану або задайце корэктывныя спазырнікі, і нехай руліючы прызмат выкарыстоўвае іх.
Радыус уплыву — гэта адзін патэран. Усе іншае, што знае система, застаецца недастрынутым, таму што ёно з самага пачатку не было супакоўанае з гэтым патэранам.
Раздельна прытамленасць каштоўнасцей і знанняям таксама дазволяе робіць тое, чаго не можуць зробіць сумавленыя системы. Разныя наборы каштоўнасцей можуць выкарыстоваць тыя ж засвоеныя знанняя для разных застосоўваў, каштоўнасці системы можна парабляцаць да і пасля апдэйта, а аудытару можна проста даць гэты список.
Чатыры функціі эмацый
Pfister і Böhm стварачуць, што эмацыі выпалююць чатыры адзеленыя функціі ў прыняцці рашэнняў, а не адную, і кожная з іх адпавядае чамусь, што варта ствараць:
- Інформацыя. Радасць і боль ёсць тым, што формуе прывяркі у жывых аб’ектах. У програмнаму забезпечэнні атрыбут каштоўнасці паведамляе, якія наступныя дзеяння зазвычай заканчваюцца ўдала, а якія — неудачна.
- Скорасць. Людзі быстра выбіраюць пад тымпам часу, прыхоўдзячы да рашэння без дагледжання. Апарат можа выкарыстоўваць перакананне па прагрэсе, каб дзейваць або адмовіцца, не ацэнюючы кожны варыянт.
Абданосць, падкрэсліваюць Пфістер і Бём, зовсім не стосуецца задоволення. Яна належыць да моральнай і сацыяльной сферы. Таму добра структураваны механізм значэння патрэбуе двух працоўнаясупрацоўваючыхся сіл, а не аднаго регулятора: таго, што трэба перадвігаць уперед, і таго, што трэба адважваць. Намер і захопленне.
Функцыональная рэалізацыя
Механізм быў описан абстрактна спецыяльна, таму што сама аргументацыя ўсё рашае. Ён таксама існуе як працюючы програмны код. KATO — это архітектура з відкрытым кодам, якая детерміністычна вивучае шаблоны, а её значэння пазначаюцца як „емотыўныя“. Яны прыўязуюцца да шаблонаў пад час навучэння і пераносяцца ў кожны об’ект прыкладзення. Рухома вікна няўжоўных сярэгавак дазволяе значэнню зміняцца па меры накоплення досвяду, таму яго не контролюе жадна адзіная спазыраўка. Емотыўныя значэння бываюць двух відаў: тыя, якія система прагча максымізаваць, і тыя, якія ёй прагча мінімізаваць. Кожна з іх — це число, якое можна прачытаць, выйсці да адпаведных спазыраўкаў і змяніць.
Гэтыя тэхналогіі не ўпершыню выкорыстоўваюцца. Прыемнік KATO, GAIuS, як паведамляецца, быў едыным алгорытамам машыннага навчання, які працаваў па стандарту FAA DO-178C. Сервіс Scale не атрымаў такой серцыфікацыі. Атрымала яе можласць прыймання рашэнняў, якія ўможлівяюць ўсё раз'ясніць, праследаваць і павтарыць, таму детермінізм быў не стылістычным выборам, а неабходнаю умовай для викорыстання. Адкрытыя, можна пераглядаць значэнні таксама є атрыбутамі, якія дазволяюць выкарыстоўваць гэтыя тэхналогіі, з тых сабоў пацэлак.
Што гэта не выясняе
Эмоцыі не паведамляюць, якія значэнні должна мець система. Механізм не можа сказаць, якая валентнасць є правильной для певнага шаблона, чыя безпека заслуговае на большую увагу, чыім часам справедлівасць трэба паступіцца месцам точнасці. Выбір гэтых параметраў ёст тым самым спецыфікаваннем значэнняў, якое таксама называецца зовнішнім выравняваннем, і гэта застаецца рашэннем людзей у аспекте керавання.
Змінюецца толькі видимасць. Калі значэння задаюцца явна, чалавек павінен запісаць іх, а іншы — затвердзіць. Компрэсіі больш не ўтвараюцца як випадковы пасляплоды процесу анотавання без перагляду. Яны стаюць письмовымі рашэннямі з відпаведнымі адпавядачамі.
Гэта не ўскладненне такога падходу. Гэта сама мета. Супакоўканне пераходзіць з надзеі часу навчання ў інжынерную характэрыстыку часу выконання, якая можа быць заданая, перапытаная, стежачы за яю і адменстраваная ў вівторак увечары без кластэра GPU.
Контроль, а не паднятчык
Браты Райты не выгралі, рашучы проблему паднятчыка. Глайдеры леталі ўжо дзесяткі гадоў, а двыгуні прыходзілі за сваймі графікамі. Яны выгралі, рашучы проблему контролю — спосабу актыўна кераваць тым, што вже могло застацца ў паветры.
Трансфармэры летаюць. Што да гэтага, гэта вжо з’ясавана, і час паказае, чы гэта застойваецца. У іх структурна не хапіцца кантрольнай паверхні — месца, дзе можна было б зайсці і сказаць «гэта, а не тое», будучы впевненым, што было падчынена толькі намечаная мета. Апеляцыі да сповольнення роботы над штучным інтэлектам на першай стадіўцы, скораячаюцыя працу, вельмі малой верытна будуць выслуханы, таму відсутнае кантрольнае паверхне стае ўсё бол нагальным.
Біялогія створыла такую паверхню і ўдосконалівала яе ўжо да часаў, калі ўсё ще не існавала хребетных. Інструкцыі з дизайна існуюць, каб іх чыталі.
Істочнікі
- Damasio, Antonio. Descartes' Error: Emotion, Reason and the Human Brain, выдана ў 1994 годзе.
- Pfister і Böhm пра множынацтва эмасій, Judgment and Decision Making, том 3, 2008 год.
- Anderson і Adolphs — канструкцыя для вучэння эмасій у розных видах, Cell, том 157, 2014 год.