Што значаюць паведамленні пра безпеку штучнага інтэлекту ад калішняйх дзеярачоў, якія займаюцца антропічным штучным інтэлектам, для разрабоў.

Штучныя інтэлекты працююць так быстро, што лёгка забыць, насколькі ўжо не так давно яны здаваліся обмежанымі.

Не так давно праця з ШІ зазвычай значыла ввод запиту ў чат-бота і чытанне адпаведнай адказу. З тэх падзеў моделі значна павысілі свою спроможнасць у стварэнні коду, адгукванні да зображэнняў, стварэнні цэлых прыкладоў практычнае інтэлектуальных прыладоў, аналізе дакументаў, викорыстанні зовнішніх інструментаў і обробцы набагато большых объёмаў контексту.

Сэгодні акцэнт перашыўся на агентах ШІ, якія можаць самостоятельна выкананы заведамы задачы, а не проста адпавядаць на запиты.

Гэты перакід мае важлівэ значэнне.

Ён таксама перакраявае шырэйшыя дыскусіі пра тое, куды працюе ШІ.

Дзеярнік, які ранейшы працав у Anthropic, Джэйкоб Коксан няўчына пасляў сваю пастаўку і публічна паведаміў, што стварэнне все моцнейшых систем ШІ несе серьёзныя рызыкі. Яго заява прывернула значны ўвагу самэ таму, што яна не паўстала ад крытыка з-за меж галузі. Ён безпасэродна працаваў над адной з адныязначных систем ШІ ў самай з тых кампаній, якія іх ствараюць. Іншыя дзеярнікі таксама выразілі падобныя абавесці, а галоўны кампаніі Anthropic Даріо Амодэй публічна заклікаў промысел спамедзіць развітак новых тэхналогій і запраўдзіць болей строгія правіла безпекі.

Няўчына Білал Чагтай, які ранейшы працаваў у Google DeepMind, выразіў падобныя абавесці ўжо стосова можлівых катастрофічных наследкав ШІ.

Такія заявы варуць зупініцца і ўважна яе прачытаць.

Не таму, што ў яных сказана, нібы ШІ заўтра можа знишчыць чалавечасць.

Гэтага не стверджуецца.

Але калі людзі, які працуюць найбліжэй да гэтай тэхналогіі, пачынаюць паведамляць, што трэба быць ўжо больш абераглівымі, гэта заслуговае на увагу, а не на ігнораванне.

Кожны, хто вучыцца інформатыцыю або стварае проекты, якія выкарыстоўваюць ШІ, таксама заінтэресаваны ў гэтым дыялозе.

Не таму, што кожны разработчык павінен стаць экспертом па безпецы ШІ.

А таму, што саме разработчыкі ў канцэ настаўляюць гэтыя системы ў працоўны програмны апарат, які людзі насправдэ прыменяюць.

Гэта на самай справе не пра чат-боты

Калі хтось чуе тверджэнне на кшталт "ШІ можа забіць нас усіх", уява, якая зазвычай прыйходзіць, — это робот з науковай фантастыкі, який набирае свядомасць і прагчыца працаваць пра людзей.

Такая кантэкстуацыя тут не ўсё такі важлівы.

Асалідныя прытэння стосуюцца систем, якія становяцца ўсё бол спроможнымі, усё бол автонамнымі і ўсё бол апранутымі у можлівасць выкарыстоўвання інструментаў, дадзэнняў і зовнішніх рысаў.

Існуе значны разлік межа ШУМ, якая адпавядае на такы запитанне:

"Як напісаць гэтую функцыю на Python?"

і ШУМ, якая можа прачытаць увесь кодавы базі, рэдагаваць файлы, запускать тестовыя комплекты, вызываць зовнішнія сервісы, запытваць API, переглядаць інтернет і продаваць працаваць над метай без патрэбы ў затверджэнні на кожным кроцы.

Разработка програмнага забаву вже прыбліжаецца да гэтага другога сценарыю. Агенты ШУМ становяцца ключоўной часткай способу работы разработчыкаў, выходзячы за межы простага стварання тексту і выкарыстоўваючы інструменты для адкрытых крокаў.

Гэта справжна корыстна.

Але саме тут становіцца сложнейша аналізаваць ситуацыю.

Калі система становіцца болей моцнай, абсалютныя для яе ліміты становіцца ўсё важлівейшымі.

Штучны інтэлект, які можа толькі ствараць текст, можа завдаць толькі меркавага наклепу, якщо ён дапускае памылку.

Штучны інтэлект, які можа запускаць код, адчуваць базу дадзеных, апрадаваць паведамленні, мяніць інфраструктуру чытаракаць з іншымі системамі, працюе на абсалютна іншым рэвэлі.

Ён больш не проста стварае выходны результат.

Ён выконвае дзеянні ў рэальным свете.

А дзеянні маюць наследкі.

Тое, што вызывае у мяне дыскомфорт

Адна з урокаў, якія павтараюцца ў роботе з програмнамі продуктамі, — гэта тое, што проста змусіць ўсё працаваць — гэта толькі першы крок.

Програма можа праскочыць усі тэсты ў контролюемай средзе, але працаваць некоректна, калі ступіць у рэальны свет.

API можа вернуць даны, якіх ніхто не планаваў.

База дадзеных можа зберагчыць записы, якія ніколи не былі належна чыставаны.

Модель можа ствараць прыказанні, які выглядаюць правільнымі, пакуль не ступіць у ситуацыю, якой ніколі не было ў ефектах яе навчання.

Наладка праваў, якая здавалася безнэбедной пад час стварання функцыі, можа ператворыцца на справжню абавесу для безпекі, калі продукт запускаецца у працэ.

Сістэмы AI успадковуюць усе гэтыя рызыкі.

У дзеярых аспектах яны іх падвайнаюць.

Традыцыйныя програмы здэйсненна следуюць правілам, якія інжынеры пішуць чыста.

Сістэмы AI, на адварот, ствараюць выходныя данні, якія ніхто не пісаў безпасэчна.

Гэта частка таго, што робіць іх моцнымі.

Гэта таксама тое, што ускладняе ўпорядкованую розробку.

Работа над сістэмай AI значыць не толькі паклекацца пра тое, чы робіць яна правільныя адпаведзі большасцю часу.

Справжній вопыт — што будзе, калі яна будзе робіць помылкі.

Што будзе, якщо вхідныя данні будуць некоректнымі?

Што будзе, як API, яка залежыць ад іншай, выйдзе з роботы?

Што будзе, як модель неправяча адгукуецца на намеры, якія стояць за запитам?

Што будзе, як хтось навмысна падае ёй шкодзячы матэрыял?

Што будзе, як агент практычна отрымае доступ да інструменту, з якім ёму не трэба супакоўвацца?

І, можа, найважэлівейшы з усіх пытанняў:

Што будзе, калі система зрабіць тое, чаго ніхто не спакоўваўся?

Калі системы AI становяцца все болей автонамнымі, самэ гэтыя пытання стаюць найважлівейшымі.

Гонка за AI — частка проблемы

Є ўсё жа адна ўзгляд, якую легка праціснуць.

Конкурэнцыя.

Компаніі, якія ствараюць AI, змагаюцца адна з іншай у стварэнні лепшых модэляў, розумнейшых агентоў і более спроможных систем.

Гэтая супернічаўка прынялася зарады значных прагрэсаў.

Але яна таксама стварыла вялічазны тырон, каб усё выпускаць якомога шыбчэй.

Уявіце два падчынства, які змагаюцца стварыць ўсё моцнейшыя системы. Адна з яных прымечае рашэнне сповольніцца, ўбачаючы больш часу на тэставанне. Іншая ж продовжае рухацца на максымальной швалі. Раптам падчынства, якое было аберагліве, пачынае хавацца з працэй за іншай.

Якщо да гэтага дадзець канкурэнцію международныя дзесячы, ситуацыя стане ўсё болей заплутанай.

У такі момент сповольненне перестае быць чыста тэхнічным выборам.

Ён ператвараецца на эканамічны, палітычны і стратэгічны выбор.

Самэй контэкст і ўчыніў няўялікія праект Даріо Амодэйскага гэткім, што ўсёле варта звернуць на яго увагу. Ён стаўіць, што тэчыбу развіцця асоцыйованага з ІІ розуму трэба кераваць цярпкі, і прапанаваў такія механізмы, як незалежныя експерты-аудытары, спакушаны критэрыя безпекі і болей тычная международная коордынацыя. Сэм Альтман і Элон Маск оба выразілі падтрымку гэй ідэі, што працу над асоцыйованым з ІІ розумом трэба ведаць адзяйчыкавана.

Але застаёцца аднозначны вопыт.

Хто будзе адлічваць, што насправды значыць „занадта быстра“?

І хто будзе яго адбываць, калі ўжо існавае стандарт?

Гэта значна сложнейшая проблема, чым проста прабачыць компаніям быць адзяйчыкаваней.

Чы хаця б адзяйчыкаваць развіцце ІІ розуму?

Тут няма простага „так“ або „нет“ адказу.

З обеих сторон існуюць пераканальныя аргументы.

Асоцыйованны з ІІ розуму явна дае многа добра.

Ён памагае дзяржальнікам разумець складны научны матэрыял.

Ён падтрымвае лекароў і медычных дзяржальнікаў.

Ён прышвартавае розвіццю програмнага забэрэжчыка.

Ён памагае студэнтам вучыцца.

Ён дае малым підпрыемствам новыя можлівасці.

Ён скасоўвае мовныя бар'еры і расширвае доступ да інфармацыі.

Ён спрыяе дзяржальніцы клімату, прагнозаванню страшэнняў і багатым іншым сложным задачам.

Гэтыя плюсы не ўявныя.

Напрыклад, разглядзіце проект прагнозавання рызыку паводзяў для Пакістану, дзе мета — сумаваць історычныя даны паводзяў, экалогічныя мэтры і жывыя API з методамі машыннага навучэння, каб у канцы канцоў вырашыць значымыя прагнозы рызыка.

Мета такога проекту — не проста адучыць модэль і паказаць адзін числовы результат.

Праўая мета — стварыць цэлы система на адной з модэляў.

Это значыць збір надзеяных дакументаў, ўпорядкованая іх зберагачоўка, обробка, навчанне на іх аднойчыні, выдача прагнозаў через API і, нарэшце, адображэнне рэзультатаў через панель керавання.

Работа ў такой лінійной схеме робіць каляквість якоўная-такая очывіцай.

Штучны інтэлект ёсць моцны саме таму, што яго можна адключыць да большага системы.

Але тая ж самая інтэграцыя значыць, што памылка ў аднай часткі можа распрастарыцца на весь аб’ект.

Паслабленыя даны вхіду прыводзяць да паслабленага модэлю.

Паслаблены модэль прыводзіць да таго, што API вяртае падманлівыя адказы.

І якщо фронтэнд адображае гэты выхід так, нібы ён быў паводлівым, корыстувачы могу пачаць верыць у тое, што на самай працэ было лишою верыятнасцю, а не фактам.

Гэты прыклад ўсё ж мілы паўстаць у порыве з AI масштабу фронтіра.

Але прынцыпы інжынерыі чудова працуюць у большых масштабах.

Чым болей здатны становіцца система, тым большая адпаведальнасць прыкладзаецца да яе.

Несярочыстае выкарыстанне ў рэальным жыцці вялікі час яшчэ тут

Няма прычыны чакаць, калі якаясь гіпатэтычная суперінтелігэнцыя пачне серьёзна ставіцца да безпекі ШІ.

Несярочыстае выкарыстанне вядзецца ўжо сёння.

У сэбе звіты Anthropic пра інтэлігэнцыю аб’якаванняў задокументавалі прыклады, зв’язаныя з кібероперацыямі, заходамі спаглядання, шахрайскімі схемамі і коордынаванымі кампаніямі вплыву. Междзunarодны звіт пра безпеку ШІ 2026 года падтрымвае гэта, зазначаючы, што системы ШІ загальнага назначэння спрыяюць болей шырокім і частым кібератацыям, хоча не стверджуе, што дзеяннікі маюць точныя даны пра тое, наскількі гэта паўтарае загальную частоту атац.

Чаму гэта важна? Таму што гэта перакраяваўце весь дыялог.

Безпека — гэта не проста пытанне пра тое, калі якаясь машына пераспеўа людскую інтэлігэнцыю.

Это таксама пытанне пра тое, калі людзі вже можу дасягнуць за дапамою сучасных могучых систем.

Чалавек з минімальныя тэхнічнымі навыкамі можа зараз выкарыстоўваць апараты, якія раней выкалікаваліся на гады спецыяльнага дазвілля.

Нападчык можа выкарыстоўваць ШІ для стварэння зловучага коду.

Шахрай можа ўжыць яго, каб стварыць паведамленні, якія будуць настаўна пераканлівымі для адзяйных чытальнікаў.

Одна людзь можа автаматызаваць работу, якая раней выкалікавалася на цэлы каманду.

Для всіх гэтых роўнаў не трэба, каб сам модель была зловучай.

Людзі ўсунуць злыя намеры.

І гэта неправы выкарыстоўванне вядзецца ўжо зараз, а не якаясь далёкая можлівасць.

Аўтонамныя агенты ўсё больш падвышаюць рызык

Гэта адна з прычын, чаму ўсе большы выкарыстоўванне агентаў ШІ заслуговае на набагато большую атэнцыю з боку тых, хто іх стварае.

Стандартны чатбот адпавядае толькі тады, калі яму даюць паведамленне.

У працовніка, на адварот, ёсць можласць браць ініцыяву та дзеяць самастаўна.

Гэта разліка можа здавацца незначной.

Але гэта не так.

Уявіце сабе стварэнне агента для кодавання для вашага сабсклепшча.

Вы надаеце яму правы на збірку файлоў.

Вы дазваляеце яму выкананне каманд.

Вы паў’язуеце яго з зовнішнімі API.

Вы налаштавляеце яго працаваць автонамна, пакуль ён не будзе считаць задачу завершанай.

Тое, што вы створылі, ў многа разоў моцнае больш, чым просты чат-бот.

Але вы таксама створылі значна шырэю плошчу для атак.

Што будзе, якщо ён неправальна расценіць задачу?

Што, якщо ён знишчыць што-небудзь важлівае?

Што, якшы схованая інструкцыя, захаваная ў файле, таямна зменіць яго поведзенне?

Што, якшы ён выцягне чутлівыя даны да якога-небудзь зовнішняго сервісу?

Што, якшы ён будзе выкананне дзеянняў дужа даверы, пасля таго як фактычная мета вже была досягнутая?

Нічныя з гэтых не ўзьманыя гіпотэтычныя эксперыменты з сценарыю научна-фантастычнага фільма.

Это звычныя проблемы інжынеріі програмнаў.

І калі все больша колькасць команд будуе ствараць агентныя системы, гэтыя пытанні перестануць быць аўтакрайнымі случаямі і стануць стандартной часткай процеса разработкі.

Чаму альянс не ўсьмо толькі акадэмічны жарган

Тэрмін «альянс» можа здавацца чымось, прызначаным толькі для дактараў у велікіх лабораторыях штучнага інтэлекту, не адносным да повсякдзеннай роботы над програмамі.

Але існуе значна болей практычны спосаб працаваць з гэтым пытаннем.

Гэта проста значыць, што трэба, каб система рабіла тое, што вы на самай працоўвалі на мете, а не тое, што вы буквальна сказалі.

Гэта здаецца дастаткова простым.

Проты які-небудзь разработчык, які вже выпускаў рэальныя програмы, знае, што запланаванае і рэальнае падзея часта разлічаюцца.

Сказаўмо, вы кажаеце агенту штучнага інтэлекту: «Зробі гэты прыстрыё швейцарскім».

Што значыць «швэйчэй»?

Меньшы расхрыстанне памяці?

Швэйшэйшыя часы адказу API?

Меньша колькасць запытоў да базы дадзеных?

Швэйшэйшая загрузка сторанкі на фронтэндзе?

Простейшыя моделі?

Агенту трэба яким-небудзь спосабам з’ясавіць, калі самэ гэта вы мелі на увазе.

Тепер падыграйце гэтай неяснасці: дайце падобной системе наблыжэнна сложнейшую мету, а таксама доступ да тыяч знарядзёў і рэсурсоў.

Зусілля, неабходныя для неправильнага разумеўня гэтай меты, таксама зрастаюць.

Гэтае і ёсць справжняя прычына проблемы выраўнавання.

Цэлкам не хацелася, каб чат-бот звучаў ввічліва.

Гэта прынцып, які гарантуе, што чым системы стаюць спроможнейшымі, тым больш яны працуюць у межах і за намерамі, якія людзі для ўсёго гэтага задаюць.

Безпека не павінна быць дадаткам у последнюю хвіліну

Адзін вывак, які разработчыкі могу зробіць з усіх эйтых дыскусый, — гэта тое, што безпеку нельзя прыўязаць толькі напаследку проекту.

Гэта правда нават для самых маленьких прыкладнікаў.

Пры стварэнні будзь-яга програмнага забезпечэння безпека — гэта не тое, пра што думаюць за калькі хвілін пры розпаковцы.

Той жа прынцып павінен застаўся актуальным для систем AI.

Якщо вы ствараеце ўстройства, якія працуюць за дапамогою AI, правы на доступ павінны атрымаць увагу з першага дня.

Да якіх ресурсоў можа дасягнуць модэль?

Што ёй можна зменіць?

Якія даныя ёй доступны?

Што будзе, якшо ўсё зламаецца?

Чыя ў корыстувачаў можлівасці перакрыць яе рашэнні?

Чы є хроніка аудыту?

Можна ўвесь час выключыць яе?

Можна працягнуць адступленне да дзеянняў, якія ёй былі выкананы?

Можна пазней воспаўтаваць адказку, каб вылечыць бягу?

Ні адна з гэтых запытанняў не ёсць цікавай.

Жадаючы, каб дэман быў ўражаючый для перагляду, яны нічога не зробяць.

Але адпаведзенне на ўсі пытанні — гэта самае, што адразняе розумны пратып AI ад сапраўднай інжынернай системы.

Этае становіцца яшчэ зрозумелым, калі вы актываўна працуеце з гэтымі інструментамі.

Сама модель — толькі адна частка значна большага пазлу.

Важлівыя ўсе базовыя даны.

Важлівы таксама бэкенд.

Важлівыя таксама API-і, якія ён выкарыстоўвае.

Важлівая таксама база дадзеных, якая стоіць за ўсім гэтым.

Аутантыкацыя мае такі ж значэнне.

Так сама важліва назірка.

Важлівы таксама процес развертання.

А безпека прасачваецца черз усё гэта.

Разработчыкі маюць большую адпаведальнасць, чым яны думаюць

Разработчыкам прывабліва думка, што адпаведальнасць за безпеку AI павінны нестаць іншыя.

Можа, гэта заведчына велікіх лабораторый.

Можа, регуляторы павінны втруціцца.

Можа, гэта чыста проблема досліджэння супакоўкі.

Эія зусілля дзеўальнае значэнне. Але адзінны разработчыкі все ўсё несу рэальную адпаведнасць.

Кожны раз, калі модэль AI падключаецца да прыемліка, прыймаюцься рашэнні ўсёга пра тое, што гэты модэль можа робіць.

Наданне прав на API — гэта рашэнні.

Падключэнне да базы даных — гэта рашэнні.

Стварэнне аўтаматызаціі — гэта рашэнні.

Дазвол на самастоятельныя дзеянні — гэта рашэнні.

Нават адзінны разработчык можа нехтачна стварыць систему з набагато большымі можлівасцямі, чым яе на самай працэ патрэбна.

Самэль гэтага разработчык будуччыны павінен ведаць не толькі як падключыцца да канцэнтрау AI.

Адправка запита модэлю быстра стае звычайным навыкам.

Розумеў, як ведае ся цэлая система з адной канцацыі да іншай, мае набагато большую цэннаць.

Стварэнне AI все ўсё мае сенс

Нічыга з гэтага не паводзіць да таго, каб здаўся разработка AI.

Позытывныя аспекты проста занадта значны, каб не скорыстацца імі.

Правильная адпаведнасць, з точкі зору разработчыка, — стаць набліжэй у стварэнні продуктав на адпаведальны чынлік.

Продовжуйце ствараць.

Продовжуйце експерыментаваць.

Продовжуйце дзеяць над доследамі.

Продовжуйце выкладаць на рынак системы, якія рашаюць рэальныя проблемы.

Але таксама падходзьце серйозна да ўсёвыплненага тэставання іх.

Вучыцеся, як воні выклікаюць проблемы.

Серйозна ставіцеся да безпекі.

Обмежыце правы прыступ толькі таму, што даслівна патрэбна.

Продовжуйце стежыць за системамі пасля таго, як яны запускаюцца.

Будзьце чыстасловныя ў тым, што застаецца невядомым.

А калі ўсё пайшло не так, спрыяйце цэму як можлівасці для навучання, а не як чыму-то, што трэба сховаць.

Тэхналогія не спавальваецца.

Інжынерная дисцыпліна павінна наздаганяць, каб суперасцігнуць яе.

Лепшыя запитанні, чым „Чы хутчэй штучны інтелект нас знішчыць?“

Найболей корыстным запитаннем ня ёсць

«Чы можа штучны інтэлект знишчыць людзкую расу?»

Ніхто не можа на гэты вопыт даць абсалютна паверыдная адказ.

Дзеярыя дакладнікі адначы вважаюць гэты рызык серйозным.

Іншыя ж прыцінююць шансы на такі экзістэнцыяльны наследак значна нижчае.

У науцы няма абсолютна яснай адказа пра тое, што будзе і калі гэта адбудзецца. Нават сярод дакладнікаў, якія спрыймаюць гэтыя рызыкі серйозна, думкі супершчотна розлічаюцца ў паводзе часу і верыгоднасцяў.

Болей практычны вопыт звучыць так: што будзе, якшо мы створым системы, якія пераспеюць нашу здатнасць контролаваць іх?

Такой падход значна важкае ў ігнораванні.

Адтуды, што нават якшо не браліся ў расчытанне самыя экстремальныя сцэнарыі, застаюцца рэальныя проблэмы: кібератакі, некоректная інфармацыя, нарышанне прыватнасці, неактуальныя автонамныя системы, эканамічныя крызы і ситуацыі, калі люди проста злослужваюць штучным інтэлектам для шкодзячых цоў.

Самыя гэтыя проблемы ўжо являюцца достатнім адказам для таго, каб безпеку спрыяваць як прыорітэт, а не як дагэню.

Гэта зміняе мае падходжэнне да савых проектаў з ШІ

Калі я працаваў над проектамі з ШІ як студент, галоўным абавяненням зазвычай было проста запуск модэлю.

Натрэнаваць яго.

Прабавіць яго.

Падняць показнікі точнасці.

Праўінуць яго ў фронтэнд.

Выпусціць яго.

Гэта ўсё, што было ў списку абавянень.

Такі падход больш не прыемлівы.

Тепер увага пераключаецца на весь систему, а не толькі на модэль у яе цэнтры.

Звідкі на самай працоўваюцыя даны?

Чы ёні надзеяны?

Што будзе, калі рэальныя даны пачнуць адрознівацца ад тых, якія модэль бачыў пад час натрэнавання?

Якую ступеню паверы можна надаць конкрэтнаму рэзультату?

Калі выклік API не задаецца, што будзе як альтэрнатыва?

Чы можа хтось намеравана падаць у систему некальківыя або вражаючыя данні?

Як система выражае сумневы або неяснасці корыстніку?

Чы існуе спосаб прымусіць чалавека пераканаць систему змяніць рашэнне?

Чы можна практычна поясніць, чаму система выбрала адзін конкрэтны адказ?

Этыя запытанні ствараюць труднасці ў будзь-ям проекте.

Але яны таксама робяць канечны результат набагато болей надзеянным.

Я смяркую, што гэта самэе тое напрамленне, куды павінна рухацца вся галерыя стварэння програмнага апрабнавання, калі системы AI становяцца ўсё бол здатнымі.

Будучына не будзе вялікай мерой адлучана толькі да лабораторый AI

Хочацца прыпускаць, што траекторія развіцця AI цалкам знаходзіцца ў руках калькі знаковых лабораторый, такіх як Anthropic, OpenAI, Google DeepMind і калькі іншых.

Гэты прыпуск некоректны.

Рэзультат таксама будзе залежаць ад вялікай колькасці разрабоў, які ствараюць продукты на адной з гэтых модэляў.

Яго таксама будуць формаваць дзеячыя над гэтымі тэхналогіямі.

Таксама будуць дзейваць уряды.

Таксама будуць дзейваць універсітэты.

Таксама будуць дзейваць стартапы.

І ў канечнай лініі, звычныя корыстувальнікі, якіе взаімадзейнуюць з гэтымі інструментамі, таксама будуць яго формаваць.

З-за гэтага дакладна манера мышленья, якую разрабы прыносяць у гэю работу, мае важлівое значэнне.

Якщо разраб спрыяе мовнаму модэлю як да іншага API, які можна выклікаць, наследкі створанага продукту можаць застацца без дальнейшага аналізу.

Якщы ж разраб спрыяе яму як моцнай тэхналогіі, якая вымагае адзёткай і рэшучай інжынернай працы, ёсць значна большыя шансы выкарыстаць яе паслужбы, не падпаўшы ў негатывныя наследкі.

Мы входзим у іншую фазу ШІ

Прывычным пытаннем у гэтай сферы працавалі гады: насколькі спроможнымі можамы зрабіць гэтыя моделі?

Цяпер стае важлівым і другое пытанне: насколькі автонаміі насправды трэба перадаць ім?

Это абсалютна іншага роду пытанне.

Модель можа быць надзвычайна спроможной, але застаўацца абсалютна безпечной для вжытку, як толькі чалавек застаецца актыўным у ўсіх процесах.

Але калі спроможнасць адыходзіць паўз автонамію, стойкую памяць, можлівасць выкарыстоўваць інструменты, доступ да актуальной інформаціі і спроможнасць выконваць рэальныя дзеянні ў свете, інжынерныя проблемы значна паўтараюцца.

Самэ таму так прывернулі ўвагу няўзабавныя паўтарынкі ад працоўнікаў кампаній у галузі frontier AI.

Этыя паўтарынкі не є доказам таго, што немінуча наступае якаясь катастрофа, вызваная AI.

Адзей, гэтыя сігналы паказуюць, што тэхналогія досягла такага стадію, калі нават тыя, хто яе стварае, актываўна спарчуюцься пра тое, дзе павінны быць межы.

Сама гэта прычына заслуговае на увагу.

Нам не трэба панікі

Нічыя з гэтых прычын не вымагае, каб разработчыкі рэагавалі з абавянням.

Абавянне не прыводзіць да кращага коду.

Страх сам по сабе не робіць ШІ бяжэйшым.

Тое, што насправдę дапамагае, — это кращыя інжынерныя практыкі ў всіх аспектах.

Болей строгія тэставання.

Моцнейшая безпека.

Болей акуратная ацэнка.

Вышэйшая праўдзівасць.

Глыбэйшыя доследжэння.

Болей розумная політыка.

І болей кваліфікаваныя разработчыкі.

Мета не ў тым, каб зробіць гэтыя системы менш корыстнымі.

Мета — пераканацца, што наша здатнасць разумець і кантролюваць іх будзе супрацоўваць з тым, наскількі яны становяцца болей кваліфікаванымі.

Гэта можа быць аднай з найважлівейшых інжынерных задач гэтага пакоління.

І, чыста правда, гэта ў частцы таго, што робіць гэтую сферу такой прыгожай зараз.

Гэта не проста ўсё тая ж категорыя програмнага забезпечэння, якае ствараецца.

Это програмнае забезпечэння, якое все больш дапамагае ствараць ўсё больш програмнага забезпечэння, прымець рашэнні, адначытаць інфармацыю та безпасэчна дзейваць у роўню света.

Гэта ачыяе вельмі большыя можлівасці.

Гэта таксама супакоўвае адпаведнае абавесці, якую разработчыкі не можуць проста перадаць іншым.

Праўdziва запитанне

Чы хутчэй чы пазней штучны інтэлект стане настолькі спроможным, каб загрожваць выжыванню чалавечасці, — гэтага я не можу сказаць з упевненасцю.

Я таксама не можу з упевненасцю ствердзіць, што часовыя рамкі, на якія вказуюць дзеярыя даследнікі, є правильнымі.

І я не думаю, што хтось можа точна сказаць, калі прыйдзе наступны дзесятак.

Але адна рачоўка выглядае дастаткова ясной.

Калі нашыя системы становяцца ўсё моцнейшымі, адпаведальнае іх стварэнне стае ўсё важлівейшым, а не менш значным.

Якщо мы ствараемі агентаў ШІ, якія можуць пісаць код, вызываць інструменты, працаваць з системамі та дзеяць з растучай автонаміяй, нам неабходна серьёзна прыглядзецца да таго, што будзе, калі гэтыя агенты зрабяць помилку.

Якщо мы будзем продовжваць ствараць ўсё болей супэльныя моделі, нам патрэбны кращыя методы для ацэнкі таго, што яны на самай працы можуць делаць.

Якщо компаніі будуць продовжваць супернічаць у стварэнні новых техналогій, нам патрэбны механізмы, якія не дазволяюць канкурэнцыі выключыць безпеку з уваги.

І якщо ШІ хоча быць значамым элементам у суспілстве, мы должны розумець, дзе ён не падходзіць, а не прыпускать, што ён завжды правы.

Настоямы вопыт не ў тым, чы розвіцце ШІ трэба зупініць.

Спрачытаецца, чы можам мы стаць дастаткова майстрамі ў стварэнні такіх систем пры тым, калі яны не стануць настолькі моцнымі, што нашыя памылкі стануць практычна немагчымымі да виправлення.

Гэта, больш за ўсё іншае в гэтым дыялозе, — тое, на што кожны разработчык, який працуе ў гэтай сфере, должен уважна звертаць увагу.