AGI — праблема навучання, а не захоўвання

Транскрыпцыя, якая перэосмыслюе пітання

Нешчодавно почала цыркулюваты транскрыпцыя чотырьохгодзіннага календара з інвесторамі, у якой, за поведамленнямі, бралі удзел засновальнік DeepSeek Лян Вэнфэн. У яй ён называе тое, чаго сёння бракуе штучнай інтэлекту. Цэ не творчасць і не здатнасць до мыслення. За транскрыпцыяй, справжнім недастатком ёсць тое, што штучны інтэлект не можа продовжваць вучыцца так, як гэта робяць людзі, і мадэль не можа вважацца наступным паколенням, пакуль гэта не змяніцца.

План, які, за поведамленнямі, ён запропанав, почынаецца з логікі на основе ланцоўкі мыслей, пераходзіць да агентав, потым — да неперывнага вучэння, пасля чого — да «точкі сінгулярнасці», і нарэшце — да втыленай інтэлігенцыі.

У гэй ідэі ёсць незалежны аргумент, які выходзіць з іншага направлення.

Інтэлігенцыя — гэта не запас

Кожны новы вылік модэлі мовы спрыяе той самай дыскусыі: рэзультаты тэстаў, здольнасці логічнага мышлэння, дзейныя меркі кантэксту, колькасць параметраў і ступень «розумнасці», якая здаецца вышэй, чым у пакойнай версіі. Розумнасць мераюць практычна выключна на адной падставе таго, што модэль ведае. Гэта можа быць неправы крытэрый.

Людзі не ўжоўцы з-за таго, сколькі інфармацыі яны зберагаюць у своіх мозгах. Якбы крытэрыем была сама здатнасць зберагання, медычны підручнік перамог бы лекара.

Уявіце чалавека, якога запытаюць пра практыку, пра якую ён нічога не ведае. Адказ не з’яўляецца. Спачатку ён усвядомляе, што не ведае дастаткова. Потым ён шукае, поручвае джэрэла, чытае, ставіць пытанні да таго, што знаходзіць, паступова развівае розумэнне і нарэшце доходзіць да адказу. Чырвоце пазней, калі ён больш не вяртаецца да гэтага, багатыя дэталі забываюцца. Калі знову патрэбны гэтыя знаньні, трэба павтарыць весь працэс. Інтэлігэнція не знікла разам з забытымі фактамі, бо спроможнасць вучыцца засталася недзеінтактной.

Чалавек — не AGI, і нават загальная людская інтэлігэнція постаўляе забыванне. Навыкі, якія довга не вікорыстоўваюцца, занікаюць і трэба ўскладніваць іх праз перапрыяўленне на даную тэму. Гэта не дыфект інтэлігэнціі. Так працуе навчанне ў кожной спазірванай інтэлігентной сістэме, укладаючы ў сябе і нас.

Як разлічаюцца мадэлі мовы

Сучасныя модэлі працуюць інакш. Спачатку адбываецца масштабны прадзеянні для падготавкі, пасля чаго следуюць рэгулярныя этапы тонкай наладкі, і пасля гэтага параметры застаюцца практычна незменнымі пакуль не пачнёцца наступны цыкл навчання. Калі у свеце выйдзе ўсё новае, модэль не можа сама выбраць, каб яго вывучыла. Інжынеры, дактаранты і сістэмы обработкі дадзэння прымуць гэты выбор, пакуль модэль застаецца без дзеяння. Па суты, інтэлект спрыяваць як кантэкст або зберагчыцтва, хоча на самай працэ ён ёсць аспектам навчання.

Катастрофічна забывчына

У машыннага навучэння існуе сур’ёзная пераканалка, якая называецца катастрофічным забываннем. Калі налаштаваць мадэль на свежыя даны, яна часта втрачае частку своіх паканальных знанняў, адтуды што самыя параметры, якія падтрымліваюць старыя спроможнасці, змінююцца, каб прыняць новыя. Прычына гэтага закладзена ў самай структуры. Трансфармер зберагае тое, што знае, у тых сабе фіксаваных матрыцах ваг, якія ён выкарыстоўвае для рассуджэння, таму змяна ў одных паўтараецца і ў іных. За гады доследжэнняяў было прабавана зменшыць гэты эфект, пры тым застаецца нез’ясаваным, чы рэгулярная перапісваўка адной спяльнай рэпрэзентацыі ёсць узгоджанай стратэгіяй.

Не проста здогадка заснавальніка

Гэтыя проблемы не аб’яднаюцца толькі з аднім засновальнікам. Дэміс Хассабіс, які керуе DeepMind, таксама высказваў падобныя думкі публічна ў гэтым годзе. Ён назваў адноснаст, надзеяму на довгастрокавую надзейнасць і адаптабельнасць, падобную да людскай, а таксама постаўкаванне ведомаў у межах гэтай групы, як факторы, якія ўсё яшчэ заважаюць прыбылі, і не звінавачваў у гэтым нехватку вычысловых моцаў. Яго позіцыя контрастуе з позіцыяй Anthropic, дзе Дарыо Амодэй говорыў пра ўмоўна краіну, заполненую гэныяяк талантаванымі дзецяржнікамі, якія жывуць у цэнтры апрацоўкі дадзенаў і можуць дасягнуць значных рэзультатаў за дапамогою расшырэння існуючых методаў масштабавання.

Обе позіцыі могуць быць правымі адночасна. Масштабаванне продаўжае даваць рэзультаты, а постаўкаванне ведомаў застаецца ўнізгледам проблемай, якую ніхто ўсё шчэ не змогаў пачынна рашыць. Разам яны паказваюць, што гэтая ідэя не ўзгалі марна. Яна адпавядае рэальнай працоўнай лініі ў тым, як найбольшыя лабораторыі опісваюць работу, якая ўсё шчэ застаецца перад намі.

Апыт мозга

Здаецца, людскі мозг не перапісвае ся кожны раз, калі ён засвоюе новы факт. У ёму ёсць калькі взаімаючыяся сістэмы: рабочая памэць для негараздовага мышлення, давялога-перадзейная памэць, якая формуецца працой гадоў, навыкі, якія становяцца аўтаматычнымі за рахунак павторэння, і памэць, якая згасае, калі перастае быць корыстной. Навчанне — гэта не адна процедура. Гэта экасістэма процэсаў.

Прыгучая аналагія кажа, што мозак складаецца з чагоś на кшталт RAM і чагоś на кшталт ROM, якія ўжо ёсць адзельнымі сістэмамі. Рабочая памяць выполняе роль RAM: быстрая, короткага часу дзейнасці і постоянна перазапісваецца. Довгастраўная інформацыя выполняе роль ROM — пасля запісу ёй трэба больш часу, але пасля гэтага яна застойная. Ёнколі AGI мае перадаваць людскую інтэлігенцыю, гэтыя два элементы, верагодна, павінны быць спланаваны з самага пачатку, а не залішацца ў вялікай суме параметраў, якія выпалююць аба задачы. Мозак не павінен быць ейдзовым прыкладам, але раздзяленне расумавання і памяці таксама дапамагае рашыць практычныя інжынерныя проблемы.

Мадэль, якая бачыць сабеўскія прасоці

Уявіце сабэўную мадэль, якая постаўлена на тое, каб сталоўна фіксаваць свае слабыя месцы. Уместо таго, каб чакаць месяцы на працэс навчання, яна выявляе тое, у чым не впевнена, збірае надзеяныя даны, пераканальвае іх, стварае невялікі запас новых дадзенняў для навчання і прымеўляе невялікія змены ў сабе. Пасля чаго яна пераканальваецца, чыя гэтыя змены дапамагают без паслаблення існуючых спроможнасцей, а потым прымеўляе іх або адклэчае. Кожная прымеўленая змена застаецца настолькі невялікай, што ёю можна будзе вярнуцца, калі пазнейшыя доказы выявяюць памылку.

Механічная версія могла б выглядаць так:

1. Мадэль сама стварае невялікі набор дадзенняў, доследжваючы тэму ў інтэрнэце або размышляючы пра тое, дзе ёй вялікія труднасці.

Ён налаштоввае свой адпрацаваны варыянт на тым маленькім наборэ дадзеных. Гэта ўсьго невялікі падтрымкі для параметраў, а не повна перэнарабатка. Гэты падтрымкі, верагодна, будзе зашкодзіць часткова ранейшым рэзультатам, таму некалькі «забывання» ў магчымасцях, і мета — трывалі гэты збыт на столькі нізкі, каб агульныя рэзультаты не падвяліліся.

Адпрацаваны варыянт паўставляецца ў адносе да незменёнага первіснага на тых прыкладах, якія ніколі не бачылі апдэйт.

Калі варыянт справды павышае якасць, ён застаёцца, і прыменяецца ўсьго ўжо адно невялікае налаштаванне, пры чым шчыльнасць навучэння керуе гэтым працэсам так сама, як і пад час трэніравання. Калі ні, ён адкідаецца, і цыкл пачынаецца зноў.

Відчутная апасцярожнасць

Апэкс — гэта введанне некальканосных дадзеных і ўтварэнне некальканосных рэзультатаў. Адучэнне на самастаўленых дадзеннях можа прывесты да таго, што мадэль будзе падкрэпляць сваія сабеўлекі, а маленькія пакрышчы можу накаплявацца працэсе адучэння, хоць кожна з іх здаецца безнэпакойной. Адным частковым захавам яе ёсць можлівасць для модэлі пераглядаць свой створаны набор дадзеных прычыну адучэння, оцінюваць свае прыклады за дапамой кантрольных запітоў і застаўляць толькі хорашыя з іх, а не усё, што яна стварыла. Аднак гэта недастаткова як рашэнне. Гэта проста перазмовляе проблему самаоценкі, ад якой залежыць весь гэты падход, але ў меньшай і болей працоўнай форме.

Што новага тут, а шта — ні

Тэза пра тое, што сталоўкаванне ў навыках — гэта тое, чаго не хапяе, зовсім не новая. Лянг выказаў яе калькіма днямі раней, Хассабіс таксама высказваў адпоўнення на яе публічна, а дзяржавнікі веду даследжэння пра катастрофічнае забыванне ўжо багатыя гады. Адно, чаго не хапяе публічна, — гэта конкрэтны спосаб рэалізацыі. План Лянга складаецца з адной фразы, якая кажа, што мадэль, якая сталоўкаваецца ў навыках, можа стварыць свою наступную версію, але не уточнюе, як самэ гэта будзе дэлацца.

Вышэўшы цыкл, з маленькай базой дадзеных, обмежаным налаштаваннем, перакананням працэсу на адной зафіксаванай версіі і выборам між зберэжэнням чы розкіданнем дадзеных, ёсць адной з парадоксальных спроб заполніць гэты прыемак. Гэта можа не быць правільна, і нават можа не быць орыгінальна з точкі зору рэалізацыі, адколі хтось у лабараторыі практычна напэўнай меры вядома вучыцца ўжо якуюсь версію. Гэта достатна конкрэтна, каб можна было апынуцца ў неправіле спосабам, і ідэя, якую можна падтвердзіць як неправільную, лепшая за тую, якая занадта расплывчата, каб ёю можна было пераканацца.

Рэзультатам не будзе мадэль, якая постаўляйць перапісвае свою ідэнтычнасць. Гэта будзе мадэль, якая паступова развіваецца за дапамою тыяў тысяч падтвердзілых карэкцый.

Складныя запытанні, якія выйшлі

Гэты падход адразу ж выклікае трудныя запытанні:

• Як сістэма пераканальваецца, што яе сопрацоўка правільная?
• Як яна ухіляецца ад падтрымкі своіх хыбных уявленняў?
• Чы ўтрымканне — гэта бінарная працэс, калі факт альбо ўсё ж такі існуе, альбо з’яўляецца, чы гэта градыент, які трохі больш згасае з кожным несувязаным апдэйтом?
• Сколькі знанняяў должна стаць постояннымі, а сколькі — заставацца зовнішнімі?
• Калі інфармацыя должна быць запісанае ў памяць, а калі яе проста трэба запрашваць з надзяйных джэрэл за патрабаваннем?

Гэтыя запытанні ўскладненыя паўтарэнням первачальнага прыказу, і тут няма готовых адпаведзей. Яны самэ пра тое, што варта дакладна даследзіць.

Элементы ужо існуюць

Існуе багато неабяцковых элементаў, укладаючы сістэмы адзысквання даных, методы постаўнага навчання, генераванне сінтэтычных даных, автонамныя агенты, параметрамі эфектыўнае налаштаванне і все моцнейшыя мадэлі разумавання. Тое, чаго, здаецца, не хапяе, — гэта не ўжо адна законамасць масштабавання, а рамка, якая дазволіла бы гэтым элементам працаваць разам у сістэме, якая продовжвае навчацца працэса свайго існавання.

Можа, AGI не з’явіцца, таму што адна мадэль вырасце да нявярогоднага розмеру, а з’явіцца тады, калі Штучны інтэлект перэстане быць статычным. Інтэлект могаў бы залежаць менш ад збору параметраў, чым ад стварэння сістэм, якія маюць глыбокіе розумінні таго, калі трэба сумневацца ў сабе, шукаць новую інфармацыю, перасматрываць своі перакананні і прызнаваць, што не ўпевнены.

Не вядома, чы гэта і ўсё-такі шлях да AGI, і історыя можа падтвердзіць, што інтуўіцыя хыбная. Аднак адна ідэя застойна серйознага расследавання: найрозумнейшыя сістэмы, вядомыя людзям, сама людская свядомасць, не ўражаюць тым, што ніколі не забываюць. Яны уражаюць тым, што ніколі не перастаюць вучыцца.