Рекурзіўнае самапавышэнне ў агентах ШІ: што на самай працы паказваюць эксперыменты.
Адказна аналіз Гёделевых машын, STOP, Гёделевага агента, SICA, Дарвіновай Гёделевай машыны, SEAL і гіперагентаў, а таксама спосабы ацэнкі таго, чы рэальна сама-модифікуючыся агентка павышае своія якосці.
Крыніцы: Can Artificial Intelligence Design a Better Artificial Intelligence?
Зараз запрошваць агента для кодавання прыбліжваць баг у вашай аплякацыі ёсць звычайной практыкой: ён ачынае файлы, правяць калькі ліній і запускае набор тэстаў. Якщо заменіць цю інструкцыю на «падбаць пра програмнае забезпечэнне, якое вы викорыстоўваете для выкаання ціяй роботы», тады метай стае сам агент: як ён знаходзіць файлы, якія інструменты ён викорыстоўвае, як ён вяртаецца пасля невыпавалага спробы, і чы можа отрыманая версія прынесці наступныя падборкі. Самэ гэтае пытанне є сутнісным для рекурзіўнага самападборкі (RSI). У гэтым артыкуле самамодыфікацыя аддзеляецца ад сапраўднага самападборкі, прадстаўленыя основныя експерыменты і ўсе адпаведныя цыфры, а таксама даўаецца набор пытанняў і простая схема експерымента для самастойнага ацэнкавання такіх тверджэнняў.
Самамодыфікацыя, самападборкі і рекурэнс
Запрос да модэль перакантролюе свой адказ можа даст лепшы адказ, алі гэта не робіць модэль болей спроможной для наступнага заведамення. Змяніўся толькі той адзін выход. Чырактваць чыста пра RSI, трэба выдзеліць тры рублі:
- Сама-модыфікацыя: якаясь частка системы змінюецца.
- Сама-праграска: гэя зміна дае вимерлы прынцыпат.
- Рекурсыўная сама-праграска: новая спроможнасць зміцняе сама тую механізму, якая стварае празыходныя праграскі.
Конкрэтны прыклад памагае. Якщо агент становіцца кращым у пошуку файлаў, ён легчэ завершае задачы; гэта сама-праграска. Якщо той жа кращы пошук таксама памагае ўмоцніць розумэнне сябе кодавой базы, і такім чынам робіць яго кращым у рэдагаванні сябе, прынцыпат вяртаецца ў процэс праграскі; гэта і є рекурсыўная частка.
Таксама важна тое, на шта паводзіцца «самае сябе». Размешчаная система AI рэдкасцю ёст толькі модель языка. Модель знаходзится ўнутрь інструментаў, памяці, інструкцый пра роботу та коду для керавання, і гэтая абгаловуючая система можа сильна зменіцца, пакуль вагі застаюцца незменнымі. Эвалюяцыя ў гэтым зовнішнім шаре як і раней ёст эвалюяцыя, але будзь-яя тэза пра самапраграсу павінна чытальна адзначаць, які шар зменіўся: вагі, код агента, запросы, інструменты чы сам працэс праграсы.
Машына Гёделя: падтвердзіце корысть перш чым зменяць
Машына Гёделя, запропаная Юргенам Шмідхуберам, ёст класычны матэматычны падход. Система може перапісаць будзь-яю частку свайго сопрацоўніка, укладаючы ў тое ж складовую, якая шукае доказы, але толькі пасля таго, як ёй будзе падтверждзена, што такая перапісва паўышае адзячанне ў межах яе визначаных цэляў і прыяпадакоў.
Гэта гарантія ўсё ж шчырэй, чым здаецца. Яна не обяцвае, што кожная змена будзе корыстна ў рэальным свете за будзьмоўных умаставаў; яна дыяэфекtyва толькі ў спрыянні выбраным аксіомам, модэлю арэны і вялічыні корысты. Знаходжэнне формальнага доказу таго, што даная змена є корыстной, таксама можа быць вельмі складным з комп’ютернай точкі зору.
Таму большасць сучасных эксперыментаў выбірае эмпірычны падход: замест таго, каб заздалегідь даказваць, што змена є добрая, яны запускаюць модыфікаваную систему і меряюць яе робочыя характэрыстыкі. Гэта набліжнае практычней, але перакладае тыя барыеры на стадію ацэнкі. Бачны наступны пытанне — чы рэальна тое, што меруецца, ёсьць тым самым ростам, які нас цікавіць.
Стоп: выкарыстоўванне прыбутковага алгорытму для сябе
„Самаўучыся оптымізатор“ (STOP) выклікаецца з „прадактара“ — програмы, якая запоўнюе мовны модель для прыдумвання та оцэнкі паследжэнняў для іншых програм. Праз тое прадактар перакідаецца на свой сабэйны код, а апдэйтаваны прадактар выкорыстоўваецца ў наступным раунде для стварэння дальнейшых паследжэнняў.
Серьозным адкрыццем є тое, што цей цыкл не паводзіцца аднакова ў розных моделях. У GPT-4 сярэдняя эфектыўнасць падвышалася з кожным ітэрацыям; у GPT-3.5 та Mixtral — знижалася. Паколькі адпаведны мовны модель ніколі не змінюецца, автары чыста адзначаюць, што ўсё іхнё работа не являецца пачатковым RSI.
Урок для практыкантав є просты: ітерацыйны процес не гарантуе прагрэсу. Слабы метод паследжэння, прыкладзены да самога сябе, можа таксама легка падкрэпляць своія сабеўскія канфузіі ў кожны раз.
Gödel Agent: перапісваўанне сабеўскай логікі агента
Gödel Agent дазваляе модэлю языка зменяць логіку разумовых вычынакоў і код працы агента пад час выканання. Яго адмацаваюць па розумэнні прачытанага, матэматыцы і адпаведзенню на запытанні, базаваныя на знаёмствах; оптымаўзація адбываецца на наборы для парабярання, а рэзультаты працы агента меряюцца на околічным наборы для тэставання, што ёсць правільны спосаб ухіліцца ад налашоўкі пад конкрэтны тэст.
Цифры, паказаныя ў заглав’ях, трэба ацёрана прачытаць, таму што разныя варіанты працуюць за разнымі умовамі. На MGSM Meta Agent Search паказвае точнасць 53,4%, а обмежаны варіант на базе Gödel — 64,2%, што ёсць порэванаўненне на адной умове. Небямованы варіант без Gödel досягае 90,6%, але ён працуе пад іншымі обмежэннямі і не должен прыводзіцца як наступны крок у там самым порэванаўненні.
З тэхнічной точкі зору значнае месца займае не сама якосць, а выбор дизайну: метод, якім агент рашае проблемы, сам стае програмнам сяродкам, які можна шукаць і менавучыць.
SICA: агент для програмавання, які менавучыць свой код
Агент для самапрабавленняя програмавання (SICA) прыменшвае гэты пытанне. Агент менавучыць свой код, і кожная новая версія оцэнюецца за тым, насколькі яна эфектыва рашае задачы, сколькі часу на это йдзе і якія ў цьома затраты.
На 50 аднойчайна выбраных задачах, якія засталіся незменнымі з SWE-bench Verified, эфектыўнасць выросла з 17% у першай ітерацыі да максімуму 53% у 14-й ітерацыі, а ў пасляпэльнай ітерацыі — 51%. Іншымі словамі, прабавлення не было монотанным. Авары ацэнююць, што 15 ітерацый коштаў прыблізна $7,000 на выкарыстоўванне API.
Два факты павярэджуюць загальныя выводы. Першае — аўтары зазначаюць, што пяціхвілінны ліміт на кожную задачу могаў знизіць пачатковы рэзультат, а большая частка ранніх праграс з’явілася завдака шырэйшых інструментаў для рэдагавання файлоў, якія дазволілі агенту завершыць больш работы ў тым жа ліміті. Другое — праграсы, якія агент знайшоў, выглядаюць як звычная робота з інструментамі: тачныя операцыі рэдагавання заместо перапісву цэлых файлоў, а таксама пошук функцый і класоў праз аналіз синтаксічнага дрэва коду (AST), а не праз просты пошук у тексте.
Нічога з гэтага не робіць рэзультат простым, але пераход з 17% на 53% не значыць, што загальны інтэлект системы практычна утроіўся. Была вымерана толькі эфектывасць у выпанні адной конкрэтной набора задач, пад адним часовым лімітам, і большая частка праграс — гэта саме тое, што людзкі інжынер мог бы дадаць у набор інструментаў кодавальнага агента.
Машына Дарвіна-Гёделя: архіў заместо адной лініі
Машына Дарвіна-Гёделя (DGM) абандоняе ідею аднойчайнага ланцуга версій. Яна зберагчыць архіў варіянтав агента і дазволяе новым галузям развівацца з кожнага з іх. Варіянт, які сьогодні мае нижэйшы рэйтинг, все ўсё можа стаць праблемай пазнейшых, болей корыстных змян, што і ўтварае елемент адкрытага, эвалюцыйнага развіцца, прызначаны ў назве.
Згідна з дакладнай версіяй v3, зафіксаваныя практычныя выгоды включаюць адзначальнае падвышэння з 20% да 50% у рэйтингу на падскупе дадзеных SWE-bench, а таксама з 14,2% да 30,7% на всім наборе дадзеных Polyglot. У даследжэнні таксама адбываюцца эксперыменты з перанесеннем навыкаў на іншыя моделі та практычныя тэсты, якія не былі викорыстаны пад час разработкі. Гэтыя рэзультаты паказваюць, што частка практычных выгод можа быць прызначальная і для задач, не адносных да разработкі, хоча яны і не дазволяюць стварыць вялікія палітычныя практычныя выгоды ў всіх сферах. Как і у іншых працах, спрямованых на роботу з агентамі, базавыя моделі застаюцца незменнымі; толькі програмнае забезпечэння агента, яке працуе з імі, развіваецца.
Кошты таксама ўскладнююць ситуацыю. Авары прыбліжна оцэніваюць, што адна експерыментальная практыка DGM на тэстовай платформе SWE-bench коштуе або каля 22 000 долераў, тады як кожная стандартная практыка коштуе або каля 10 000 долераў. Таму эксперыменты, якія выделяюць вплыв окремых складовых, не даюць цільвыходу, чы практыка DGM застаўся бы кращай пры равным бюджэце.
Найболей корыстны вывад стосуецца стратэгіі пошуку: адклейкі ўсіх версій, якія выглядаюць як регрэсія, можа перакрыць шлях да кращай системы, адтолькі ўжо таму, што хорашыя рашэнні інодзе праходзяць чераз слабейшыя проміжныя етапы.
Калі змінююцца вагі чы элементы паспрабоўкі
Эксперыменты з кодамі агентаў не ўсё, што існуе ў гэтым напрамку. SEAL (Self-Adapting Language Models) даследжвае модель, якая сама стварае даны для тонкай наладкі і інструкцыі з апдэйту, уключаючы вказыванні пра тое, як трэба выкарыстоўваць адаптаванне. Навчанне на этых самастворэных інструкцыях вельмі сутэчна зменяе параметры моделі, таму даследжэння самапраграскі явна не обмежваюцца толькі структурамі агентаў. Аднак сама тое, што параметры зменяюцца, нічога не гаворыць пра можлівасць безмежных чы абаротнаг праграсу.
Hyperagents раскрывае іншыя абмежэнні. Ён з’еднае агента, які выпалюе задачу, і мета-агента, які яго рэдагуе, у адну програму, якая можа быць зменена, тады механізм, які стварае будучыя паследоўніцтва, сам можа быць зменены. Авары паведамляюць, што частка гэых мета-рэформ пераходзіць з адной сферы задач на іншую і накапліваецца працаваючы з разам. Што дае гэтыя даследжэнні, так то перанесенне дыскусій з пытання "Можа лясівая інтэлігэнцыя рэдагаваць свой сабе код?" на пытанне "На які ступень ёй можна паспрыяць у падборчыцтве процэсу своего развіцца?"
Чатырнаць цікаўных пытанняя да кожнага тверджэння "гэта стало лепей"
Калі крывая самапаследоўніцтва падыходзіць угору, варта запытацца, што саме падыходзіць угору.
Лепей у чым самэ?
Точнасць можа вырастаць, але ў той жытак растуць і вартасці, і час адпаведзення. Такі компрэс можа быць прыемным для науковых цялей, але непрыемным для продукту, таму трэба аналізаваць усе показнікі, а не толькі главны.
Калі чырплёней?
Разлікі па заданнях, якія часта выкарыстоўваюцца для выбору наступнай версіі, являюцца слабейшым доказам, чым разлікі па фінальным тэсте, які ніхто не чыніў падчас разработкі. Кожны раз, калі рэзультат тэста вплывае на наступныя рашэння па выбору, процес пачынае прылегаць да рэзультата таго тэста.
Калі версія калі чырплёней?
Архіў, які зберагае найлепшы рэзультат, пакажае адрастаючую лінію „найлепшага да гэтага часу“, нават якщо большасць новых кандыдатаў ёсць гіршыя. Пераканаюцеся ў распадзе кандыдатаў, а не толькі ў максымуме.
Чы стае лепей у прагненні да самапраўцы?
Рашэнне большай колькасці заданняў можа сведчыць пра лепшую здатнасць да самапраўцы, але гэта разныя паказнікі. Адоўжаны эксперымент пераканаецца, чы новая версія стварае лепшыя наступныя версіі, чым яе прадшаўнік, за адной і той жа бюджэтнае сістэмы.
Этыя запытаннія не прызначаны для таго, каб запераксаваць праўеку. Яны — гэта спосаб, якім вы дакладна апішаеце праўеку, каб ёю змагчыма было распізнать.
Эксперымент з самапраўекай, які вы можете адрабатваць
Рэалістычны пачатковы пункт для адзінкага разработчыка чы роўна маленькай команды — гэта не адкрываць цэлую систему для самапраўекі, а выбраць аднадзельны інструмент разработкі і строга яго обмежыць. Вярніцеся да прыкладу інструмента для стварэння тэстаў для базы коду на Java:
- Вылечыце тое, што не можа змяніцца: інструмент не можа менаваты код прыемлівача чы тэсты на адгук.
- Апішыце тое, што можа змяніцца: толькі яго сэрвіс сканавання файлаў, яго інструкцыі і процес стварэння тэстаў.
Спрытваце гэта як проектаванне эксперымента, а не абяцкае парадоксу працэйных рынкаў. Іспользованне адкрытых модэляў чы рыхлых квот можа знізіць вартасць аператыўных задач, але ніжэйшыя вартасці не падтверджуюць, што змяны ўжыткавы. Спачатку шукайце чыста вимерлівую выгоду, а толькі пасля яе — расшыроўваце масштаб. Тая ж дысципліна ацэнкі прыменяецца да будзь-каго агента, які вы выкладзеце; наша інструкцыя па обмежаных агентных цыклах у TypeScript раскрывае аспекты керавання такімі цыкламі пад час ўжыцтва.
Кращыя агенты — не выбух інтэлігенцыі
Цікава пытанне: чы можа ШІ стварыць лепшы ШІ? У вышэспісаных эксперыментах — так, у адзінам конкрэтным сэнсе: системы ШІ дапамаглі стварыць болей спроможных агентаў, і калькі з іх засталі гэты процес у своём програмнаму забезпечэнні. Аднак яны не паказваюць ланцоўку удосконаленняя, якая пры кожнай ітерацыі стае быстрэйшая, прыменяецца да розных сфер і працюе незалежна ад выбораў чалавека. Адмова ад гэтых робак як ад „простагінгу прапанаў“ не бачыць рэальных рэзультатаў; называнне гэтага пачаткам выбуху інтелігэнціі — пераценкая их значэння.
Ключовыя выводы
- Заўжды трэба спытацца, які слой змяніўся: вагі, код агента, прапаны, інструменты чы сам удосконаўчык.
- Формальныя гаранціі, такія як тые, што існуюць у машыне Гёделя, дзейнаць толькі ў спрыянні ўсіх яе прыняцых заўважэнняя; эмпірычныя падходы заменяюць доказы на ацэнку, таму якасць ацэнкі вяліка значэнне.
Складная проблема не ў тым, каб дазволіць ШІ зменіць свой сапраўдны код. Яна ў тым, каб надзеясніць, чы рэальна такая змена ўскладнюе працу, і перанесці гэты прагрэс у наступны раунд удосконалення.