Законамеры масштабавання LLM, GPT-4o і навчанне пад кераваннем падкрэпленняў: што працягваюць крывыя.

Практычна ўсе значныя павышэнні якосці модэлей мовы за апошнія калькі гадоў сталіся за рахунак адрабоўкі таго ж процеса, але з большымі масштабамі: больш параметраў, больш токэнаў для трэніравання, больш GPU-ў. Законамі масштабавання ёсць уравненні, якія ператвараюць гэты прыём у ўсё, што можна планаваць, адтолькі якія прыбліжна прыказуюць, як будзе зменшацца паказнік падтрымкі модэлі праз адбіранне большых ресурсоў, такіх як вычысловыя моцы для трэніравання. Їх таксама часта неправямо тлумачаюць, таму загалоўкі час а час пераступаюць між тверджэннямі "масштабаванне гарантавана" і "масштабаванне стало на перакос". Апрацававшы гэты матэрыял, вы зможаце правільна чытаць графікі масштабавання у формате лог-лог, поясніць, што на самай працэ паказалі рэзультаты Каплана і Чінчіллы, аналізаваць дыскусію пра "сповольненне" росту модэляў без падтрымкі аднаго з падходаў, і зрозумець, чаму агенты і модэлі для рассудкавання є наступнымі сферамі, дзе адбываецца масштабавання вычысловых моцоў.

Структура ўскладнюецца знізу дагоры. Мы пачынамо з матэматыки закона ступеня, пераходима да даследжэнняў, якія выявілі законы масштабавання для мовных модэляў, аналізуем, як гэтыя законы керавалі сямьёй GPT і пазнейшымі модэлямі, розглядаем аргументы пра тое, што масштабаванне стае менш эфектыва, і завершаем тым, што паказвае напрамункі, якія дапамагаюць працэўваць далей, нават калі прыросты пасля прадзяловай падготовкі стаюць менш значнымі.

Базовы элемент: законы ступеня

Две величыны, адна прыкладна зв’язка

Закон ступеня — это проста правіла, якія з’ѐднуюць два показнікі так, што пропорцыйныя змяны ў однам прыводзяць да пропорцыйных змян у другім. У контексте большых мовных модэляў адной з двух величын практычна завжды ёст тэстовая втрата (інодзе ў якості заменікі выступае точнасць у пазнейшых задачах), а другойя — гэты параметр, які можна налаштаваць: колькісць параметраў, розмер датасэту або загальная калькуляцыйная моць пад час навчання.

Тыповая тэза з гэтага артыкула пра GPT-3 выглядае прыблізна так: якщо є достатнькі даны, то падышкі праблемы параболізацыі павінны следаваць за апроксыматываючым правылам ступеневага закона залежна ад розмеру модэлі. Практычны значэнне гэтага заключаецца у тым, што колькасць параметраў і падышкі праблемы па тэставанні з’яўляюцца пов’язанымі межаў у меркаваннай форме. Якщо расшырыць модэлі, падтрымваючы іншыя умовы (достатнія даны, дастатнія вычысловыя ресурсы), падышкі праблемы зменшуюцца прыблізна на тыя самыя прыцэпы, якія можна заздалегідь прырахуваць.

Корыстным якосткам у гэтым контэксте є інварыянтнасць па масштабу. Якщо прамножыць вхідныя даны на які-небудзь сталякі каляр, выходныя даны таксама прамножаюцца на фіксаваны каляр, незалежна ад таго, дзе вы началі свой аналіз на крывай. Самэ гэта і робіць ступеневыя законы прываблівымі для прагнозавання: зв’язак, які вы вимерваеце межаў модэлі з 10 мільйонаў і 100 мільйонаў параметраў, дае вам конкрэтную інфармацыю пра пераход з 10 мільярдаў на 100 мільярдаў параметраў.

Стандартныя і зворачныя формы

Базовая формула — y = a * x^p, дзе x і y — гэтыя два велічыны, а a і p — сталянкі, якія адначынаюцца на даных. Калі экспансант паўзіціўны, y расте ў меру росту x. На звычных координатах крывая выгінаеся вгору; на координатах логарымаў крывая стае праўай лініяй, таму што вычысленне логарымаў ператварае log y = log a + p * log x у лінейную рэштунку з нахылам p. Самэльвацьяя графікі практычна завжды прадставляюцца на логарымавых шкалах з гэтай прычыны.

У стацыянах пра LLM вы бачыце іншы направленні крывых: падышкі спадаюць, калі расходы растуць. Гэта ўзворотны закон ступеня, y = a * x^(-p), тое сама рэштка з адным ад’ёмным ступенем. Змена знака ступеня зменяе форму крывой, а на логарыфмічных координатах апыляецца характэрная прямая, якая спадае ў правую сторону. Калі стацыяна паказвае зв’язак между падышкамі і вычысленнямі, дадзеннямі чыстае спадаючая лінія, то самэ гэта і паказваецца. Памятайце пра гэта, каліжо тыяйна лініі — гэта наследкі логарыфмічных координатаў, і багато плутанняў па частка скалярацыі выходзяць з забывання пра гэта.

Першая систематычная даследжэнне: падышкі скаляруюцься з параметрамі, дадзеннямі і вычысленнямі

Ачыяя пытанні да 2020 года

Калі пачатковы GPT з’явіўся, не было ясна, насколькі важліва ўся гэта масштабаванасць. Моделі мовы былі перспективнымі, але обмежанымі, і не існавала чыткага спосабу ўдосконалення іх. Някія запытанні засталіся без адпаведных адказоў. Чы справды важліва структура сеткі, тыям самым колькісць шароў і шырыні кожнага з іх? Чы большая модель завжды парадна працюе лепш? Сколькі дадзеных патрэбна большай модэлі?

Статыя OpenAI 2020 года «Scaling Laws for Neural Language Models» ставіла за мету адпаведзець на гэтыя запытанні, вымерваючы, як адхіленне пад час тэстаў залежыць ад розмеру модэлі, ўзору ўстройства модэлі, розмеру набора дадзеных, вычыслювальных моцаў пад час навчання і розмеру пакета дадзеных. Галоўным вынікам было тое, што адхіленне паўтараецца па закону ступеня для кожнага з трох паказначыкаў, пры чым дзеякія тэндэнцыі застаюцца стабільнымі нават пры змяні розмеру более чым на семь порядкаў:

1. Колькісць параметраў модэлі.
2. Розмер набора дадзеных.
3. Вычыслювальныі моц пад час навчання.

Важным аспектам ёсць тое, што кожныя зв’язкі існуюць толькі тады, калі два іншыя показнікі не ўтвараюць фактора обмежэння. Масштабны модель, натрэнаваны на мінімальны набор дадзеных, не парадкавае крывую параметраў, адтолькі як дадзеныя стаюць вузькім месцам.

Як адбываліся эксперыменты

Дзеярнікі прадзейналі модэлі з колькасцю параметраў да 1,5 мільярда на паднаборах корпуса WebText2, якія мялі ад 22 мільйонаў да 23 мільярдаў токэнаў. Кожная модель выкарыстоўвала контэкст з 1 024 токэнаў і стандартную мету прыкладзення наступнага токэна, якая являе сабою втрату кроз-ентропіі па словніку. Тая ж кроз-ентропія, вылічаная на дадзеных, якія не былі викорыстаны для трэнінгу, служыла главным показнікам карыстоўнасці. Нічога экзотычнага ў гэтым няма; гэта, по суты, стандартная наладка прадзейнаўкі, якая викорыстоўваецца для большасці LLM-аў, і самэ гэта адчыніла можлівасць такога хорашага узагальнення рэзультатаў.

Як выглядаюць знайдзеныя законамы

Збыткі тэстаў у WebText2 стабільна падвышаліся ў меру збільшэння параметраў, дадзеных і вычыслювальных магчымасцей. Ція тэндэнцыя спостаралася ў восьмых порядках велічыны вычыслювальных магчымасцей, шысціх порядках велічыны модэлю і двух порядках велічыны набора дадзеных. Прыбліжныя формулы падобныя да вышэўказанага закона зворачнай ступеня, але запісаныя адносна інакш: галоўныя сталыя прызначаюцца равнымі аднаму, а сталая масштабавання знаходзіцца ў складках. Напрыклад, для велічыны модэлю формула выглядае так: L(N) = (N_c / N)^alpha_N, дзе N — колькісць параметраў, N_c — прыбліжная сталая, а alpha_N — прыбліжны экспанент. Аналогічныя выразы існуюць для велічыны набора дадзеных D і вычыслювальных магчымасцей C.

Для таго, каб рэзультаты былі чыстымі, была патрэбна адна деталі: параметры ў табліцах пазіцыйянаў і токенных эмбеджаў не ўрахоўваныя ў пільгаванні. Їх урахоўванне робіць тэндэнцыі болей шумнымі, тады калі лічыцца толькі параметры, якія не ўжо ў формате эмбеджаў, выходзяць ачышчаныя, прямыя лініі. Якщо вы калі-небудзь прабяжыце воспроіць графік масштабавання, гэтыя варыянты урахоўвання можу тыха змяніць вашы рэзультаты.

Паколькі кожны закон прыпускае, што іншыя фактары не ўтвараюць бутылочных горлаў, практычныя правіла вяліць у масштабаванні ўсіх трохоў разам. Якщо давіць толькі на адны з іх, вы быстра страждзіце ад зменшэння эфектаў.

Чытанне крывых без логарыфмічнага масштабу

Графікі з логарыфмамі выглядаюць чымраз прямымі, што спрыяе занадто оптымістычнаму адліквідаванню. Перазрисавайце тыя ж законамі, якія падходзяць, на звычных вісах, і форма крывой цалкам змініцца: спачатку крывая роўна спускаецца, а потым стае плоскай, што дужа нагадвае экспанэнцыйнае заніжэнне.

Гэта мае значэнне, таму што багато популярных аналізаў падкрэпляюць працоўную інтуіцію, якая супрацоўнае, нібы якосьць модэляў расте экспанэнцыяльна, тады калі вычысленні расту толькі логарыметрычна. Матэматыка паказвае ўсё значна стрымленней. Кожна дальнейшая змена збытка выклікае мультиплікатыўны адрыстанне рэсурсоў, таму ўсё больша складна і драматычна дасягаць павышэння якосці ў меру працы. Прямая лінія на графіку лог-лог значыць «дзесяць разоў больш вычысленняў даўа фіксаванае частковае павышэння», а не «трохі больш вычысленняў даўа значна большую якосьць».

Форма практычна не мае значэння, важыць масштаб

Парадоксальна, але доследжанне паказало, што, кроме трох гэтых законамоў сілы, архітэктурныя выборы, такія як співвяртненне глыбі і шыроцы, мелі толькі незначны адзінак на розмеры втрат у пораўнанні з самым масштабам. Большыя параметры, большыя даны і адносна большыя вычыслювальныя ресурсы давалі павольныя, надзеяныя праграсы; зміны пропорцый сеткі даўалі значна меншыя эфекты.

Навуковыя працавальнікі таксама заазначылі, што большыя моделі ўсё эфективней выкарыстоўваюць прыклады. Большая модель досягае заданага рызыку пасля обработкі меншай колькасці токенав, чым меньшая. З точкі зору чыстых вычысловых затрат на навчанне, гэта прапануе нестандартную стратэгію: навчаць адзінучай большую модель на стосункова невялікай колькасці дадзэнняў і зупініцца задоўга да таго, як яна досягне стабільнасці. Гэта дзейсна є оптимальным з точкі зору вычысловых затрат для навчання, але гэта не ўзявае ў расчыт тое, што вядзецца пасля навчання. Большая модель коштуе дорага для обслужвання кожнага запиту, таму на практыцы команды зазвычай робяць працоўнае: навчаюць меньшыя моделі на большай колькасці дадзэнняў, адтолькі ўтримванне меньшай моделі ў разы дышэўнае.

У старонцы таксама аналізавалася тая прычына, чаму размах набора дадзейнаў павінен растаць разам з размахам модэлі, і былы вынесены заключэнні, што колькасць дадзейнаў можа раставаць медленней, чым параметры. Прыблізна, каб модэлі стала прыблізна восьма разоў большай, патрэбна была толькі прыблізна пяць разоў большая колькасць дадзейнаў, каб утримацца ад переадаптавання. (Гэты паўноцэнны співвядамленне вынікае з адпаведнага зв’язку, па якому патрэба ў дадзейнах расте прыблізна прымусова да розмаху модэлі, паднятага да ступеня, які ўсё ж такі ніжы за адин.) Згадайце гэтыя рэкамендацыі, каліж таму, што пазнейшыя даследжэння Chinchilla яе заперачылі.

У падзеі, тыя ж законамі працавалі на калькольных наборах дадзейнаў, калі да пазыркі збытку была дадзена фіксаваная аффектацыя, каб узьміць пад заўважэнне разныя распады дадзейнаў. Адносна всіх гэтых рэзультатаў можна стварыць пераконлівыя доказы таго, што моделізацыя мовы прагрэсуе паступова і прыгадна, калі размер модэлі, дадзеныя і вычысловыя ресурсы правільна адпрацоўваны, і што большыя модэлі будуць як кращымі, так і эфектывнейшымі з точкі зору викорыстоўвання прыкладоў. Саме гэтыя доказы сталі падставай для вялічзіных процэсаў прадзяловай падготовкі, якія следавалі пасля.

Як лабораторыяй на практыцы выкорыстоўваюць законамі масштабавання

Парадокс большасцявых прадзябровых трэнінгаў — у ягох є некамфортны недзеянак. Найлепшыя рэзультаты выкалічваюцца за дапамогою вельмі большых модэляў і набораў дадзеных, а такія роботы коштаюць вельмі многа грошаў. Уявіце сабе, калі трэба выдалаць дзесяткі мільйонаў долераў за адну толькі роботу, каб пазнайсці, што модэль не задовольняе аспектамі якосці. Працуючы з такімі цэнамі, няма можлівасці працаваць методам проб і памылак над модэлем у паўнай велічыне; трэба быць впэўненым, што заданая конфігурацыя будзе працаваць.

Законамі масштабавання ёсць інструмент, які дае гэту впэўненасць. Кроме таго, што яны падтверджваюць наявнасць павязанасцей, яны таксама даюць дакладную схему дзеяння для дакладнікаў:

• Трэніруйце семью значна меньшых модэляў пад разнымі настройкамі.
• Падбірайце законамі масштабавання тое, як працуюць гэтыя маленькія модэлі.
• Інтраполюйце падобраныя законы, каб працаваць з прыкладам, як будзе працаваць значна большы модэль.

Гэты процес не ўсёвырачоўвае. Экстрапаліяцыя з малых працэсаў на вялікія можа быць неточной, а дзеянні дадзеных зменяюцца залежна ад масштабу спосабамі, якія маленькія моделі не будуць адкрываць. Былі разработаны такія тэхнікі, як схемы пераносу гіперпараметраў, каб экстрапаліяцыя з малых на вялікія стала болей надзеянай, а прыстосаванне законама масштабавання да дешавых працэсаў зараз ўжо є стандартной практыкай. Па-першае, кроме змены тэхнічных рызыкаў, правідлівая прагноза таксама значна спрыяе абґрунтаванню бюджету на вялікі працэс для тых, хто за ўсё плаціць.

Існуе простая правіла для выбору, калі не трэба даверяць экстрапаліяцыі: якщо вашы малыя працэсы не охопляюць прынеймні калькі логарычных порядкаў, або якщо вы зменяеце сумешчанне дадзеных, токенізатор чы архітектуру між малымі та вялікімі працэсамі, прыстосаваныя константы можа ўжо не будуць прыменяцца. Значэнне закона масштабавання выходзіць абоўсюды з заставы всіх іншых параметраў на незменным стаціяні.

Масштабаванне ў эпас прыпрацоўкі, ад GPT-3 да GPT-4

Калі былі створеныя законамы масштабавання, спосаб прагрэсу стаў практычна просты: трэба было трэнаваць большыя модэлі на большых і чыстых наборах дадзеных. OpenAI выкорыстоўваў гэты падход у серіі GPT, а большасць іншых значных модэляў таксама. Іля Сутскевер пазней апісаў гэты перыяд як „эпас прыпрацоўкі“, які адзначаўся вельмі большымі сеткамі, трэнаванымі на вельмі большых наборах дадзеных.

Сям’я GPT як эксперымент з масштабаванням

Лінія GPT — это самая вядомая прыемка эых ідэй. Абгаворкі тут сфокусаваны на моделях да GPT-3 з двух прычын: іх дакладныя відпаведніцы былі опублікованы адкрыта, а пазнейшыя моделі значнаю мерай завяжаны з прагрэсамі пасля трэніравання, а не толькі з масштабамі прадзейнавання. Якща вы хачаце побачыць, якія змяні ў кожнай версіі былі для разработчыкаў прыемак, паглядзіце на нашу інструкцыю «З GPT-1 да модэляў для рассудкавання: якія змяні ў кожнай версіі для разработчыкаў»; тут увага сфокусавана на тым, што кожны крок говорыць пра масштабаванне.

GPT па сучасныя стандарты быў маленькі: 12 шароў і 117 мільйонаў параметраў. Спачатку яго прадзейстравалі на базе BooksCorpus — суровым текстам прыблізна 7 000 кніг, а пасля дакладна налаштавалі окрема для кожнага наступнага завдання, выкарыстоўваючы кераваныя крэтэрыі і спецыяльныя механізмы класыфікацыі для кожнага з яных. Це была адна з першых дэманстрацый масштабнага самокераванага прадзейстравання трансформера, які выконвае толькі функцію дэкодера, і з яе было выведзена калькі лекцый:

• Самокераванае прадзейстраванне на звычным тексте працюе надзвычайна добра.
• Важліва ўчэба на дзяўжыных, суцэльных фрагментах тексту.
• Модель, прадзейстраваная такім спосабам, можа быть дакладна налаштавана, каб досягнуць апошніх рэкордаў точнасці ў шырокай скале задач.

Сама модель не была выдающаяся, але яна задаўшы два ключовыя элементы — трансформер, які выконвае толькі функцію дэкодера, і самокераванае прадзейстраванне — якія пазнейшыя доследжэння прывелі да значна большых масштабаў.

GPT-2 быў створаны нечытаў пасля як набор модэляў з 1,5 мільярда параметраў. Архітектура і цялі навчання былі такімі ж, як у GPT, але зменіліся два аспекты:

• Для прадзейственага навчання быў выкарыстоўваны WebText — набор дадзеных, знятых з Інтэрнету, які быў значна большы за BooksCorpus.
• Не было спецыяльнага дапрацоўкі модэля пад конкрэтныя задачы. Задачы рашаліся без дапрацоўкі, шляхом прымусовага запуску ўжо навучанага модэля.

GPT-2 не досягаў аптимальных рэзультатаў на большасці тэстаў, але яго пункты заўсёды падвышаліся ў меру збільшэння размеру модэлю, што было яскравым доказам таго, што дадаць больш параметраў мае плэн. Не менш важнае — нават самы большы GPT-2, як выглядала справа, не мог ўсунуць усіх недакладнасцей у працэсе обробкі дадзеных WebText. это значыла, што ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё

GPT-3 стаў перыямкам, які раз і назаўсёды выявіў, чы рэальна ўзнікла парадка з масовым прадзяланнем. З 175 мільярда параметраў ён быў у паўтора-два разы большы за найбольшы GPT-2. Архітектура зноў была трансформерам з толькі декодерам, схожым на сваіх попераднікаў, але даныя для дзялання былі значна большыя: корпус, створаны на базе CommonCrawl, розмерам прыблізна у дзесяць разоў большы за WebText, асцярожна сумешаны з калькама іншых джэрел у адно цэлэ.

GPT-3 ацэнівалі пераважна за дапамой методу кількісных прапаноў, які трэба адрозніваць ад ранейшых падходаў:

• GPT выкарыстоўваў тонкую наладку, адкорэгуючы вагі для кожнага завдання.
• GPT-2 выкарыстоўваў метод безкількісных прапаноў, калі завданне описвалася без прыкладаў.
• GPT-3 выкарыстоўваў метод кількісных прапаноў, дадаючы у прапан кальку вучыльных прыкладаў.

У стэце пра GPT-3 гэта называецца навчаннем у контэксте. Гэта назва адно часткаючы плутае, таму што нічога не вывучваецца у звычным сэнсе: вагі зовсім не зменяюцца. Прыклады ў запите проста выступаюць як контэкст, які спрабоюець направіць модель да кращага рэзультата. Апынулася, што GPT-3 дужа добра справляецца з гэтым, што парадксальна, адколі гэта навчанне у контэксте лягалося на асоціяцію з можымістю, якая вырастае з розмахамі моделі.

У рэзультатах тэстаў на разумеўненне мовы тачнасць у режыме каляко-шоутаў вырастала ў залежнасці ад размеру модэлю. Большыя модэлі лепа і эфектываўша выкарыстоўвалі інфармацыю з іх вікна контэксту, чым меньшыя, і ў калькі задач GPT-3 паставіў лепыя рэзультаты, чым пярэднія тэхнічныя стандарты, пры чым яго эфектыўнасць таксама павышалася з ростам размеру. Тое, што аднаму модэлю ўдавалася робіць гэта ў такім большым коліку задач, проста змініўшы запит, было выдатным фактам тады. GPT-3 стаў аднам з першых справжніх фундаментальных модэляў і запрадаў ідэю запытанняў як главнаг спосабу взаімадзеяння людзей з LLM-амі.

Пасля GPT-3: паслятрэнірованне стае важлівейшым

GPT-3 спакав хвалю заінтэрэсавання да ЛЛМ, якія фармаваліся пераважнае на большыя прэтрэнінгавыя процесы. Наступныя версіі OpenAI — InstructGPT, ChatGPT і GPT-4 — спалілі вялкамасовы прэтрэнінг з новымі методамі паслятрэнінгу, а саме кераваным фінтюнінгам і навчаннем за адказамі людзей (RLHF), і гэта падышча якосці прывела штучны інтэлект да шырокай увагі. У тэхнічным апаведамленні GPT-4 яго описваюць як трансфармер, які быў прэтрэніраваны на прыкладзенні прыцэплення наступнага токена, пры чым паслятрэнінгавая налаштовка павышае правдопадобнасць і адпаведнасць да бажанага паведання.

Прыблізна ў гэты час OpenAI пачала публікуваць значна меншае количество матэрыялаў. Моделі выдаваліся через API без детальных нарадзіваў. Тым не менш, частыя вяскі ўсё ж застаюцца доступнымі. InstructGPT, прымытны прадшукач ChatGPT, мае нарадзіваў, у якіх дакладна описваецца процес паслятрэніравання, і ў тых нарадзівах зазначаецца, што GPT-3 є його базовай модэллю. Логічна даследзіць, што павышэння якосці InstructGPT сталося пераважна за рахунак паслятрэніравання, а не за рахунак аднавога, але масівнага прадзягання.

GPT-4 быў явна болей спроможны за ChatGPT, але яго тэхнічны звясткі раскрывалі вельмі мало інфармацыі. У яму паўтараецца толькі наступнае:

1. Модэль ўжо ў вигляде трансфармера.
2. Яна прадзягана з выкарыстоўванням прыбліжэння наступнага токена.
3. Даныя включаюць як публічныя, так і ліцензаваныя джерела трэціх сторон.
4. Яна доўнейша налаштована за дапамогою методу RLHF.

Усё-такі масштабаванне знаходзіцца ў цэнтры таго звярнення. Аднам з галоўных інжынерных цялей была стварэння системы навчання, якая будзе дзейваць прыцягліва ў розныя масштабы, ўпэўніўшыся тым, што рэзультаты малых працэсаў можна будзе экстраполаваць да вялічезных і дужа дорогіх фінальных працэсаў. У звярненні зазначаецца, што фінальныя падыскі належна навучаных вялікіх модэляў добра апрыксамляюцца за дапамогою законама ступеня ў вычыслювальных ресурсах, выкарыстоўваных для навчання.

Это практычны практычны процес, які вжываўся раней і які застосоўваецца сёння. Паколькі повнае прадзеянне навчання є дужа дорогім, фактычна існуе толькі адна спроба, і няма можлівасці для налаштавання модэля пад конкрэтныя умовы. У замен команда навчала модэлі, выкарыстоўваючы на 1 000–10 000 разоў меншыя вычыслювальныя ресурсы, прыпасоўвала да іх законы ступеня і выкарыстоўвала гэтыя законы для прагнозавання рэзультатаў вялікіх модэляў. У звярненні пра GPT-4 показана самэ гэта — закон ступеня між вычыслювальнымі ресурсамі і падыскамі, які выкарыстоўваєцца для прагнозавання фінальных падысків GPT-4.

У падобной рэшэнцы ёсць адна дапамога паўстанацельна да таго, што мы бачылі раней: тэрмін нерэдуцібельных втарасак, які дае форму на кшталт L(C) = a * C^b + c. Константа c адбівае той факт, што втарасак ніколі не будзе дасягаць нуля, адтакуль ў натуральным тэксте ёсць справжняя адзінакавасць, якую ніяны модель не можа прыняць. Калі закон падбіраўся на малых працэсах, прыкладзенне па заканчэнні роботы GPT-4 выявілася вельмі точным. Таксама зверніце ўвагу, што на гэтым графіку вжываюцца лінейныя вісі, і зменшэнне рэзультата ўсё бол зрозумелае: павышэнне на кожную единіцу вычысленняў візуабельна зменшаецца з ростам вычысленняў.

У адаптаваным звярзе таксама было паўтарана, што первасортныя паказнікі збытка важка адразу інтэрпрэтаваць, і была спроба працаваць з болей значымымі паметрамі. Адным з прыкладаў є практычнасць у рашэнні задач у тэсте HumanEval. Задачы былі разгрупаваны па ступеню складнасці, і былі застосаваны законамі масштабавання, каб працаваць з прыбліжэннем практычнасці для кожнай групы. Выкарыстоўваючы вычысленні, якія займалі прыбліжна у 1 000 разоў меншы час, команда точна працавала з практычнасцю GPT-4 у тэсте HumanEval.

Урок, які можна вывести з гэтага падходу, застаецца аднаковым: большыя циклы прадзяловай падготовкі є корыстнымі, але дорогімі, а законамі масштабавання ўдаецца ўсё ж такі працаваць з прыбліжэннямі, якія дапамагаюць утримацца ад марнавання вычыслювальных ресурсоў на циклы, якія не прынесу рэзультатаў.

Chinchilla: модэлі страдалі ад нехваткі дадзэнняў

У даследжэнні 2020 года было рэкамендавана шырэйшая праця з параметрамі, чым з дадзеннямі. Часаў калькі пасля GPT-3 галузь пераважна следавала гэтай радзе, але гэта не дало хорашых рэзультатаў. Моделі, значна большыя за GPT-3, такія як MT-NLG з 530 мільярда параметраў, былі трэнаваны на наборах дадзенняя прыблізна такога ж розмеру, як у GPT-3, і не змоглі пераканаць яго. Тым часам моделі, якія падвышылі як параметры, так і колькасць дадзенняя, такія як Gopher ад DeepMind, паказалі значна лепшыя рэзультаты.

Гэтыя спазыраванні сталі падставай для стварэння даследжэння «Training Compute-Optimal Large Language Models» і статты «Chinchilla», у якіх занова была рассмотрена проблема масштабавання за дапамою гораздка большых эксперыментаў: моделі з 70 мільйонаў да 17 мільярдаў параметраў былі трэнаваны на наборах дадзенняя, якія перавышалі трыльйон токенаў. Трэнуячы множыцю комбінацый розмеру моделі і колькасці дадзенняя, ісследавачы вывелі закон, які прыбліжна прыбліжае апэктыўныя втраты, вызваныя гэткімі двума фактарамі. На адвароте гэтага закона можна вырахаваць оптымальны распад рэсурсаў для будзь-яга фіксаванага бюджэту на вычысленні.

Їхній вывад быў такім, што для оптимальнай падготовкі моделі ўжо па вычыслювальным меркам розмер моделі і розмер дадзеных павінны зрасаць у роўных пропорцыях. Па гэтам стандарту большасць існуючых LLM-модэлей былі недастаткова падготавленыя для свага розмеру; ім бы прынесла парадку большая колькасць дадзеных. Знайдзеныя законамі робілі вывад, што, напрыклад, модэлю Gopher павінна была б стаць падготавленая на наборе дадзеных, які быў бы прыблізна у 20 разоў большы. У стацыі таксама падкрэслілі, што колькасць дадзеных, якая гэта передбачае, значна перавышае тую, якая тады викорыстоўвалася.

Ёжабка, модэль з 70 мільярдаў параметраў, якая была падготавленая на 1,4 трыльйона токенаў, была выкорыстана командай для перапрацавкі гэтага твэрджэння. Ёй былі викорыстаны тыя ж дадзеныя і методы ацэнкі, што і для Gopher, але ёй быў у чатырох разоў меньшы розмер, і яна была падготавленая на значна большай колькасці дадзеных; яна стабільна параджала Gopher за канкрэтнымі показнікамі.

Законамі масштабавання, запропанаваным Чінчыллай, гадзіны ўважаліся стандартам. Термін «оптымальнае для Чінчыллы» увійшоў у повсякдзенную лексыку галузі, і гэты артыкул даўжа цитуецца, навет пасля таго, як было опублікована вельмі багата колькасць даследжэнняў на тэму масштабавання.

Важна быць точным ў тым, што значыць «оптымальнае для Чінчыллы», калі ўжо ўсё часта яго неправямыя. Ён описвае найменшыя втраты пры фіксаваным бюджэце навчання. Ён нічога не сказвае пра вартасць выконання задач. Команда, якая плануе викорыстоўваць модель мільярды разоў, можа навмысна навчаць меншую модель, праеўшчы межу, наведаную Чінчыллай, прыймаючы менш караблівы процес навчання зарады дышэўнейшай моделі пад час роботы. Гэты компроміс знову выйдзе на перадні план далей.

Дыскусыя пра тое, што масштабаванне сталочыцца на перакосе пасля GPT-4o

Калі ў другай палове 2024 года сповольнялася праця над стварэннем новых модэлей і видныя прагрэсы, тэма масштабавання стала асабліва актуальной. Пасля гадоў, калі саме масштабавання стварала практычна всі прагрэсы, серыя апаведамленняў пацярпелі, што гэты процес можа зупініцца:

• Reuters паведаміла, што OpenAI перэрабоўвае сваю стратэгію продукта пасля таго, як дасягла плато з ныякімі методамі.
• The Information паведаміла, што тэндэцыя прагрэсу між модэлямі GPT сповольняецца.
• Bloomberg описала калькі лабораторый, якія сталкнуліся з труднасцямі у стварэнні значна болей супэльных систем.
• TechCrunch стверджвае, што масштабавання дае все меншыя рэзультаты.
• Time опублікавала болей абэрнутыя статті пра разныя факты, якія лежачы за тэзай пра сповольненне прагрэсу.
• Іля Сутскевер у сваім выступлэнні на NeurIPS 2024 сказаў, што прыём прыкладнага навчання, які мы знаём, скончыцца.

Іншыя вядомыя эксперты не пагадзіліся. Генеральны дырэктар Anthropic Даріо Амодэй сказаў, што расшырэнне, верагатна, будзе продавацца, а Сэм Альтман з OpenAI стаўіўся на тое, што жаданых меж няма. Уместней, чым выбіраць адну з сторон, ёсць разумець, што на самай працэ падтрымваюць доследжэнні, калі ўжо обе стороны часткова правыя.

Чы розшырэнне сповольняецца? Це залежыць ад таго, што вы мерзіце

Натан Ламберт чыста апісаў ситуацыю: тэхнічна расшырэнне можа продавацца, аднак шырокаспектнае павышэнне, якое відчуваюць корыстувальнікі, сповольняецца. Адказ на пытанне «Чы розшырэнне сповольняецца?» залежыць ад вакладзення, і як «так», так і «нет» можна падтрымаць. Таму, замест таго, каб прымусіць ся да вароты, карысней рассмотрыць калькі окремых пытанняў.

У матэматыцы ўжо є прычыны спаду эфектаў

Памятаце, што на самай працо абяроцванняя закон адзначае: адносацію па законе ступеня между вычысковымі ресурсамі для трэніравання (альбо размахам модэлі або дадзэнняў) і падыходам у тэставанні. Ён не абяцвае экспансійных прагрэсаў ад незначных дадзэнняў вычысковых ресурсаў. Накрэслены на стандартных осях, гісторыя выглядае як экспансійны занік, і кожны наступны прагрэс коштае больш, чым пакананы.

Іншымі словамі, абяроцванняя законы за сваёй структурой ўзроўнююцца. Замедленне, якое людзі заўважаюць, у вялікай меры якраз і ўзгадваецца ў рэчынях. Якщо вы плануеце на адной з абяроцванняя законаў, вам следуе чакацца, што кожная новая версія будзе выкліквала мультиплікатыўны адрыст у ресурсах зарады меншага абсалютнага прагрэса.

Падыход не ёсць тым, чым кахаюцца людзі

Есць таксама несувязка ў паказніках. Законамі масштабавання прылегаюць моделі, адпрацоўваныя на данных прадзялёвай падготовкі, але няясна, што саме означае меньшы паказнік для можлівасцяў моделі. Чы прыводзіць гэта да вышэйшай точнасці пад час выканання наступных задач? Чы стварае гэта новыя можлівасці? Доследжэнні ўжоўпадготовкі зазначаюць, што спецыялісты зазвычай оціняюць моделі за тачнасцю на стандартных тэстах, а не за парадоксальнасцю на текстах, якія не былі викорыстаны пад час падготовкі. Такім чынам існуе розніца між гэтымі двума падходамі:

• Законамі масштабавання стверджуецца, што большыя циклы прадзялёвай падготовкі паступова зменшуюць паказнік на тэстах.
• Людзі ж хочуць "лепшую" модель, як бы яна не была визначана.

Гэтая дэфініцыя сильна разніцяецца. Звычайныя корыстувальнікі пераважна ацэнююць якасць чату. Професіялы кепяцяцца пра точнасць у конкрэтных задачах, якія яны выкананяюць. Наукавіцы з передавайных лабарацыяў часта ставяць вельмі высокія і вельмі конкрэтныя стандарты, такія як напісанне дактарскай дысертаціі або рашэнне матэматычных задач наўколініянасці, падобных тым, якія ўсталяны ў стандарце FrontierMath. Штучныя нейронныя меры такія шырокія, што існуе многа правільных падходоў да ўцэнкі іх, і жадны з іх не можа абагато ўсё ахватіць.

З урачунакам такога распространення, будзь-яяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя

Самым сильным аргументам проты ўсё большага масштабавання прадзеянняя паводлеяюць даны. Для масштабавання прадзеянняя патрэбна адгукліванне як самага модэлю, так і набора даных. Раследаванні на пачатку 2020 года паказалі, што даны маюць меншое значэнне, чым параметры, але Chinchilla паказаў, што ўсё ж такі ўсё тады ж. Да таго ж пазнейшыя раследаванні пра надмернае прадзеянняя паказалі, што стала стандартам прадзеянняя меньшых модэляў за межы оптымальнага за Chinchilla розмеру набора даных, і гэта адбываецца самэўсёлькі таму, што большыя модэлі є дорогія пад час выканання задач. Такая практыка выклікае патрэбу ў ўсё большым колькасці даных на адны параметр.

Усё гэта прыводзіць да аднаго вывару: для даўнейшага масштабавання прадзеянняя патрэбны большыя наборы даных. А большасць сучасных даных для прадзеянняя прадаёцца за счэт сканавання інтэрнету. Інтэрнета є толькі адны, і знайсці абсалютна новыя істочнікі высокакалітэтных текстоў у такім масштабе є складна.

Сутскевер самэ гэтае аргументаваў: вычысленні быстра растуць, але даныя — ні, таму што яны залежаць ад скрапінгу веб-сайтаў. Па такой думке прадзялёванне не можа растаць несканчатна, і галерыя патрэбуе новых шляхоў для прыбылі. Яго выраз для гэтай ситуацыі быў ты, што мы досяглі „піку даных“.

Шляхі, якімі прадзялёванне все ўсё можа раставаць

Зменшэнне рэзультатаў ёсць рэальным, а аргумент з данымі ўсунуты. Усё-такі калькі напрамоў даследжэнняў все ўсё можу паспрабаваць павысіць эфектывнасць прадзялёвання.

Сінтэтычныя даныя і розумнейшая ўпэўненасць у даных

Збільшэнне прэтрэйнінгу ў кількіснасці на калькі моцнасцей, верагатэльна, будзе вымагаць сінтэтычных дадзэнняў. Існуюць справядлівыя абавярэнні, што чырпанне занадта вялікай часткі зусібоў у створаны тэкст зменшае разнаўраснасць, але сінтэтычныя дадзэнні вядома больш і больш викорыстоўваюцца для LLM-аў, і рэзультаты выглядаюць позытыўнымі. Разам з гэтым падходы у стыле навучальнага плану і продовжэнне прэтрэйнінгу дало стойкія рэзультаты па мэрэчы змены дадзэнняў, а не самага модэлю, напрыклад, шляхом налагоджэння сумешання дадзэнняў або дадавання дадзэнняў у стыле інструкцыйяў напрыканце прэтрэйнінгу.

Законамі масштабавання для метрык, якія розумеюць людзі

Законы, адаптаваныя да збітам, важкаяя для практычнага застосоўвання, таму няўзабавныя доследжэння прыстосавалі гэтыя законы да болей зрозумелых крэтэраў. У падчас адзначанага раней доследжэння пра чрэзмерную падготовку законы адпавядаюць крэтэрамі, якімі є балы за тэставанне, якое ўключаецца ў LLM Foundry, а не чысты збіт. Гэта значна простае для разумення. Мало хто разумее, што значыць на 5% меньшы збіт у тэстах у практыцы, але пераход з 85% да 90% точнасці ў тэстах, якія для вас важлівыя, є мгновенна зрозумелым. Іншыя доследжэння распрацавалі гэю ідею для прыцэнкі выконання пасля падготовкі та квантызаціі, а таксама для моделювання таго, як выконання змінюецца падчас самай падготовкі.

DeepSeek-V3 як доказ таго, што масштабаванне ўсё ўсё мае значэнне

Незважаючы на пасімізм, масштабаванне прадзялёвання яшчэ і дае періяды рывкаў у рэзультатах. DeepSeek-V3 — это модель типу mixture-of-experts (MoE) з 671 мільярдамі параметраў, якая была натрэнавана на 14,8 трыльйона токенаў і выпускаецца з відкрытымі вагамі. Яе тэхнічны звярненне паказвае, што ёй вдаёцца перавыплываць GPT-4o і Claude 3.5 Sonnet у тых тэстах, якія расследуюцца. Для параду, моделі Llama 3 ад Meta былі натрэнаваны на больш чым 15 трыльйона токенаў.

Перамога над GPT-4o стала значным вектарам для модэляў з відкрытымі вагамі, якога нават самыя большыя моделі Llama не досяглі. DeepSeek-V3 аб’еднвае калькі тэхнік:

• Оптымізаваная архітектура MoE, перанесеная з DeepSeek-V2.
• Стратэгія балансавання навантажэння для экспертаў, якая не выкарыстоўвае дапаможныя патырэбы.
• Цэль натрэнавання на прыкладзе калькі токенаў.
• Дыстыляванне здольнасці да разумавання з модэля з дзейнай ланцуга мыслей, у духу падходу o1 ад OpenAI.

Ён таксама праходзіць праз паслятрэнінг, уключаючы кераваныя фінтюнінгі і RLHF, ў цілі яго адпаведнасці з праганнямі людзей. У апаведамленні зазначаецца, што прадзейнаванне на 14,8 Т токэнаў было выключна стабільным, без неконтрольваных спадоў качэння і без патрэбы ў адкатоўванні.

Проты галоўная прычына його сілы — грандыя масштабы: вельмі большы модель, трэнаваны на адпаведна большай базе дадзенаў. Адрабатка такога размеру є складной з багацько прычын, укладаючыся у збоі апаратуры і спады качэння, таму стабільная адрабатка за цэну, якая є разумной па стандартам LLM, сама па сабе є значным фактам. Це свідчыць пра тое, што вельмі большыя задачы прадзейнавання становяцца лёгкіяя для керавання і эфектывнейшыя з часам. Спрыймайце конкрэтныя порэвананні па бенчмарках як моментальны фота, адколькі табліца лідэраў з тэх падзеяў ўжо змянілася.

Іншы порядак велічыны — гэта інжынерны проект

Асалідна перацава над законамі масштабавання значыць трэба трэнаваць модэлі на калькількі порядкаў больш, чым сённяшнія. Незалежна ад таго, як вы ацэніваеце цю значыню, існуюць серьёзныя практычныя абмежэнні. Для цього патрэбны:

• Большыя кластэры вычыслаў.
• Больш і кращыя апаратныя засобы.
• Вельмі вялікія кантэнты электрадзейнае энергіі.
• Новыя алгорытмы, напрыклад, для распраўнага трэнавання у большым масштабе, можа, у калькількі дата-цэнтраў.

Наступная гэнерацыя — гэта не проста пытка купіць больш GPU. Це мнагапраспектная інжынерная праця, і на ёю патрэбны часы. Для параднага прыкладу, GPT-4 з’явіўся у марцы 2023 года, практычна чераз тры гады пасля GPT-3. Цялком разумна спадзявацца адпоўнай або большай паўзы для кожнага наступнага падвышэння масштабу у 10–100 разоў. Еге Эрділ з Epoch AI добра паўтарыў гэту дынаміку: кожнае падвышэння на калькількі порядкаў выклікае патрэбу ў новых інновацыях.

Звядзе прыходзіць працэўнае прыбыцце, калі прадзейнаванне застаецца на месцы: навчанне падтрымкай і вычысленні пад час тэставання

Праўда, толькі для аргументацыі, заўважым, што прыбыцце ад прадзейнавання завершыцца завтра. Даследжэнні ШІ все рава будуць мяць достатнько можлівасцей для шырокага прыбыцця. Сінтэтычныя даны — адна з вялікіх дырэкцый, якія вучыліся ўжо. Іншыя два направленні ў наступны час ўсё бол актыўныя:

1. Сістэмы та агенты LLM.
2. Моделі разумавання.

Адкрыць больш у існуючых моделях за дапамогою сістэм LLM

За межамі парадыгмы аднае запыткі

Большасць сучасных застосоўкаў на базе LLM выконваюцься па прынцыпе аднаго модэля: задача адправляецца ў адны модэль, а яго рэзультат выкарыстоўваецца як адказ. Якщо хочаце, каб такая система болей точна распрацоўвала складнейшыя задачы, очвідным рашэннем є викорыстанне кращага базовага модэля, але гэта вымагае чакання на наступную версію. Альтернатыва — стварэнне системы, якая спалучае калькі LLM або іншыя компаненты для рашэння задачы.

Разбіўка на часті і ланцоўка

Основная ідея системы на базе LLM — разбіць складную задачу на часткі, якія легча ўрабатваць модэлю або іншаму модулю. Існуе два главныя падходы:

1. Разбіўка задачы: раздзеліце задачу на падзадачы, распрацаваце кожную окрема, а пасля спалучыце рэзультаты ў фінальны адказ.
2. Ланцоўка: распрацаваце задачу або падзадачу за дапамогою серыі кальків LLM, а не аднай.

Їх можна викорыстоўваць окрема або разам. Возьмім систему для стварэння апуснення кніг. Можна разбіць задачу, спачатку стварыўшы апусненне кожнага роздзела. Пасля чаго можна або:

• Далей разбіць задачу, падзеліўшы роздзелы на меншыя фрагменты тексту, што ўоснове рекурзіўнага або іерархічнага апуснення.
• Выконваць последовныя вызывы: напрыклад, першы вызыв выкарыстоўваецца для выявлення ключоўых фактов з роздзела, а другі — для стварэння апуснення роздзела на аднойчыну з гэтых фактов.

У падсумку ўсія апусненні роздзела з’едынаюцца ў апусненне цэлай кнігі. Большасць складных задач можна такім чынам разбіць на простыя часткі, і самэ гэта робіць системы LLM такімі моцнымі. Калі процесы разбівання і последовнага выконання стаюць болей складнымі, такія системы ператвараюцца на высокаспецыялізаваны програмны апарат, а ўжо ўдоўжэльнае ўзгадванне такіх систем є самастоятней галою прыкладнай ШІ.

Продукты, якіяякі насправдэ прыменяюць людзі

Незважаючы на вялікую увагу, яку прымаюць LLM, колькісць практычных, шырокааа прыменяюцыхся сцэнарыёў застосоўвання застаецца малой. Найбольшыя з іх сёньня — генераванне коду і чат, якіяякі ўпораадна падходзяць для гэтай тэхналогіі.

Існуе многа сфер, дзе LLM моглі бы быць корыстнымі, але яшчэ не ўсё так, таму стварэнне практычна падмоглівых продуктов, якіяякі працуюць на базе LLM, самае по сабе ёсць важлівай проблемай у даследжэннях і інжынерыі. Спроможныя моделі вялікімі масамі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вялікімі вял

Межа межа системай LLM і агентам є нечыткай, часткова з-за таго, што тэрмін „агент“ стаў перанасытаным. Галоўная мысль заключаецца ў тым, што системы LLM можна розшырваць у багацько корыстных напрамкаў. Модель можна навучыць выклікваць інструменты, такія як калькулятор або пошуковыя системы, падчас рашэння проблемы. Яна можа запускать код, які сама напісала, або выконваць дзеянні зарады пользователя, напрыклад броніраваць гатэль або адправляць электранаўленні. Размах інструментаў і модуляў, якія можна прыўязаць да модэлі, дае практычна необмежаныя можлівасці для стварэння болей спроможных систем. Якщо вы хочаце конкрэтныя відпаведзі на пытанні пра структуру цыклу агента, наша інструкцыя па целях, інструментах, памяці і цыкле агента детальна яго раскрывае.

Стойкасць — гэта справжнія бутылочны горлышча

Надзяйнасць ўзьлёмам у стварэнні болей спроможных систем, і арыметыка пояснюе прычыну. Падазрóў, што система выкананае дзесяць вызоў LLM, кожны з якіх успевае у 95% случаў, і ўсе дзесяць павінны успець, каб фінальны рэзультат быў правільным. Сама система успевае толькі пра 60% часоў, адколькі 0.95^10 станавіць прыблізна 0.60. Кожны компанент здаецца надзяйным сам па сабе, але весь процес збываецца неудачна чатыры разы з дзесяці.

Дадзенне большае колькасці крокаў прычыняецца да множыннага пагіршэння ситуацыі, што ставя мярку таго, насколькі складным можа быць система, прычым яна не стане непрыдатной. Таму для стварэння большых систем неабходна зробіць кожны ўскладненні значна надзеяным. Дзеяныя доказы паказваюць, што сама масштабаванасць павышае стойкасць. Іншы спосаб — адналежныя алгорытмы метагенеравання. У працоўгах замест таго, каб выбраць адзін прыклад з моделі, викорыстоўваюцца такія методы, як паралельнае декодаванне, перакананне на рэвэлі крокаў і крітыка, каб праглытць болей выраблены і точны выхад. Дакладны аптак з гэтай галінкі — газета „З декодавання да метагенеравання: алгорытмы часу вывода для большых мовных модэляў“.

Гэтае направленне розвіваецца быстра і, верагодна, стане важлівым чыннікам прагрэсу. Калі метагенераванне павышаецца, моделі становяцца надзеянымі, а большасць складных систем LLM і агентаў становяцца практычнымі.

Практычны вынік для тых, хто стварае такія системы: перш чым дадаць ўточненне ў працэсе обробкі, аблікавайце ступень успеху ад пачатку да канца, памножыўшы ступені успеху кожнага крока, і разважыце, чы не будзе перагляду чы перапрыбутку выкарыстоўвацца для зміцнення слабейшага звена дышэўней, чым дадаць новыя можлівасці в іншым месцы.

Моделі разумавання і новая вісь масштабавання

Спачатку большасць LLM-аў вважалі простымі прыстроем для падбору шаблонаў, які запамятовваў даны і не мог ўсерйоз разумаваць. Гэтыя крытыкі заўсёды былі спроставлены ў апошнія гады. Сучасная картіна такая: гэтыя моделі, верагодна, завжды мелі прихованую здатнасць до разумавання, і саме правы спосаб прымусу чы навчання дапамагае яе раскрыць.

Ланцюг разумавання

Метод падзеяў працы мозга (Chain-of-thought, CoT) быў аднам з першых спосабаў, якія паказалі гэта. это чыста метод падзеяў: вы прасіце модель паспяшыць свае абгрунтаванне перш чым даць фінальную адпаведзь. Калі модель пішае паспяшы ўсіх крокаў свайго абгрунтавання пры адпаведзі, якосць яе логічных размышленняў значна падыходзіць. Дадатковыя прынады — гэтае абгрунтаванне чытальна для людзей, што спакойнаяяе тлумачэнне рэзультатаў.

Ідея простая і загальная, і яна стала ключовай для падыходжэння якосці логічных размышленняў у LLM. Яе перадаўалі ў багацькох формах:

• Адмацківальнікі, якія выкарыстоўваюць LLM як суддю, зазвычай пішаюць паспяш аблікавання балоў пры стварэнні свайго фінальнага рэйтингу.
• Развіваліся методы кантролюемага фінтюнінгу і настройкі па інструкцыях, каб навучыць меньшыя або адкрытыя моделі ствараць кращыя ланцюгі размышленняў.

Часта просьба да модэлі аналізуюць, крытыкуюць чы або перакананыя сваіх выходных рэзультатаў, а пасля правяць іх на адповіднасць гэтым адзінкам.

Складныя методы разумовага працавання застаюцца актуальной галою даследжэнняў. Методы навучэння, якія вучаюць модэлі включаць паэтапную перакананасць у свае мысленні, парадзіліся абяцкімі рэзультатамі, і, калі з’являюцца кращыя стратэгіі навучэння, магчыма ўсё большыя прыбыткі.

o1: думаць прытым, прытым адпавядаць

o1 адміністрацыі OpenAI стаў значным крокам у розвіцці спроможнасця LLM да логічнага мышлення, пры чым яго падход заснованы на ланцохах думак. Так сама, як чалавек размышляе пры адпаведзенні на складны запытанне, o1 таксама витрачае час на „размышленні“ пры адпаведзенні. Конкрэтна, яго думкі ўтвараюць дзяўныя ланцохі думак, у якіх модель аналізуе проблему, дзеліць яе на простыя крокі, пробуе разныя падходы і выправляе своія сабеўлекі. OpenAI описвае яго як модель, трэнаваную за дапамою методу падкрэплення для логічнага мышлення, якая можа стварыць дзяўны внутршні ланцох думак пры адпаведзенні.

Точныя правілы навчання яшчэ не былі опублікованы. OpenAI заявіла, што o1 выучыцца рассуждаць за дапамою алгорытму „великамасштабнага падкрэпленага навчання“, які ўсё „высокае эфектыўнае ў викорыстоўванні дадзенняў“ і спрямованы на павышэнне здатнасі моделі ствараць корыстныя ланцюгі разумовых працэсаў. Адкрытыя коментары дактараў з OpenAI парадзуюць, што модель навчаецца толькі за дапамою падкрэпленага навчання, чым спростовуея ранейшыя гаданні, што o1 пад час выконання задач викорыстоўвае якісь метод пошуку ў дрэве.

У задачах, якія выкалікаюць большую колькасць разумовых працэсаў, o1 перамагае GPT-4o практычна у всіх аспектах. Сярод рэзультатаў, апублікованых OpenAI, модель:

• Даходзіць да 89-го перцэнтіля ў задачах конкурэнтнага програмавання з Codeforces.
• Даходзіць да рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючага рэвэлюючаг
• Ён перавышае точнасць людзkich экспертаў з рэгістрацыяй доктара філасофіі у аспектах фізікі, біялогіі і хіміі на рэвалюйцыйных тэстах GPQA.

З o1 да o3: масштабаванне вычыслювальных ресурсаў для трэнавання і аналізу

Адна з найцікавейшых характэрыстыкаў o1 — гэта можлівасць падняць якасць рассудкавання за дапамогою большых вычыслювальных ресурсаў для аналізу. Чырабатычы з сложнейшымі задачамі, модель проста стварае дыяўольна дужэйшыя ланцюгі мыслей, і выкарыстоўванне большых ресурсаў пад час аналізу такіх ланцюгоў прыносіць паступовае падвышэння эфектыўнасці рассудкавання. Па словам OpenAI, o1 стае кращым за дапамогою двух окремых параметраў: колькасці вычыслювальных ресурсаў, выкарыстоўваных пад час трэнавання для аптымізацыі (вычыслювальныя ресурсы пад час трэнавання), і трываласці часу на роздумы па кожнай задачы (вычыслювальныя ресурсы пад час тэставання).

То ж самае стосуецца і навчання: o1 стае паступова лепшым чым большыя вычылкавыя моцы вкладаюцца ў навчанне за адзынакамі. Як выглядае, самэўсёле гэты пацёг прывёў да o3. OpenAI прадставіла рэзультаты ацэнкі o3 у канцы 2024 года і падаліла лічбы, але, вярогодна, гэта быў проста расшырэны варыянт o1, у якога ў навчанне за адзынакамі было вкладзена большая колькасць вычылкавых моцэй.

У часы той прадстаўленні o3 яшчэ не быў выпусцаны, а прадстаўленыя цыфры былі вражаючымі:

• 87,5% на тэсте ARC-AGI, дзе GPT-4o пасягнуў толькі 5%. Гэта зробіла o3 першым модэлем, які перасіліў 85%-ны порог людскага рэвэлю на ARC-AGI — тэст, які вважаецца „Паўтарою“ для AGI і які не быў пераможаны прыблізна пяць гадоў. Гэты высокі рэзультат быў атрыбутам конфігурацыі з вялікімі вычылкавымі моцамі.
• 71,7% па крэтэріі SWE-Bench Verified, а таксама рэйтынг у Codeforces Elo 2727, што ставіць яго сярод 200 лепшых конкурэнтных програмістаў у свеце.
• 25,2% па крэтэріі FrontierMath ад Epoch AI, што вышэй за пярэдні рэкорд у розмяре 2,0%. Терэнс Тао апісаў гэтую крэтэрію як чыразнацінна складную і спадзяваўся, што яна будзе працаваць проты систем AI прынеймна калькі лет.

У той жа час была прадставленае скорачаная версія o3-mini, якая паказала сильныя рэзультаты з набліжна лепшай эфектывасцю вычыслаў. Гэтыя былі толькі прыкладныя цыфры з адной аанунсаціі; для адносу выпусканых модэляў пераканаюцца з ныякімі дакументацыяй і незалежнымі ацэнкамі.

Чаму гэта ўласна новая парадыгма масштабавання

Якщо графікі o1 і o3 здаюцяся вам знайомымі, то гэта таму, што яны ўособлівае тое самае засоба аналізу, пра якое йдэцца ў цім матэрыяле: вычыслення на логарыметрычнай шкале на осі X і плавны, прямы адныяўленне параболічных характэрыстыкаў выконання. Іншымі словамі, гэтыя моделі рашэння паказваюць чыстае законамернае зв’язак між выконанням і двума величынамі:

• Вычыслення, якія витрачаюцца за час навчання на роботу з методамі падкрэплення.
• Вычыслення, якія витрачаюцца за час аналізу для прыменення моделі.

Гэта не падобаецца класычным законамернасцям. У працоўцы не мяніцца прэтрэйнінг, а мяніцца вычыслення, якія витрачаюцца пасля прэтрэйнінга і пад час аналізу. Це справжняя новая вісь законамернасці, і рэзультаты параза ўсё ў тым жа позытывным направленні. Гэта паказвае, што існуюць спосабы законамернасці, якія выходзяць за межы прэтрэйнінга, і што галерыя знайшла сабе наступную мету для працы. Форма можа змяніцца, але законамернасць усё равна залишаецца тым, што прымушвае до прагрэсу.

Адзін інжынерны наследак варта ясна адзначыць. Кал якосць залежыць ад вычыслювальных моцэй, косцт і час адпаведзьбы на кожны запит стаюць параметрамі, якія можна налагоджваць, а не фіксаванымі характэрыстыкамі модэлі. Це змінюе спосаб планавання бюджэту і проектавання прыемнаў: складнейшыя запыткі можна направляць на болей длігія вычыслення, а простыя — залічваць дышэчнымі.

Што трэба памяцаць, чытаючы графік масштабавання

• Закон масштабавання — это закон ступеня межа рэсурсам (параметрамі, дадзеннямі або вычыслювальнымі моцэмі) і падышкам у рэзультатах тэстаў. Прямая лінія на графіку лог-лог скрывае стрымкія зменшэнні эфектаў, таму кожныя паліпшэнні коштаюць у мультиплікатыўным спосабе больш.
• Этыя законы дзейнаюць толькі тады, калі іншыя факторы не ўтвараюць бутылочны горлышча, і самэ гэта прычына, чаму дадзенні, параметры і вычыслювальныя моцы должны растаць разам.

Chinchilla пераканаліла пярэднія рэкамендацыі: пры фіксаваным бюджэте на трэніраванне размер і даных модэлі должны растаць прапорцыянальна, а багатыя пярэднія модэлі былі слаба трэнаваныя. Косты выдавання часта прыводзяць кіманды да трэніравання меншых модэлей на ўсё большыя даны.

Галоўны практычны выкарыстоў паказнікаў масштабавання — гасціранне рызыка: іх застаўляюць на дышэчных запусках і прыменяюць для прагнозавання дорогіх запускаў, як гэта зрабіў атлас GPT-4 для показнікаў падтрымкі і шчыціны успеху ў HumanEval.

Відчуваемая спамячанасць вынікае з трохоў прычын: зменшэння эфектаў, якое прыпускае матэматыка, разліка межы падтрымкі і таго, што ценяць корыстувальнікі, а таксама длігі час на стварэнне модэлі наступнага порядку велічыны. Канечны запас веб-даных ёсць найсерьознейшым абмежэннем для прадзейнавання.

Прагрэс не залежыць толькі ад прадзяловання. Ояўнелепа спроектаваныя системы LLM патрабуюць прыгожасці прыголасна, адколькі шчырыні паклёнкі на кожны крок нарастаюць, а модэлі разумавання паказваюць, што навучэнне з адраджэннем пад час навучэння і разумаванне пад час выканання выконваюць свае сае крывыя масштабавання.

Корыстны вопыт больш не ў тым, чы расте масштабаванне, а ў тым, які рэсурс масштабуецца і чы прыбылі праблескваюць у паказніку, які нас насправдэ ж цікавіць.

Спаднёе чытанне

• Agent = Model + Harness: Where Reliable AI Behavior Actually Comes From: Дазвольце дазнацца, што такое AI agent harness, чаму стан, автарытэт і верыфікацыя належаць за межамі модэлі, і якія элементы стануць непатрэбныя з развіццем модэляў.
• Што на самай працо автаматызуе LangChain пасля таго, як створены цикл агента: Пасвячана таму, як LangChain, LangGraph і падобныя SDK-ы выкорыстоўваюць той самы основны цикл агента, створаны з нуля, і калі викорыстанне фрэймворку дапамагае чы робіць шкоду.
• Рекурсыўнае самапрадактыванне ў AI-агентах: Што на самай працо паказваюць эксперыменты: Дзеяўнае аналізаванне машын Гёделя, STOP, агента Гёделя, SICA, машыны Гёделя Дарвіна, SEAL і Hyperagents, а таксама спосабаў ацэнкі, чы агент, які сам сабе мяніць, дзейсна прадактывіцца.