Закони масштабування ШІ, GPT-4o та машинне навчання з посиленням: що прогнозують криві.
Як читати закони масштабування ШІ, що виявили Каплан та Чінчілла, як лабораторії використовували їх від GPT-3 до GPT-4o, та чому машинне навчання з посиленням додає нову вимірність обчислень.
Майже кожен значний прорив у якості мовних моделей протягом останніх кількох років був досягнутий шляхом виконання тих самих дій у більшому масштабі: більше параметрів, більше токенів для навчання, більше GPU. Закони масштабування — це рівняння, які перетворюють цю практику на щось, що можна планувати, адже вони прогнозують, як зменшуватиметься рівень втрат моделі під час тестування при збільшенні кількості ресурсів, таких як обчислювальні потужності для навчання. Їх також часто неправильно інтерпретують, тому заголовки новин постійно змінюються між фразами «масштабування гарантоване» та «масштабування зіткнулося з перешкодами». Прочитавши цю статтю, ви зможете правильно розуміти графіки масштабування у форматі лог-лог, пояснювати, що насправді означають результати досліджень Kaplan та Chinchilla, аналізувати дискусії про «сповільнення» розвитку моделей, не займаючи жодної сторони, та розуміти, чому саме агенти та моделі для міркувань є наступними сферами, де відбувається масштабування обчислювальних ресурсів.
Структура є «знизу догори». Ми починаємо з математики закону степеня, переходимо до досліджень, які сформулювали закони масштабування для мовних моделей, розглядаємо, як ці закони вплинули на родину моделей GPT та наступні моделі, аналізуємо аргументи про те, що процес масштабування втрачає ефективність, і завершуємо розгляд напрямками, які дозволяють продовжувати прогрес навіть у разі стабілізації результатів попереднього навчання.
Основний елемент: закони степеня
Дві величини, один прогнозований зв’язок
Закон степеня — це просто правило, яке пов’язує два показники так, що пропорційна зміна одного призводить до пропорційної зміни іншого. У контексті великих мовних моделей однією з цих двох величин майже завжди є втрата на тестуванні (іноді її замінюють таким показником, як точність у певній завданні), а іншою є параметр, який можна змінювати: кількість параметрів, розмір набору даних чи загальна кількість обчислень під час навчання.
Типове твердження з статті про GPT-3 виглядає приблизно так: за наявності достатньої кількості даних втрата під час верифікації має дотримуватися приблизно плавного закону степеня залежно від розміру моделі. Практичний сенс полягає у тому, що кількість параметрів та втрата під час тестування пов’язані між собою у вимірюваному способі. Якщо розширити модель, зберігаючи інші умови (достатньо даних, достатньо обчислювальних ресурсів), втрата зменшується у коефіцієнті, який можна заздалегідь передбачити.
Корисною властивістю тут є інваріантність до масштабу. Якщо помножити вхідні дані на певний константний коефіцієнт, вихідні дані також помножаться на фіксований коефіцієнт, незалежно від того, з якої точки на кривій ви почали. Саме це робить закони степеня привабливими для прогнозування: зв’язок, який ви вимірюєте між моделлю з 10 мільйонів та 100 мільйонів параметрів, дає вам конкретну інформацію про перехід від 10 мільярдів до 100 мільярдів параметрів.
Стандартна та зворотна форми
Основна форма — y = a * x^p, де x та y — це дві величини, а a та p — константи, які визначаються на основі даних. При додатному показнику степеня y зростає разом із x. На звичайних координатах крива вигинається вгору; на координатах логарифмів вона стає прямою лінією, оскільки обчислення логарифмів перетворює рівняння log y = log a + p * log x на лінійне рівняння з кутом нахилу p. Саме тому у наукових публікаціях майже завжди використовуються логарифмічні масштаби для побудови графіків.
Проте криві, які ви бачите у статтях про ШІ, мають протилежний напрямок: зростання ресурсів супроводжується зниженням втрат. Це є законом оберненої степеневої залежності, y = a * x^(-p), тобто та сама формула з негативним показником степеня. Зміна знака показника степеня змінює форму кривої, а на логарифмічних координатах утворюється характерна пряма, яка спускається вправо. Коли у статті показано залежність втрат від обчислювальних ресурсів, даних чи параметрів у вигляді чіткої спадної лінії, саме цю залежність і зображено. Пам’ятайте про це, адже прямолінійність кривої є наслідком використання логарифмічних координат, і багато плутанини щодо масштабування виникає через забування про це.
Перше систематичне дослідження: залежність втрат від параметрів, даних та обчислювальних ресурсів
Відкриті питання до 2020 року
Коли з’явився первісний GPT, не було очевидно, наскільки важливим є масштаб. Моделі мови обіцяли багато, але були обмежені, і не існувало чіткого способу їх покращення. На кілька запитань не було однозначних відповідей. Чи справді має велике значення структура мережі, тобто кількість шарів та їхній розмір? Чи справді більша модель завжди працює краще? Скільки даних потрібно більшій моделі?
У статті OpenAI 2020 року «Закони масштабування для нейронних моделей мови» намагалися відповісти на ці запитання, вимірюючи, як значення втрат під час тестування змінюється залежно від розміру моделі, її структури, розміру набору даних, обчислювальних ресурсів для навчання та розміру пакетів даних. Основним висновком було те, що значення втрат підпорядковується закону степеня для кожного з трьох показників, причому деякі тенденції зберігаються навіть при зміні на більш ніж сім порядків величини:
- Кількість параметрів моделі.
- Розмір набору даних.
- Обчислювальні ресурси для навчання.
Важливою умовою є те, що кожна залежність діє лише тоді, коли дві інші величини не є обмежуючим фактором. Величезна модель, навчена на дуже маленькому наборі даних, не дотримується кривої параметрів, оскільки самі дані стають вузьким місцем.
Як проводилися експерименти
Дослідники попередньо навчили моделі з кількістю параметрів до 1,5 млрд на підмножинах корпусу WebText2, які містили від 22 млн до 23 млрд токенів. Кожна модель використовувала контекст обсягом 1 024 токенів та звичайну мету прогнозування наступного токену, якою є втрата крос-ентропії щодо словника. Та сама крос-ентропія, виміряна на даних, які не використовувалися під час навчання, слугувала основним показником продуктивності. Усе це не є чимось незвичайним; це по суті стандартна схема попереднього навчання, яка використовується для більшості LLM, тому результати так добре узагальнювалися.
Як виглядають отримані закономірності
Показник втрат під час тестування на WebText2 поступово покращувався зі збільшенням параметрів, даних та обчислювальних ресурсів. Ці тенденції охоплювали вісім порядків величини обчислювальних ресурсів, шість порядків величини розміру моделі та два порядки величини розміру набору даних. Отримані рівняння схожі на вищезгаданий закон зворотних степенів, але сформульовані трохи інакше: провідна константа дорівнює одиниці, а константа масштабування розташована всередині дужок. Для розміру моделі, наприклад, формула виглядає як L(N) = (N_c / N)^alpha_N, де N — кількість параметрів, N_c — отримана константа, а alpha_N — отриманий показник степеня. Аналогічні формули існують для розміру набору даних D та обчислювальних ресурсів C.
Щоб отримати чисті криві прилягання, потрібен був один детальний момент: параметри з таблиць позиційних та токенних ембеддингів не враховуються під час підрахунку. Їх включення робить тенденції більш шумними, тоді як підрахунок лише параметрів, що не є ембеддингами, дає акуратні прямі лінії. Якщо ви коли-небудь намагатиметеся відтворити діаграму масштабування, саме такий вибір у методиках обчислень може тихо змінити ваші результати.
Оскільки кожен закон передбачає, що інші фактори не є вузькими місцями, практичним правилом є масштабування всіх трьох факторів разом. Якщо намагатися впливати лише на один з них, ефекти швидко почнуть зменшуватися.
Читання кривих без логарифмічного масштабу
Діаграми у вигляді логарифмів проти логарифмів виглядають дуже лінійними, що спонукає до надмірно оптимістичного тлумачення. Якщо намалювати ті самі закони на звичайних вісях, їхня форма повністю змінюється: спочатку крива різко опускається, а потім рівніє, нагадуючи експоненційне зменшення.
Це має значення, тому що багато популярних коментарів передбачають протилежну інтуїцію, ніби якість моделі зростає експоненційно, тоді як обчислювальні ресурси — лише логарифмічно. Математика говорить про щось набагато більш стримане. Кожне подальше зменшення втрат коштує множинного збільшення ресурсів, тож досягнення покращень стає все дорожчим та значно складнішим у міру просування вперед. Пряма лінія на діаграмі лог-лог означає „десять разів більше обчислювальних ресурсів дає фіксоване часткове покращення“, а не „трохи більше ресурсів дає значно кращу якість“.
Форма майже не має значення, а масштаб — дуже важливий
Окрім трьох законів потужності, у дослідженні було виявлено, що архітектурні параметри, такі як співвідношення глибини та ширини, мали лише незначний вплив на рівень втрат порівняно з первинним масштабом. Більше параметрів, більше даних та більше обчислень призводили до плавних та надійних покращень; зміна пропорцій мережі майже не впливала на результати.
Дослідники також помітили, що більші моделі є ефективнішими з точки зору використання даних. Більша модель досягає певного рівня втрат після обробки меншої кількості токенів, ніж менша модель. З чисто обчислювальної точки зору це передбачає незвичайну стратегію: тренувати дуже велику модель на відносно невеликій кількості даних та зупинятися задовго до її збіжності. Це справді є оптимальним з точки зору обчислень під час навчання, але це ігнорує те, що відбувається після навчання. Обслуговування великої моделі за кожен запит є дорогим, тому на практиці команди зазвичай роблять навпаки — тренують менші моделі на більшій кількості даних, оскільки їх обслуговування значно дешевше.
У дослідженні також розглядалося, як розмір набору даних має зростати разом із розміром моделі, і було зроблено висновок, що обсяг даних може зростати повільніше, ніж параметри. Приблизно, щоб зробити модель приблизно в вісім разів більшою, потрібно було лише приблизно в п’ять разів більше даних, щоб уникнути переобучення. (Це співвідношення випливає з встановленої залежності, згідно з якою потреба в даних зростає пропорційно до розміру моделі, піднесеного до степеня, трохи меншого за один.) Пам’ятайте про цю рекомендацію, адже подальші дослідження Chinchilla її спростували.
Нарешті, ті самі закономірності спостерігалися й у кількох інших наборах даних для оцінки після того, як до показника втрат було додано фіксовану корекцію для урахування різної розподіленості даних. Разом ці результати переконливо свідчать про те, що моделювання мови покращується плавно та прогнозовано, коли розмір моделі, обсяг даних та обчислювальні ресурси належним чином масштабуються, а також про те, що більші моделі будуть як кращими, так і ефективнішими з точки зору використання даних. Саме це стало підставою для проведення масштабних процедур попереднього навчання, які відбулися пізніше.
Як лабораторії насправді використовують закони масштабування
Переваги масштабного попереднього навчання супроводжуються незручною перешкодою. Найкращі результати вимагають величезних моделей та наборів даних, а їх обробка коштує чимало грошей. Уявіть собі витрати на рівні десяти мільйонів доларів лише на одну спробу, щоб потім з’ясувати, що модель є розчаровуючою. За таку ціну немає можливості для експериментальної налаштування моделі повного розміру; потрібна впевненість у тому, що конфігурація спрацює.
Закони масштабування — це інструмент, який забезпечує цю впевненість. Окрім підтвердження існування певних зв’язків, вони дають дослідникам конкретну схему роботи:
- Навчіть сім’ю значно менших моделей у різних умовах.
- Пристосуйте закони масштабування до результатів роботи цих малих моделей.
- Використайте ці закони для прогнозування продуктивності значно більшої моделі.
Цей процес не є абсолютно надійним. Екстраполяція з невеликих експериментів на великі може бути неточною, а деякі характеристики змінюються зі збільшенням масштабу у способи, які невелика модель не зможе виявити. Були розроблені такі методи, як схеми передачі гіперпараметрів, щоб зробити екстраполяцію з невеликих на великі обсяги більш надійною, а застосування законів масштабування під час дешевих експериментів тепер є звичайною практикою. Окрім зменшення технічних ризиків, достовірний прогноз також значно полегшує обґрунтування бюджету для великих експериментів перед тими, хто їх фінансує.
Існує просте правило, яке допомагає визначити, коли не варто довіряти екстраполяції: якщо ваші невеликі експерименти не охоплюють принаймні кілька порядків величин, або якщо ви змінюєте суміш даних, токенізатор чи архітектуру між невеликими та великими експериментами, застосовані константи можуть більше не бути актуальними. Значення закону масштабування залежить виключно від того, що всі інші фактори залишаються незмінними.
Масштабування в епоху попереднього навчання, від GPT-3 до GPT-4
Як тільки були встановлені закони масштабування, спосіб досягнення прогресу став майже надто простим: навчати більші моделі на ще більших та чистіших наборах даних. OpenAI дотримувався цього підходу у серії моделей GPT, як і більшість інших значущих моделей. Ілля Сутскевер пізніше описав цей період як „епоху попереднього навчання“, яка характеризується дуже великими мережами, навченими на дуже великих наборах даних.
Сімейство GPT як експеримент з масштабуванням
Лінійка GPT є найвідомішим застосуванням цих ідей. Обговорення тут зосереджується на моделях до GPT-3 з двох причин: їхні деталі були оприлюднені відкрито, а також пізніші моделі значною мірою покращилися завдяки досягненням у фазі післянавчання, а не лише завдяки масштабу попереднього навчання. Якщо ви хочете побачити, які зміни відбулися з кожною новою версією для розробників додатків, перегляньте наш огляд від GPT-1 до моделей міркування; тут увага приділяється тому, що кожен крок говорить про масштабування.
GPT за сучасними стандартами був невеликим: 12 шарів та 117 мільйонів параметрів. Спочатку його попередньо навчали на базі BooksCorpus — необробленому тексті близько 7 000 книг, а потім окремо налаштовували для кожного наступного завдання з використанням керованої мети та спеціальної головки класифікації для кожного завдання. Це була одна з перших демонстрацій масштабного самокерованого попереднього навчання трансформера з лише декодером, і вона виявила кілька важливих уроків:
- Самокероване попереднє навчання на звичайному тексті працює дуже ефективно.
- Важливе значення має навчання на довгих, безперервних фрагментах тексту.
- Модель, попередньо навчена таким чином, може бути додатково налаштована для досягнення найвищої точності у широкому спектрі завдань.
Сама модель не була особливо вражаючою, але вона заклала два ключові елементи — трансформер з лише декодером та самокероване попереднє навчання, які згодом дозволили розширити масштаби цих технологій значно.
GPT-2 з’явився незабаром після цього як набір моделей із кількістю параметрів до 1,5 млрд. Архітектура та цілі навчання були такими ж, як у GPT, але змінилися дві речі:
- Для попереднього навчання використовувався WebText — набір даних, зібраний з Інтернету та значно більший за BooksCorpus.
- Не існувало додаткового тонкого налаштування під конкретні завдання. Завдання вирішувалися без попереднього навчання шляхом прямого запиту до попередньо навченої моделі.
GPT-2 не досяг найкращих результатів у більшості тестів, проте його показники постійно покращувалися зі збільшенням розміру моделі, що було явним доказом того, що додавання параметрів приносить користь. Не менш важливим було те, що навіть найбільша версія GPT-2, схоже, все ще погано працювала з WebText. Це свідчило про наявність можливостей для покращення: подальше збільшення розміру як моделі, так і даних мало продовжувати допомагати. У статті про GPT-2 також стверджувалося, що мовна модель з достатньою ємністю почне інтуїтивно розуміти та виконувати завдання, які демонструються в природній мові, просто тому, що це допомагає їй краще прогнозувати текст. Цей аргумент разом із зафіксованими тенденціями надав дослідникам впевненості у продовженні роботи.
GPT-3 став поворотним моментом, який вирішив питання про те, чи варта себе масштабна попередня підготовка моделей. З 175 мільярдами параметрів він був у понад 100 разів більшим за найбільшу версію GPT-2. Архітектура знову була трансформером із лише декодером, схожим на попередників, але обсяг даних для навчання значно зріс: це був корпус даних, створений на основі CommonCrawl, розміром приблизно в десять разів більшим за WebText, поєднаний із кількома іншими джерелами у єдину суміш даних.
GPT-3 оцінювали переважно за допомогою методу кількісного навчання з невеликою кількістю прикладів, що варто відрізняти від попередніх підходів:
- GPT використовував тонке налаштування, оновлюючи ваги для кожного завдання.
- GPT-2 використовував метод навчання без прикладів, описуючи завдання без жодних прикладів.
- GPT-3 використовував метод кількісного навчання з невеликою кількістю прикладів, додаючи до запиту кілька вже оброблених прикладів.
У статті про GPT-3 цей процес назвали навчанням у контексті. Ця назва трохи вводить в оману, адже нічого не вивчається у звичайному розумінні: ваги зовсім не змінюються. Приклади у запиті просто виступають як контекст, який спрямовує модель на кращий результат. Виявилося, що GPT-3 дуже добре справляється з цим, що свідчить про те, що навчання у контексті — це здатність, яка з’являється зі збільшенням масштабу.
У тестах на розуміння мови точність роботи з кількома прикладами зростала зі збільшенням розміру моделі. Більші моделі краще та ефективніше використовували інформацію зі свого вікна контексту, ніж менші, і у кількох завданнях результати GPT-3 у режимі кількох прикладів перевершили попередні досягнення, знову покращуючись у міру збільшення розміру моделі. Те, що одна модель могла досягати таких результатів у стількох завданнях, змінюючи лише запит, було вражаючим на той час. GPT-3 став однією з перших справжніх фундаментальних моделей та запровадив концепцію запитів як основний спосіб взаємодії людей із ШІ на основі мови.
Після GPT-3: післятренувальна обробка почала відігравати більшу роль
GPT-3 спричинив хвилю інтересу до ШІ з великими мовними моделями, зосереджену переважно на більших процесах попередньої підготовки. Наступні версії від OpenAI — InstructGPT, ChatGPT та GPT-4 — поєднали масштабну попередню підготовку з новими методами післяпідготовчої обробки, а саме керованим доробкою параметрів та навчанням з підкріпленням на основі зворотного зв’язку від людей (RLHF), що призвело до значного покращення якості та привернуло увагу до ШІ в загальному співтоваристві. У технічному звіті про GPT-4 його описують як трансформер, попередньо навчений на прогнозуванні наступного токену, чия післяпідготовча обробка покращує точність інформації та дотримання бажаної поведінки.
Приблизно в цей час OpenAI почав публікувати значно менше інформації. Моделі постачалися через API без детальних наукових статей. Проте деяка інформація все ще доступна. InstructGPT, прямий попередник ChatGPT, має детальну статтю, яка описує процес післятренування, і в цій статті зазначається, що базовою моделлю є GPT-3. Цілком логічно припустити, що покращення InstructGPT були досягнуті переважно завдяки післятренуванню, а не завдяки більш тривалому попередньому тренуванню.
GPT-4, безумовно, був потужнішим за ChatGPT, але його технічний звіт містив дуже мало інформації. Він підтверджує лише наступне:
- Модель є трансформером.
- Вона попередньо натренована з використанням прогнозування наступного токену.
- Дані походять як з публічних, так і з ліцензованих джерел третіх сторін.
- Вона дороблена за допомогою методу RLHF.
Проте масштабування залишається центральною темою цього звіту. Однією з основних інженерних цілей було створення системи навчання, яка буде поводитися прогнозовано на різних масштабах, щоб результати невеликих експериментів можна було екстраполювати на величезні та дуже дорогі фінальні експерименти. У звіті зазначається, що кінцеві показники втрат у належним чином навчених великих моделей добре описуються законами степеня у кількості обчислень під час навчання.
Це практичний підхід, використовуваний на передовій. Оскільки повне попереднє навчання є дуже дорогим, фактично робиться лише одна спроба, і немає можливості для налаштувань, специфічних для моделі. Натомість команда навчала моделі, використовуючи в 1 000–10 000 разів менше обчислень, підбирала до них закони степеня та використовувала ці закони для прогнозування характеристик великої моделі. У звіті про GPT-4 саме це і показано – закон степеня між кількістю обчислень та рівнем втрат, який використовується для прогнозування кінцевих показників втрат у GPT-4.
У розрахованій рівнянні є одна додаткова складова порівняно з тим, що ми бачили раніше: терм ірредуцібельних втрат, який надає форму на кшталт L(C) = a * C^b + c. Константа c відображає той факт, що втрати ніколи не досягнуть нуля, оскільки природний текст містить справжню випадковість, яку жодна модель не може передбачити. При застосуванні цього закону до невеликих даних прогноз кінцевих втрат GPT-4 виявився дуже точним. Також зверніть увагу, що на цьому графіку використані лінійні осі, і зменшення ефективності чітко видно: покращення за одиницю обчислень помітно зменшується зі зростанням обчислювальних ресурсів.
У звіті також визнавалося, що первинні показники втрат важко інтерпретувати, тому намагалися прогнозувати більш значущі метрики. Одним із прикладів є показник проходження завдань у тесті HumanEval для кодування. Завдання були груповані за рівнем складності, і було застосовано закон масштабування для прогнозування показника проходження для кожної групи. Використовуючи процеси обробки даних, які вимагали приблизно в 1 000 разів менше обчислювальних ресурсів, команда точно прогнозувала показник проходження GPT-4 у тесті HumanEval.
Урок, який можна з цього зробити, є послідовним: більші процеси попереднього навчання є корисними, але дорогими, а закони масштабування дозволяють їх достатньо точно прогнозувати, щоб уникнути марної витрати обчислювальних ресурсів на процеси, які не принесуть результату.
Chinchilla: моделі не мали достатньо даних
У дослідженні 2020 року рекомендувалося прискорювати зростання параметрів швидше, ніж обсяг даних. Деякий час після появи GPT-3 галузь переважно дотримувалася цієї поради, але це не принесло хороших результатів. Моделі, значно більші за GPT-3, такі як MT-NLG з 530 мільярдами параметрів, тренувалися на наборах даних приблизного розміру GPT-3 та не змогли перевершити його. Тим часом моделі, у яких одночасно збільшувалися як параметри, так і обсяг даних, наприклад Gopher від DeepMind, показували значно кращі результати.
Ці спостереження стали стимулом для створення дослідження «Training Compute-Optimal Large Language Models» та статті Chinchilla, у яких заново розглядалося питання масштабування за допомогою набагато більших експериментів: моделі з 70 мільйонів до 17 мільярдів параметрів тренувалися на наборах даних, що налічували понад трильйон токенів. Тренуючи багато комбінацій розміру моделі та обсягу даних, дослідники сформулювали закономірність, яка дозволяє прогнозувати втрати від впливу обох факторів одночасно. За допомогою цього закону можна визначити найкраще розподілення ресурсів для будь-якого фіксованого бюджету на обчислення.
Їхнім висновком було те, що оптимальне з точки зору обчислень навчання має збільшувати розмір моделі та обсяг даних у пропорційних частках. За цим критерієм більшість існуючих LLM були недостатньо навчені для свого розміру; їм було б корисно значно більше даних. Запропоновані закономірності свідчили, наприклад, що Gopher мав би навчатися на наборі даних, приблизно у 20 разів більшому. У статті також зазначалося, що обсяг даних, який це передбачає, значно перевищує той, який використовувався на той час.
Щоб перевірити це твердження, команда навчила Chinchilla — модель з 70 мільярдами параметрів, навчену на 1,4 трильйона токенів. Вона використовувала ті самі дані та налаштування оцінки, що й Gopher, але була в чотири рази меншою та навчалася на значно більшому обсязі даних, причому постійно показувала кращі результати, ніж Gopher.
Закони масштабування Чінчілли протягом багатьох років залишалися точкою відліку. Термін „оптимальний за принципами Чінчілли“ увійшов до повсякденної лексики цієї галузі, і ця стаття досі постійно цитується, незважаючи на те, що з того часу було опубліковано чимало досліджень з питань масштабування.
Важливо бути точним щодо значення терміну „оптимальний за принципами Чінчілли“, адже його часто неправильно використовують. Він описує найкращі показники втрат для фіксованого бюджету на навчання; він нічого не говорить про витрати під час інференсу. Команда, яка планує використовувати модель мільярди разів, може навмисно навчати меншу модель, перевищуючи критерій співвідношення Чінчілли, приймаючи менш ефективний процес навчання в обмін на дешевшу модель у продакшені. Цей компроміс знову згадується нижче.
Дискусія про те, що масштабування досягло своїх меж після GPT-4o
У другій половині 2024 року, коли просування моделей та помітні покращення сповільнилися, тема масштабування стала особливо актуальною. Після років, коли саме масштабування спричиняло майже кожен прорив, низка звітів свідчила про його можливу зупинку:
- Reuters повідомив, що OpenAI коригує свою стратегію продуктів після досягнення плато у розвитку існуючих методів.
- The Information повідомив, що темпи покращень у моделях GPT уповільнюються.
- Bloomberg описав кілька передових лабораторій, які мають труднощі зі створенням значно потужніших систем.
- TechCrunch стверджував, що масштабування приносить все меншу користь.
- Time опублікував більш обережну статтю про різні фактори, які лежать в основі твердження про уповільнення прогресу.
- Ілля Сутскевер у своїй промові під час церемонії вручення нагороди Test of Time на NeurIPS 2024 сказав, що таке попереднє навчання, як ми його знаємо, скоро закінчиться.
Інші впливові експерти не погодилися. Генеральний директор Anthropic Даріо Амодей сказав, що масштабування, ймовірно, буде продовжуватися, а Сем Альтман з OpenAI наполягав на тому, що жодних обмежень немає. Замість того, щоб обирати сторону, корисніше зрозуміти, що насправді підтримують дослідження, адже обидві сторони частково мають рацію.
Чи уповільнюється масштабування? Це залежить від того, що ви вимірюєте
Натан Ламберт чітко сформулював ситуацію: технічно масштабування все ще може функціонувати, тоді як швидкість покращень, яку відчувають користувачі, уповільнюється. Чесна відповідь на запитання «Чи уповільнюється масштабування?» залежить від визначення, і як «так», так і «ні» можна обґрунтувати. Тож замість того, щоб примушувати себе дати вердикт, продуктивніше розглянути кілька окремих аспектів.
У математиці вже закладені зменшуючіся результати
Згадайте, що насправді означає закон масштабування: це залежність у вигляді закону степеня між обчислювальними ресурсами під час навчання (або розміром моделі чи даних) та втратами під час тестування. Він не обіцяє експоненційного покращення від незначних додаткових ресурсів. Якщо нанести цю криву на звичайні осі, вона виглядає як експоненційне зменшення, і кожне подальше покращення коштує дорожче, ніж попереднє.
Іншими словами, закони масштабування за своєю суттю є спрямованими на стабілізацію. Уповільнення, яке помічають люди, у великій мірі є саме тим, що прогнозують ці рівняння. Якщо ви плануєте, керуючись законом масштабування, ви повинні очікувати, що кожне нове покоління вимагатиме множинного збільшення ресурсів заради меншого абсолютного покращення.
Втрати — це не те, що хтось насправді цікавить
Існує також розбіжність у показниках вимірювань. Закони масштабування підбираються на основі втрат під час попереднього навчання, але незрозуміло, що означає менша втрата з точки зору можливостей моделі. Чи призводить це до вищої точності у наступних завданнях? Чи створюється завдяки цьому нові здібності? Дослідження щодо надмірного навчання вказують на те, що фахівці зазвичай оцінюють моделі за точністю у тестах, а не за показником перплекситету на текстах, які не використовувалися під час навчання. Тож існує розрив між цими двома підходами:
- Закони масштабування стверджують, що більш тривале попереднє навчання буде поступово знижувати втрати під час тестування.
- Люди прагнуть "кращої" моделі, як би вони її не визначали.
Це визначення сильно варіюється. Звичайні користувачі переважно оцінюють якість чату. Фахівці зосереджуються на точності у конкретних завданнях, які вони використовують. Дослідники у передових лабораторіях часто ставлять дуже високі та дуже конкретні вимоги, наприклад, створення дисертації на здобуття ступеня доктора наук або розв’язання математичних задач дослідницького рівня, подібних до тих у тесті FrontierMath. Штучні інтелектуальні мови настільки різноманітні, що існує багато обґрунтованих підходів до їх оцінки, і жоден з них не охоплює все повністю.
З огляду на таку розбіжність, будь-які твердження про те, чи є масштабування „ефективним“, чи ні, завжди будуть спірними. Чіткіше визначення успіху допомагає. Якщо наука прогнозує менші втрати у більших моделях, це не означає, що кожна нова модель задовольнить усіх користувачів. Нездатність досягти рівня AGI чи не перевершити нагороджених математиків не свідчить про те, що масштабування припинило працювати з технічної точки зору. Частина спостережуваної уповільнення, ймовірно, є проблемою очікувань та сприйняття, а не порушенням основних законів.
Кількість даних є обмеженою
Найсильнішим аргументом проти подальшого збільшення масштабу попереднього навчання є проблема даних. Для масштабування попереднього навчання необхідно розширювати як саму модель, так і набір даних. Дослідження на початку 2020-х років свідчили про те, що дані мають менше значення, ніж параметри, але Chinchilla показав, що їх значення таке ж велике. Крім того, пізніші дослідження щодо надмірного навчання вказують на те, що стало стандартом навчати менші моделі значно за межами оптимального за Chinchilla розміру набору даних, саме тому що більші моделі є дорогими під час виконання завдань. Така практика вимагає ще більшої кількості даних на один параметр.
Усе це призводить до одного висновку: для подальшого збільшення масштабу попереднього навчання потрібні більші набори даних. А більшість сучасних даних для попереднього навчання отримуються шляхом сканування Інтернету. Інтернет є лише один, і знайти абсолютно нові джерела високоякісного тексту у такому масштабі складно.
Сутскевер саме так і аргументує: потужність обчислень стрімко зростає, але кількість даних — ні, оскільки вона залежить від веб-скрапінгу. За цією точкою зору попередню підготовку не можна масштабувати необмежено, і галузі потрібні нові шляхи для прогресу. Його формулювання ситуації було таким: ми досягли „піку даних“.
Способи, якими попередня підготовка все ще може масштабуватися
Зменшення ефективності є реальністю, і аргумент щодо даних є обґрунтованим. Проте кілька напрямків досліджень все ще можуть покращити процес попередньої підготовки.
Синтетичні дані та розумніше використання даних
Збільшення обсягу попередньої підготовки на кілька порядків, ймовірно, вимагатиме використання синтетичних даних. Існують обґрунтовані побоювання, що надмірна залежність від генерованого тексту зменшує різноманітність, проте синтетичні дані вже все частіше використовуються для ШІ-моделей, і результати видаються позитивними. Окрім цього, підходи у стилі навчальної програми та продовжена попередня підготовка дозволили досягти значних покращень шляхом зміни даних, а не самої моделі, наприклад шляхом коригування їхньої суміші чи додавання даних у форматі інструкцій наприкінці процесу підготовки.
Закони масштабування для метрик, зрозумілих людям
Закони, засновані на втратах, важко застосовувати на практиці, тому нещодавні дослідження пристосовують ці закони до більш зрозумілих критеріїв. У дослідженні щодо надмірного навчання, про яке йшлося раніше, використовуються закони, цілями яких є оцінки з набору для оцінки, що постачається з LLM Foundry, а не сухі значення втрат. З цим набагато легше працювати. Мало хто розуміє, що означає на практиці на 5% менші втрати під час тестування, але зростання точності з 85% до 90% у важливому для вас тесті є миттєво зрозумілим. Інші дослідження розширили цю ідею для прогнозування продуктивності після післянавчальної обробки та квантування, а також для моделювання того, як еволюціонує продуктивність під час самого процесу попереднього навчання.
DeepSeek-V3 як доказ того, що масштаб все ще має значення
Незважаючи на песимізм, масштабування попереднього навчання все ще призводить до періодичних стрибків. DeepSeek-V3 — це модель типу mixture-of-experts (MoE) з 671 мільярдом параметрів, навчена на 14,8 Т токенів та оприлюднена із відкритими вагами. Її технічний звіт показує, що вона перевершує GPT-4o та Claude 3.5 Sonnet у тестах, які вона проходить. Для порівняння, моделі Llama 3 від Meta були навчені на понад 15 Т токенів.
Перевершення GPT-4o стало значною віхою для моделей з відкритими вагами, якої ще не досягали навіть найбільші моделі Llama. DeepSeek-V3 поєднує кілька технік:
- Оптимізована архітектура MoE, успадкована від DeepSeek-V2.
- Стратегія балансування навантаження між експертами, яка не ґрунтується на додатковій функції втрат.
- Ціль навчання з прогнозування кількох токенів.
- Дистиляція здатності до міркувань з моделі з довгою ланцюгом думок, у дусі о1 від OpenAI.
Він також проходить посттренувальну обробку, включаючи керовану налаштування та RLHF, щоб привести його у відповідність із людськими уподобаннями. У звіті зазначається, що попереднє навчання на 14,8 Т токенів було надзвичайно стабільним — не було сплесків втрат, які неможливо було б усунути, та не знадобилося жодних скасувань процесу навчання.
Проте основною причиною його сили є саме масштаб: дуже велика модель, навчена на відповідно великому наборі даних. Завершення таких процесів навчання є складним з багатьох причин, зокрема через несправності обладнання та сплески втрат, тому сама стабільна робота за ціною, яка є прийнятною за стандартами LLM, є значущою. Це свідчить про те, що дуже масштабні завдання попереднього навчання з часом стають легшими у керуванні та ефективнішими. Розглядайте конкретні порівняння за показниками як моментальний знімок, адже з того часу список лідерів змінився.
Ще один порядок величин — це інженерний проєкт
Справжнє тестування законів масштабування означає навчання моделей у кілька порядків більшого масштабу, ніж сучасні. Як би ви не оцінювали цю цінність, існують серйозні практичні обмеження. Для цього потрібно:
- Більші обчислювальні кластери.
- Більше та краще обладнання.
- Дуже велика кількість електроенергії.
- Нові алгоритми, наприклад для розподіленого навчання у більшому масштабі, можливо, у кількох дата-центрах.
Наступне покоління — це не просто покупка більшої кількості GPU. Це багатодисциплінарні інженерні зусилля, які вимагають часу. Для порівняння, GPT-4 з’явився у березні 2023 року, майже через три роки після GPT-3. Цілком розумно очікувати подібної або навіть більшої перерви для кожного наступного збільшення масштабу у 10–100 разів. Еге Ерділ з Epoch AI добре підсумував цю динаміку: кожне збільшення на один порядок вимагає власних нововведень.
Звідки береться прогрес, якщо попередня підготовка зупиняється: посилене навчання та обчислення під час тестування
Припустимо, виключно для обговорення, що досягнення під час попередньої підготовки припиняться завтра. Дослідження в галузі ШІ все одно матимуть достатньо можливостей для швидкого прогресу. Синтетичні дані — це один із вже розглянутих шляхів. Ще два є особливо активними зараз:
- Системи та агенти LLM.
- Моделі міркування.
Отримання більшої користі від існуючих моделей за допомогою систем LLM
Поза рамками парадигми одного запиту
Більшість сучасних додатків на основі LLM використовують підхід з однією моделлю: завдання надсилається одній моделі, а її результат використовується безпосередньо як відповідь. Якщо ви хочете, щоб ця система більш точно виконувала складніші завдання, очевидним рішенням є використання кращої базової моделі, але це змушує чекати на наступне покоління моделей. Альтернативою є створення системи, яка поєднує кілька викликів LLM або інших компонентів для вирішення завдання.
Розкладання на частини та послідовне виконання
Основною ідеєю системи на основі LLM є розділення складного завдання на частини, які легше обробити моделі чи іншому модулю. Існує дві основні стратегії:
- Розкладання завдання: розділити завдання на підзавдання, вирішити кожне окремо та поєднати результати у кінцеву відповідь.
- Послідовне виконання: вирішити завдання чи підзавдання за допомогою послідовності викликів LLM замість одного виклику.
Їх можна використовувати окремо або разом. Візьмімо систему для стиснення змісту книг. Цю роботу можна розділити, спочатку стискаючи кожен розділ. Потім можна або:
- Продовжити розбивку, діливши розділи на менші частини тексту — це і є сутністю рекурсивного чи ієрархічного стиснення.
- Використовувати послідовні виклики: один виклик витягує ключові факти з розділу, а другий — формує резюме розділу на основі цих фактів.
Нарешті, ще один виклик об’єднує всі резюме розділів у загальне резюме всієї книги. Більшість складних завдань можна розбити на прості частини саме таким чином, і саме це робить системи LLM настільки потужними. У міру того, як процеси розбивки та послідовного виконання стають більш складними, ці системи перетворюються на високорозвинене програмне забезпечення, а їхнє правильне проектування є окремою важливою галуззю прикладних ШІ.
Створення продуктів, якими фактично користуються люди
Незважаючи на всю увагу, яку отримують ШІ, кількість практичних, широко впроваджених сценаріїв використання все ще залишається невеликою. Найбільш поширеними сьогодні є генерація коду та чати — обидва ці напрямки є досить очевидними застосуваннями для цієї технології.
Існує багато сфер, де ШІ могли б бути корисними, але поки що не є такими, тому створення справді корисних продуктів на основі ШІ є важливою науково-дослідною та інженерною проблемою. Здатні моделі вже існують; перетворити їх на щось, що люди захочуть використовувати, — це інша задача, яка полягає у створенні надійних, ефективних систем навколо цих моделей.
Агенти: інструменти та дії
Межа між системою LLM та агентом є розмитою, частково тому, що термін „агент“ став надмірно загальним. Важливо те, що системи LLM можна розширювати у багатьох корисних напрямках. Модель може бути навчена використовувати інструменти, такі як калькулятор чи пошукова система, під час вирішення проблеми. Вона може виконувати написаний нею код або вживати дій від імені користувача, наприклад бронювати готель чи надсилати електронний лист. Кількість інструментів та модулів, які можна додати до моделі, забезпечує майже необмежені можливості для створення більш здатних систем. Якщо ви хочете конкретне уявлення про те, як структурований цикл агента, наш посібник про цілі, інструменти, пам’ять та цикл агента детально це пояснює.
Стійкість — справжній бар’єр
Надійність є однією з найбільших перешкод на шляху до більш потужних систем, і арифметика пояснює чому. Припустимо, система здійснює десять викликів LLM, кожен з яких має успішність 95%, і всі десять мають вдатися, щоб кінцевий результат був правильним. Система в цілому має успішність лише близько 60%, оскільки 0.95^10 дорівнює приблизно 0.60. Кожен компонент здається надійним окремо, проте весь процес зазнає невдачі чотири рази з десяти.
Додавання більшої кількості кроків множинно погіршує ситуацію, що обмежує міру складності системи, яку вона може мати, перш ніж стати непридатною для використання. Тому для створення більших систем необхідно робити кожен компонент значно надійнішим. Деякі докази свідчать про те, що сам масштаб покращує стійкість системи. Ще одним фактором є використання кращих алгоритмів метагенерації. Замість того, щоб брати один зразок з моделі, ці методи використовують такі техніки, як паралельне декодування, перевірка на кожному кроці та аналіз, щоб отримати більш вдосконалений та точний результат. Ретельний огляд цієї галузі — це стаття „Від декодування до метагенерації: алгоритми часу інференсу для великих мовних моделей“.
Ця галузь розвивається дуже швидко та, ймовірно, стане основним чинником прогресу. У міру покращення метагенерації моделі стають більш надійними, а більш складні системи LLM та агентів стають практично застосовними.
Практичний висновок для тих, хто створює такі системи: перш ніж додавати ще один крок у процес обробки, оцініть загальний рівень успішності, помноживши коефіцієнти успішності кожного окремого кроку, та подумайте, чи не допоможе крок перевірки чи повторної спроби покращити найслабшу ланку дешевше, ніж додавати функціонал в іншому місці.
Моделі міркування та нова вісь масштабування
Ранні моделі LLM часто вважали простими засобами для пошуку шаблонів, які запам’ятовували дані та не могли справді міркувати. Ця критика значною мірою була спростована останніми роками. Сучасні дослідження свідчать про те, що ці моделі, ймовірно, завжди мали приховану здатність до міркувань, і саме правильний спосіб формулювання запитів чи методи навчання допомагають її розкрити.
Ланцюг міркувань
Метод запитування з використанням ланцюга міркувань (Chain-of-thought, CoT) був одним із перших, які продемонстрували це явище. Це суто метод запитування: ви просите модель пояснити свої міркування перед тим, як вона надасть остаточну відповідь. Коли модель описує крок за кроком свої міркування перед відповіддю, її здатність до логічних міркувань значно покращується. Додатковою перевагою є те, що ці міркування зрозумілі людині, що полегшує їх інтерпретацію.
Ідея проста та універсальна, і вона стала ключовою для покращення здатності ШІ до логічних міркувань. Її використовували у багатьох формах:
- Оцінювачі, які використовують ШІ як суддю, зазвичай пишуть обґрунтування оцінки перед тим, як надати кінцевий бал.
- Були розроблені методи керованої налаштуваності та налаштування за інструкціями для навчання менших або відкритих моделей створювати кращі ланцюги міркувань.
Складне міркування залишається стрімко розвиваючоюся галуззю досліджень. Методи навчання, які вчать моделі включати перевірку на кожному етапі міркувань, показали обнадійливі результати, і, ймовірно, буде досягнуто ще кращих результатів з появою новіших стратегій навчання.
o1: міркування перед відповіддю
o1 від OpenAI став важливим кроком у розвитку здатності ШІ до міркувань, причому його підхід ґрунтується на ланцюгах думок. Так само, як людина обмірковує відповідь на складне запитання, o1 витрачає час на „міркування“ перед тим, як відповісти. Конкретно кажучи, його думки — це довгі ланцюги міркувань, у межах яких модель аналізує проблему, розбиває її на простіші кроки, пробує різні підходи та виправляє власні помилки. OpenAI описує його як модель, навчену за допомогою методу посилення для міркувань, яка може створювати довгий внутрішній ланцюг думок перед тим, як відповісти.
Точна схема навчання ще не оприлюднена. OpenAI зазначила, що o1 навчається міркувати за допомогою алгоритму „масштабного посиленого навчання“, який є „дуже ефективним з точки зору використання даних“ та спрямований на покращення здатності моделі створювати корисні ланцюжки міркувань. Публічні коментарі дослідників OpenAI свідчать про те, що модель навчається за допомогою чистого посиленого навчання, що суперечить попереднім припущенням про те, що o1 під час виконання завдань використовує певний тип пошуку в дереві.
У завданнях, що вимагають інтенсивних міркувань, o1 перевершує GPT-4o майже у всіх випадках. Серед результатів, оприлюднених OpenAI, модель:
- показує результати на рівні 89-го перцентиля у завданнях з конкурентного програмування з Codeforces.
- демонструє рівень, еквівалентний рівню 500 найкращих студентів США у тесті AIME, який є кваліфікаційним іспитом для Олімпіади з математики США.
Від o1 до o3: масштабування обчислень для навчання та інференсу
Однією з найцікавіших властивостей o1 є те, що можна покращити здатність до міркувань шляхом збільшення обчислень під час інференсу. Щоб вирішувати складніші задачі, модель просто створює довші ланцюги міркувань, і використання більшої кількості обчислень під час інференсу для цих довших ланцюгів призводить до плавного покращення продуктивності міркувань. За даними OpenAI, o1 продовжує покращуватися завдяки двом окремим параметрам: кількості навчання з підкріпленням під час навчання (обчислення під час тренування) та тривалості обмірковувань, дозволеної для кожного запитання (обчислення під час тестування).
Те саме стосується й навчання: о1 поступово покращується у міру збільшення обчислювальних ресурсів, використовуваних у процесі посиленого навчання. Схоже, саме цей шлях призвів до появи о3. У кінці 2024 року OpenAI оприлюднила попередні результати оцінки о3 та надала лише обмежену кількість деталей, але оскільки він з’явився лише приблизно через три місяці після о1, найімовірніше це є розширеною версією о1 із більшими обчислювальними ресурсами, використаними у процесі посиленого навчання.
На момент цього попереднього оприлюднення о3 ще не був випущений, а показники попередньої оцінки були вражаючими:
- 87,5% у тесті ARC-AGI, де GPT-4o набрав лише 5%. Це зробило о3 першою моделлю, яка перевищила поріг у 85% на рівні людини у тесті ARC-AGI — тесті, який вважається „полярною зіркою“ для AGI та залишався непереможеним протягом понад п’яти років. Цей високий результат було досягнуто завдяки конфігурації з великою кількістю обчислювальних ресурсів.
- 71,7% за результатами тесту SWE-Bench, а рейтинг на Codeforces становить 2727, що відносить його до числа 200 найкращих програмістів-конкурентів у світі.
- 25,2% за результатами тесту FrontierMath від Epoch AI, що є покращенням порівняно з попереднім рекордом у 2,0%. Теренс Тао описав цей тест як надзвичайно складний та очікував, що він буде ефективним проти штучних інтелекту принаймні ще кілька років.
Одночасно була представлена спрощена версія o3-mini, яка показала високі результати та значно кращу ефективність обробки даних. Це були пробні показники з однієї оголошення; для порівняння офіційних моделей перевіряйте поточну документацію та незалежні оцінки.
Чому це є новою парадигмою масштабування
Якщо графіки o1 та o3 здаються вам знайомими, це тому, що це саме той тип діаграм, про який йшлося в усій цій статті: обчислення у логарифмічній шкалі на осі X та плавне, пряме підвищення продуктивності. Іншими словами, ці моделі міркувань демонструють чітку залежність за законом степеня між продуктивністю та двома величинами:
- Час обчислень під час навчання, витрачений на методи посиленого навчання.
- Час обчислень під час інтерпретації, витрачений на процес міркувань.
Це відрізняється від класичних законів масштабування. Замість масштабування попереднього навчання ми масштабуємо обчислення, витрачені під час післянавчальної обробки та інтерпретації. Це справді нова вісь масштабування, і наразі результати є переконливими. Вони показують, що існують способи масштабування поза межами попереднього навчання, і що галузь знайшла собі наступну перешкоду для подолання. Форма може змінюватися, але саме масштабування й досі є рушійною силою прогресу.
Один із інженерних наслідків варто сформулювати чітко. Коли якість зростає разом із обчислювальними ресурсами для виконання завдань, витрати та затримки за запит стають параметрами, які можна налаштовувати, а не фіксованими характеристиками моделі. Це змінює спосіб планування бюджету та проектування додатків: складніші запити можна направляти на більш тривалі обчислення, а простіші — залишати дешевими.
Що слід пам’ятати під час читання графіка масштабування
- Закон масштабування — це закон степеня між ресурсом (параметрами, даними чи обчислювальними засобами) та втратами під час тестування. Пряма лінія на графіку лог-лог приховує стрімке зменшення ефективності, тому кожне покращення коштує все більше.
- Ці закони діють лише тоді, коли інші фактори не є вузьким місцем, саме тому дані, параметри та обчислювальні ресурси мають зростати разом.
Корисне запитання більше не полягає у тому, чи продовжується масштабування, а у тому, який ресурс масштабується та чи проявляються переваги у метриках, які насправді мають для вас значення.