Prawa skalowania LLM, GPT-4o i uczenie wzmacniające: co przewidują te krzywe.

Prawie każdy znaczący postęp w jakości modeli językowych w ciągu ostatnich kilku lat wynikał z robienia tego samego, ale w większym skali: więcej parametrów, więcej tokenów treningowych, więcej kart graficznych. Prawa skalowania to równania, które przekształcają tę praktykę w coś, co można zaplanować, ponieważ przewidują, jak spadnie strata testowa modelu wraz ze zwiększeniem zasobów, takich jak moc obliczeniowa potrzebna do treningu. Są one również często błędnie interpretowane, dlatego nagłówki prasowe naprzemiennie głoszą „skalowanie jest gwarantowane” oraz „skalowanie napotkało barierę”. Po przeczytaniu tego tekstu będziesz w stanie poprawnie odczytać wykres skalowania typu log-log, wyjaśnić, co faktycznie mówią wyniki badań Kaplan i Chinchilla, rozważyć kwestię „spowolnienia” bez zajmowania stanowiska, oraz zrozumieć, dlaczego agenci i modele rozumowania to następne obszary, w których zwiększana jest moc obliczeniowa.

Struktura jest oparta na podejściu od dołu do góry. Zaczynamy od matematyki prawa potęgowego, przechodzimy do badań, które ustaliły prawa skalowania dla modeli językowych, analizujemy, w jaki sposób te prawa kierowały rozwój rodziny GPT oraz późniejszych modeli, przyglądamy się argumentom wskazującym na spadek efektywności skalowania i kończymy na kierunkach, które umożliwiają dalszy postęp, nawet jeśli zyski z wstępnego szkolenia stają się mniejsze.

Blok budulcowy: prawa potęgowe

Dwie wielkości, jedna przewidywalna zależność

Prawo potęgowe to po prostu reguła łącząca dwie wielkości w taki sposób, że proporcjonalna zmiana jednej powoduje proporcjonalną zmianę drugiej. W kontekście modeli językowych dużych modeli jedną z tych dwóch wielkości jest niemal zawsze strata testowa (czasami jej zamiennik, np. dokładność w zadaniu następczym), a drugą jest zmienna, którą modyfikuje się: liczba parametrów, rozmiar zestawu danych lub całkowita moc obliczeniowa potrzebna do szkolenia.

Typowe stwierdzenie z artykułu o GPT-3 brzmi mniej więcej tak: jeśli istnieje wystarczająco dużo danych, strata walidacyjna powinna podążać za przybliżenie gładkim prawem potęgowym w zależności od rozmiaru modelu. W praktyce oznacza to, że liczba parametrów i strata testowa są ze sobą powiązane w sposób mierzalny. Zwiększ rozmiar modelu, utrzymując pozostałe warunki w dobrym stanie (wystarczające dane, wystarczające zasoby obliczeniowe), a strata spadnie o współczynnik, który można z góry przewidzieć.

Cenną właściwością w tym kontekście jest niezmienniczość skalowa. Jeśli pomnożysz dane wejściowe przez pewien stały współczynnik, wynik również zostanie pomnożony przez ten sam stały współczynnik, niezależnie od tego, od którego punktu na krzywej zaczęliśmy. To właśnie sprawia, że prawa potęgowe są atrakcyjne do prognozowania: związek, który mierzysz pomiędzy modelem z 10 milionów a 100 milionów parametrów, mówi ci coś konkretnego o przejściu od 10 miliardów do 100 miliardów parametrów.

Formy standardowa i odwrotna

Podstawowa postać to y = a * x^p, gdzie x i y to dwie wielkości, a a i p to stałe wyznaczane na podstawie danych. Przy dodatnim wykładniku y rośnie wraz ze wzrostem x. Na zwykłych osiach krzywa wygina się ku górze; na osiach logarytmicznych staje się linią prostą, ponieważ obliczenie logarytmów przekształca log y = log a + p * log x w równanie liniowe o nachyleniu p. Z tego powodu prace naukowe niemal zawsze przedstawiają dane na osiach logarytmicznych.

Krzywe, które widzimy w pracach na temat LLM, mają jednak odwrotny kierunek: strata maleje w miarę wzrostu zasobów. Jest to prawo odwrotnej potęgi, y = a * x^(-p), czyli ta sama równanie z ujemnym wykładnikiem. Zamiana znaku wykładnika powoduje odwrócenie wykresu, a na osiach logarytmicznych otrzymujemy charakterystyczną linię biegnącą w dół i w prawo. Gdy praca przedstawia zależność straty od obliczeń, danych lub parametrów jako czystą linię spadkową, to właśnie tę zależność jest przedstawiane. Pamiętaj o tym, ponieważ prostota linii jest efektem osi logarytmicznych, a wiele nieporozumień dotyczących skalowania wynika z zapomnienia o tym fakcie.

Pierwsze systematyczne badanie: strata jest skorelowana z parametrami, danymi i zasobami obliczeniowymi

Otwarte pytania przed rokiem 2020

Gdy pojawił się pierwotny GPT, nie było jasne, jak ważna jest skala. Modele językowe obiecywały wiele, ale były ograniczone, a nie istniał klarowny sposób na ich ulepszenie. Kilka pytań pozostawało bez odpowiedzi. Czy kształt sieci, czyli liczba warstw i szerokość każdej z nich, ma duże znaczenie? Czy większy model zawsze osiąga lepsze wyniki? Ile danych potrzebuje większy model?

Artykuł OpenAI z 2020 roku zatytułowany „Scaling Laws for Neural Language Models” miał na celu udzielenie odpowiedzi na te pytania poprzez pomiar reakcji straty testowej na rozmiar modelu, jego kształt, wielkość zestawu danych, zasoby obliczeniowe potrzebne do szkolenia oraz rozmiar partii. Głównym wnioskiem było stwierdzenie, że strata podąża za prawem potęgowym w odniesieniu do każdej z trzech tych wielkości, przy czym niektóre tendencje utrzymują się na przestrzeni ponad siedmiu rzędów wielkości:

1. Liczba parametrów modelu.
2. Wielkość zestawu danych.
3. Zasoby obliczeniowe potrzebne do szkolenia.

Kluczowym warunkiem jest to, że każda z tych zależności obowiązuje tylko wtedy, gdy pozostałe dwie wielkości nie stanowią czynnika ograniczającego. Ogromny model wytrenowany na małym zbiorze danych nie podąża za krzywą parametrów, ponieważ to dane stały się wąskim gardłem.

Sposób przeprowadzenia eksperymentów

Naukowcy przetrenowali modele o maksymalnie 1,5 miliarda parametrów na podzbiórach korpusu WebText2 zawierających od 22 milionów do 23 miliardów tokenów. Każdy model wykorzystywał kontekst składający się z 1 024 tokenów oraz standardowy cel przewidywania następnego tokena, którym jest strata entropii krzyżowej względem słownika. Ta sama strata entropii krzyżowej mierzona na danych niebędących częścią treningu służyła jako główna miara wydajności. Nic z tego nie jest egzotyczne; jest to zasadniczo standardowe ustawienie przetrenowania stosowane w większości modeli LLM, dlatego wyniki tak dobrze się uogólniły.

Jak wyglądają ustalone prawa

Strata testowa w WebText2 stale się poprawiała w miarę zwiększania się parametrów, danych oraz mocy obliczeniowej. Trendy obejmowały osiem rzędów wielkości mocy obliczeniowej, sześć rzędów wielkości modelu oraz dwa rzędy wielkości zbiórki danych. Równania otrzymane w wyniku analizy przypominają powyższą prawo odwrotnego potęgowania, ale są sformułowane nieco inaczej: stała główna ma wartość jedynkę, a stała skalująca znajduje się w nawiasach. W przypadku wielkości modelu wzór wygląda tak: L(N) = (N_c / N)^alpha_N, gdzie N to liczba parametrów, N_c to stała otrzymana w wyniku analizy, a alpha_N to współczynnik potęgowania. Analogiczne wyrażenia istnieją dla wielkości zbiórki danych D oraz mocy obliczeniowej C.

Aby uzyskać czyste wykresy dopasowania, potrzebny był jeden szczegół: parametry z tabel pozycyjnych i embeddingowych są wykluczane z liczenia. Ich uwzględnienie sprawia, że trendy stają się bardziej znośne, natomiast liczenie wyłącznie parametrów niebędących embeddingami daje schludne, proste linie. Jeśli kiedykolwiek spróbujesz odtworzyć wykres skalowania, to właśnie tego typu decyzje księgowe mogą po cichu zmienić twoje wyniki.

Ponieważ każde z tych praw zakłada, że pozostałe czynniki nie stanowią wąskich gardeł, praktyczną zasadą jest skalowanie wszystkich trzech jednocześnie. Jeśli skupisz się tylko na jednym z nich, szybko napotkasz spadek efektywności.

Odczytywanie krzywych bez skali logarytmicznej

Wykresy log-log wyglądają wspaniale liniowo, co skłania do zbyt optymistycznego odczytania. Narysuj te same dopasowane prawa na zwykłych osiach – kształt całkowicie się zmieni: krzywa najpierw gwałtownie spada, a potem się wyrównuje, przypominając wtedy dekompresję eksponencjalną.

To ma znaczenie, ponieważ wiele popularnych komentarzy sugeruje przeciwną intuicję, jakby jakość modelu rosła wykładniczo, podczas gdy zasoby obliczeniowe rosnęły jedynie liniowo. Matematyka mówi coś znacznie bardziej powściągliwego. Każde dalsze zmniejszenie strat wiąże się z mnożynowym wzrostem potrzebnych zasobów, więc osiąganie ulepszeń staje się coraz droższe, i to dosyć dramatycznie, w miarę postępu. Prosta linia na wykresie log-log oznacza „dziesięć razy większe zasoby obliczeniowe zapewniają stałe, niewielkie ulepszenie”, a nie „trochę więcej zasobów obliczeniowych daje znacznie lepszą jakość”.

Kształt ma niewielkie znaczenie, skala ma duże znaczenie

Pomimo tych trzech praw mocy, badanie wykazało, że takie decyzje projektowe jak stosunek głębokości do szerokości miały jedynie niewielki wpływ na straty w porównaniu z samą skalą. Więcej parametrów, więcej danych oraz większa moc obliczeniowa przynosiły spójne i wiarygodne ulepszenia; modyfikowanie proporcji sieci nie przynosiło niemal tak dużych efektów.

Naukowcy zaobserwowali również, że większe modele są bardziej efektywne pod względem ilości potrzebnych przykładów. Większy model osiąga określony poziom strat po przetworzeniu mniejszej liczby tokenów niż model mniejszy. Z czysto komputerowego punktu widzenia treningu sugeruje to nietypową strategię: trenowanie bardzo dużego modelu na stosunkowo niewielkiej ilości danych i zatrzymanie procesu na długo przed osiągnięciem konwergencji. Jest to rzeczywiście optymalne pod względem zasobów obliczeniowych przy treningu, ale ignoruje to to, co dzieje się po nim. Obsługa dużego modelu jest kosztowna przy każdej prośbie, więc w praktyce zespoły zazwyczaj robią coś przeciwnego – trenują mniejsze modele na większej ilości danych, ponieważ ich utrzymywanie jest znacznie tańsze.

Artykuł badał również, w jaki sposób rozmiar zbiórki danych powinien rosnąć wraz z rozmiarem modelu, i doszedł do wniosku, że dane mogą rosnąć wolniej niż parametry. Mówiąc ogólnie, aby model stał się około osiem razy większy, potrzebne było jedynie około pięciokrotnie więcej danych, aby uniknąć nadnadawania. (Ten stosunek wynika z zaobserwowanej zależności, zgodnie z którą zapotrzebowanie na dane rośnie proporcjonalnie do rozmiaru modelu podniesionego do potęgi nieco poniżej jedności.) Pamiętaj o tej zaleceniu, ponieważ późniejsze badania nad Chinchillą je obaliły.

W końcu te same prawa obowiązywały w kilku innych zestawach danych do oceny po dodaniu ustalonej odchylenia do straty, aby uwzględnić różnicę w rozkładzie danych. Razem te wyniki stanowią mocne dowody na to, że modelowanie języka rozwija się płynnie i przewidywalnie, gdy rozmiar modelu, dane oraz zasoby obliczeniowe są odpowiednio skalowane, a także że większe modele są zarówno lepsze, jak i bardziej efektywne pod względem wykorzystania próbek. To właśnie te argumenty uzasadniały ogromne sesje szkolenia wstępnego, które nastąpiły później.

Jak laboratoria faktycznie wykorzystują prawa skalowania

Zalety szkolenia wstępnego na dużą skalę wiążą się z nieprzyjemną przeszkodą. Najlepsze wyniki wymagają ogromnych modeli i zbiorów danych, a ich uruchomienie kosztuje dużo pieniędzy. Wyobraź sobie wydanie około dziesięciu milionów dolarów na jedno uruchomienie, by odkryć, że model okazuje się rozczarowujący. Przy takiej cenie nie ma miejsca na próby i błędy podczas dostosowywania modelu o pełnej wielkości; musisz mieć pewność, zanim zaczniesz, że dana konfiguracja zadziała.

Prawa skalowania to narzędzie, które zapewnia tę pewność. Oprócz udowodnienia istnienia tych związków, dostarczają one badaczom konkretnego procesu pracy:

• Szkolimy rodzinę znacznie mniejszych modeli w różnych ustawieniach.
• Dostosowujemy prawa skalowania do wyników tych małych modeli.
• Ekstrapolujemy dostosowane prawa, aby przewidzieć, jak będzie wyglądać znacznie większy model.

Proces ten nie jest wolny od błędów. Ekstrapolacja z małych eksperymentów na duże może być nieprecyzyjna, a niektóre zachowania zmieniają się wraz ze skalą w sposób, którego mały model nie ujawni. Opracowano takie techniki jak schematy przenoszenia hiperparametrów, aby uczynić ekstrapolację z małych na duże bardziej wiarygodną, a stosowanie praw skalowania w tanich eksperymentach jest obecnie standardową praktyką. Oprócz zmniejszania ryzyka technicznego, wiarygodna prognoza znacznie ułatwia uzasadnienie budżetu na duży eksperyment osobie, która za niego płaci.

Istnieje rozsądna zasada ogólna dotycząca sytuacji, gdy nie należy ufać ekstrapolacji: jeśli twoje małe eksperymenty nie obejmują co najmniej kilku rzędów wielkości, lub jeśli zmienisz mieszankę danych, tokenizator lub architekturę pomiędzy małymi a dużym eksperymentem, dostosowane stałe mogą już nie być odpowiednie. Wartość prawa skalowania wynika wyłącznie z utrzymania wszystkiego innego w niezmienionym stanie.

Skalowanie w erze wstępnego szkolenia, od GPT-3 do GPT-4

Gdy już ustalono prawa skalowania, recepta na postęp stała się niemal żenująco prosta: szkolić większe modele na większych i czystszych zbiorkach danych. OpenAI stosowało ją w serii GPT, a większość innych znaczących modeli również to robiła. Ilya Sutskever później opisał ten okres jako „erę wstępnego szkolenia”, charakteryzującą się bardzo dużymi sieciami szkolonymi na bardzo dużych zbiorkach danych.

Rodzina GPT jako eksperyment skalowania

Linię GPT można uznać za najbardziej znaną aplikację tych koncepcji. Omówienie skupia się tutaj na modelach do GPT-3 z dwóch powodów: szczegóły dotyczące ich funkcjonowania zostały opublikowane otwarcie, a późniejsze modele zawdzięczają znaczną część swoich ulepszeń postęcom w fazie po szkoleniu, a nie wyłącznie skali szkolenia wstępnego. Jeśli chcesz zobaczyć, co zmieniło się w każdej wersji dla programistów, krok po kroku, zapoznaj się z naszym przewodnikiem od GPT-1 do modeli rozumujących; tutaj nacisk położony jest na to, co każdy krok mówi o skalowalności.

GPT był mały według dzisiejszych standardów: miał 12 warstw i 117 milionów parametrów. Najpierw został wstępnie przeszkolony na BooksCorpus, czyli surowym tekście około 7 000 książek, a następnie doprecyzowany oddzielnie dla każdego z zadań końcowych, przy użyciu nadzorowanego celu oraz dedykowanej głowy klasyfikacyjnej dla każdego z tych zadań. Był to jeden z pierwszych przykładów masowego samodzielnie nadzorowanego wstępnego szkolenia modelu typu transformer składającego się wyłącznie z dekodera, a z tego doświadczenia wynikło kilka ważnych wniosków:

• Samodzielnie nadzorowane wstępne szkolenie na zwykłym tekście działa niezwykle dobrze.
• Ważne jest szkolenie na długich, ciągłych fragmentach tekstu.
• Model wstępnie przeszkolony w ten sposób może zostać doprecyzowany, aby osiągnąć najwyższą dokładność w szerokim zakresie zadań.

Sam model nie był wyjątkowy, ale ustanowił dwa kluczowe elementy – transformer składający się wyłącznie z dekodera oraz samodzielnie nadzorowane wstępne szkolenie – które późniejsze prace doprowadziły do zastosowania w znacznie większym skali.

GPT-2 pojawił się wkrótce potem jako zbiór modeli o maksymalnie 1,5 miliarda parametrów. Architektura i cel treningu były takie same jak w przypadku GPT, ale zmieniły się dwie rzeczy:

• Do wstępnego treningu użyto WebText – zbiór danych zebranych z Internetu, znacznie większy od BooksCorpus.
• Nie przeprowadzano dopasowywania modelu do konkretnych zadań. Zadania rozwiązywano w trybie zero-shot, poprzez bezpośrednie zadawanie pytań modelowi wstępnie wyszkolonemu.

GPT-2 nie osiągnął najwyższych wyników na większości testów, ale jego oceny stale się poprawiały w miarę zwiększania rozmiaru modelu, co stanowiło wyraźny dowód na to, że dodawanie parametrów przynosi korzyści. Nie mniej ważne jest to, że nawet największy wersja GPT-2 nadal wydawał się niewystarczający do obsługi danych WebText. Sugerowało to, że istnieje jeszcze margines poprawy: dalsze zwiększanie zarówno rozmiaru modelu, jak i ilości danych powinno przynosić korzyści. W artykule o GPT-2 argumentowano również, że model językowy o wystarczającej pojemności będzie mógł samodzielnie wnioskować i wykonywać zadania pokazywane w języku naturalnym, po prostu dlatego, że takie działanie pomaga mu lepiej przewidywać tekst. Ten argument w połączeniu z zaobserwowanymi trendami dał badaczom pewność, by kontynuować prace.

GPT-3 stał się punktem zwrotnym, który rozstrzygnął kwestię, czy szeroko zakrojone szkolenie wstępne przynosi korzyści. Z 175 miliardami parametrów był ponad 100 razy większy od największego GPT-2. Architektura nadal była transformerem tylko dekodującym, podobnym do swoich poprzedników, ale dane treningowe były znacznie większe: korpus zbudowany na bazie CommonCrawl, około dziesięć razy większy od WebText, połączony z kilkoma innymi źródłami w jedną mieszankę danych.

GPT-3 był oceniany głównie za pomocą promptingu typu few-shot, co należy odróżnić od wcześniejszych podejść:

• GPT wykorzystywał fine-tuning, aktualizując wagi dla każdego zadania.
• GPT-2 używał promptingu typu zero-shot, opisując zadanie bez przykładów.
• GPT-3 stosował prompting typu few-shot, umieszczając w promptzie kilka przykładów rozwiązanych zadań.

W artykule o GPT-3 nazwano to uczeniem się w kontekście. Nazwa ta jest nieco myląca, ponieważ w zwykłym rozumieniu nic nie jest uczone: wagi w ogóle się nie zmieniają. Przykłady zawarte w instrukcjach służą jedynie jako kontekst, który kieruje modelem ku lepszemu wynikowi. Okazało się, że GPT-3 doskonale radzi sobie z tym, co wskazywało, że uczenie się w kontekście to umiejętność, która pojawia się wraz ze wzrostem skali.

W badaniach dotyczących rozumienia języka dokładność w zadaniach typu few-shot rosła wraz ze wzrostem rozmiaru modelu. Większe modele lepiej i efektywniej wykorzystywały informacje znajdujące się w ich oknie kontekstowym niż te mniejsze, a przy kilku zadaniach wyniki GPT-3 w tym formacie przewyższyły dotychczasowe standardy, ponownie poprawiając się wraz ze wzrostem rozmiaru modelu. To, że jeden model potrafił osiągać tak dobre rezultaty w tak wielu zadaniach, zmieniając jedynie treść promptu, było wtedy imponujące. GPT-3 stał się jednym z pierwszych prawdziwych modeli podstawowych i wprowadził koncepcję promptowania jako głównego sposobu interakcji ludzi z modelami językowymi.

Po GPT-3: większy udział ma proces po szkoleniu

GPT-3 wywołał falę zainteresowania sztucznymi inteligencjami językowymi, skupioną głównie na większych sesjach wstępnego szkolenia. Kolejne wersje OpenAI – InstructGPT, ChatGPT i GPT-4 – połączyły masowe wstępne szkolenie z nowymi metodami szkolenia późniejszego, mianowicie nadzorowanym dopracowywaniem i uczeniem się przez wzmocnienie na podstawie informacji od ludzi (RLHF). Dzięki temu wzrostowi jakości sztuczna inteligencja przyciągnęła uwagę szerokiej publiczności. Raport techniczny GPT-4 opisuje go jako model typu transformer wstępnie wyszkolony do przewidywania następnego tokena, którego dalsze dopracowywanie poprawia dokładność informacji oraz przestrzeganie pożądanego zachowania.

Mniej więcej w tym czasie OpenAI zaczął publikować znacznie mniej materiałów. Modele dostarczane przez API nie były opatrzone szczegółowymi artykułami naukowymi. Mimo to niektóre informacje są nadal dostępne. InstructGPT, bezpośredni poprzednik ChatGPT, ma artykuł szczegółowo opisujący jego proces po treningu, a w tym artykule stwierdza się, że GPT-3 jest jego modelem bazowym. Można słusznie założyć, że poprawy w InstructGPT wynikają głównie z procesu po treningu, a nie z dłuższego treningu wstępnego.

GPT-4 był wyraźnie bardziej zaawansowany niż ChatGPT, ale jego raport techniczny ujawnił bardzo niewiele informacji. Potwierdza on jedynie, że:

1. Model jest typu transformer.
2. Został przeszkolony przy użyciu metody przewidywania następnego tokena.
3. Dane pochodzą zarówno z publicznych, jak i licencjonowanych źródeł third-party.
4. Został dopracowany za pomocą techniki RLHF.

Mimo to skalowanie znajduje się w centrum tego raportu. Jednym z głównych celów inżynieryjnych było stworzenie środowiska treningowego, które zachowuje się przewidywalnie na różnych skalach, aby wyniki z małych prób można było ekstrapolować na ogromne i bardzo kosztowne finałowe testy. Raport wskazuje, że ostateczna strata w dobrze przeszkolonych dużych modelach może być dobrze przybliżona za pomocą praw potęg w zakresie zasobów obliczeniowych potrzebnych do treningu.

To jest praktyczny proces pracy opisany wcześniej, stosowany na najnowszej fronterze badań. Ponieważ pełny proces wstępnego treningu jest tak kosztowny, w praktyce dokonuje się tylko jednej próby, bez możliwości dostosowywania modelu pod konkretne potrzeby. Zamiast tego zespół trenował modele przy użyciu 1000 do 10 000 razy mniej zasobów obliczeniowych, dopasowywał do nich prawa potęg i wykorzystywał te prawa do prognozowania wyników dużych modeli. Raport dotyczący GPT-4 pokazuje dokładnie to – prawo potęg oparte na zasobach obliczeniowych w stosunku do straty, użyte do przewidzenia ostatecznej straty GPT-4.

Równanie otrzymane po dopasowaniu zawiera jedną dodatkową cechę w porównaniu z tym, co widzieliśmy wcześniej: termin straty niezredukowalnej, który daje postać L(C) = a * C^b + c. Stała c odzwierciedla fakt, że straty nigdy nie osiągną zera, ponieważ naturalny tekst zawiera prawdziwą losowość, której żaden model nie może przewidzieć. Dzięki dopasowaniu tej zasady do krótkich zbiegów danych, prognoza końcowych strat GPT-4 okazała się bardzo dokładna. Zwróć również uwagę, że ten konkretny wykres używa osi liniowych, a spadek efektywności jest wyraźnie widoczny: poprawa na jednostkę obliczeniową widocznie maleje wraz ze wzrostem mocy obliczeniowej.

Raport przyznał również, że surowe dane dotyczące strat są trudne do interpretacji, i starał się przewidzieć bardziej znaczące wskaźniki. Jednym z przykładów jest wskaźnik skuteczności w teście kodowania HumanEval. Zadania zostały podzielone na grupy według poziomu trudności, a do przewidywania wskaźnika skuteczności dla każdej grupy zastosowano prawo skalowania. Wykorzystując obliczenia prowadzone z zaledwie około 1000 razy mniejszym nakładem zasobów, zespół dokonał dokładnego przewidzenia wskaźnika skuteczności GPT-4 w teście HumanEval.

Lekcja płynąca z tych doświadczeń jest spójna: dłuższe sesje treningu wstępnego są opłacalne, ale kosztowne, a prawa skalowania pozwalają na ich przewidywanie na tyle dobrze, by uniknąć marnowania zasobów obliczeniowych na sesje, które nie przyniosą rezultatów.

Chinchilla: modele były pozbawione danych

Badanie z 2020 roku zalecało szybsze zwiększanie liczby parametrów niż ilości danych. Przez jakiś czas po pojawieniu się GPT-3 branża w większości trzymała się tej rady, ale nie przyniosło to dobrych rezultatów. Modele znacznie większe od GPT-3, takie jak MT-NLG z 530 miliardami parametrów, były trenowane na zbiorkach danych o wielkości mniej więcej równej GPT-3 i nie były w stanie go prześcignąć. Tymczasem modele, w których zwiększano zarówno liczbę parametrów, jak i ilość danych, np. Gopher firmy DeepMind, osiągały znacznie lepsze wyniki.

Te obserwacje inspirowały pracę „Training Compute-Optimal Large Language Models” oraz artykuł o Chinchilli, które ponownie przyjrzeli się kwestii skalowania, tym razem przy użyciu znacznie większych eksperymentów: modele o liczbie parametrów od 70 milionów do 17 miliardów były trenowane na zbiorkach danych zawierających ponad bilion tokenów. Dzięki trenowaniu wielu kombinacji rozmiaru modelu i ilości danych badacze ustalili prawo opisujące spadek wydajności spowodowany jednoczesnym wpływem obu tych czynników. Na podstawie tego prawa można obliczyć optymalne rozdzielenie zasobów dla danego budżetu obliczeniowego.

Ich wniosek brzmiał, że optymalne pod kątem obliczeniowym szkolenie powinno powodować wzrost rozmiaru modelu oraz rozmiaru danych w równych proporcjach. Według tego standardu większość istniejących modeli LLM była niewystarczająco szkolona jak na swój rozmiar; mogłyby skorzystać z znacznie większej ilości danych. Stosowane prawa sugerowały na przykład, że Gopher powinien być szkolony na zbiorku danych około 20 razy większym. W artykule zwrócono również uwagę, że ilość danych, o której mowa, jest daleko przekraczająca tę, która była wówczas używana.

Aby przetestować to twierdzenie, zespół szkolił Chinchillę – model o 70 miliardach parametrów, szkolony na 1,4 biliona tokenów. Wykorzystano w nim te same dane i ustawienia oceny co w przypadku Gophera, ale model ten był cztery razy mniejszy i szkolony na znacznie większej ilości danych, przy czym stale przewyższał Gophera pod względem wyników.

Prawa skalowania opisane przez Chinchillę przez lata stanowiły punkt odniesienia. Określenie „optymalne według Chinchilli” weszło do codziennego słownictwa w tej dziedzinie, a artykuł ten jest nadal często cytowany, mimo że od tamtej pory pojawiło się wiele kolejnych badań na temat skalowania.

Ważne jest, aby precyzyjnie określić, co oznacza „optymalne według Chinchilli”, ponieważ termin ten jest często błędnie używany. Opisuje on najlepszą wartość straty przy ustalonej budżecie treningowym, ale nic nie mówi o kosztach wykonywania predykcji. Zespół, który planuje używać modelu miliardy razy, może celowo trenować model mniejszy, przekraczając wskaźnik Chinchilli, akceptując mniej efektywny proces treningu w zamian za tańszy model w produkcji. Ten kompromis pojawia się ponownie poniżej.

Dyskusja na temat osiągnięcia muru w rozwoju skalowania po GPT-4o

Gdy w drugiej połowie 2024 roku tempo wprowadzania nowych modeli oraz widocznych ulepszeń spowolniło, temat skalowania stał się gorąco dyskutowany. Po latach, w których skalowanie napędzało niemal każdy postęp, seria doniesień wskazywała, że może ono ulec zahamowaniu:

• Reuters poinformował, że OpenAI dostosowuje swoją strategię produktową po osiągnięciu plateau wraz z obecnymi metodami.
• The Information doniosło, że tempo ulepszeń w modelach GPT spowalnia się.
• Bloomberg opisał kilka laboratoriów badawczych, które mają trudności z tworzeniem znacznie bardziej zaawansowanych systemów.
• TechCrunch twierdził, że skalowanie przynosi coraz mniejsze efekty.
• Time opublikował bardziej umiarkowany artykuł na temat różnych czynników leżących u podstaw tezy o spowolnieniu postępu.
• Ilya Sutskever w swoim przemówieniu podczas NeurIPS 2024 stwierdził, że obecna forma szkolenia wstępnego dobiegnie końca.

Inne wpływowe osoby nie zgadzały się z tym. Dyrektor generalny Anthropic, Dario Amodei, stwierdził, że skalowanie prawdopodobnie będzie trwać, natomiast Sam Altman z OpenAI upierał się, że nie ma żadnej bariery. Zamiast wybierać jedną ze stron, bardziej przydatne jest zrozumienie, co faktycznie potwierdzają badania, ponieważ obie strony mają częściowo rację.

Czy skalowanie zwalnia? To zależy od tego, co mierzymy

Nathan Lambert dobrze to ujął: skalowanie może nadal funkcjonować technicznie, podczas gdy tempo poprawek, które odczuwają użytkownicy, zwalnia. Szczera odpowiedź na pytanie „czy skalowanie zwalnia?” zależy od definicji, a zarówno „tak”, jak i „nie” można uzasadnić. Dlatego zamiast wymuszać werdykt, bardziej produktywne jest przyjrzeć się kilku odrębnym kwestiom.

Spadająca efektywność jest wbudowana w matematykę

Pamiętajmy, co właściwie mówi prawo skalowania: to zależność typu prawo potęgi pomiędzy zasobami obliczeniowymi używanymi podczas treningu (lub rozmiarem modelu lub danych) a stratą w testach. Nie obiecuje ono eksponencjalnych korzyści z niewielkich dodatkowych zasobów obliczeniowych. Na osiach normalnych krzywa wygląda jak eksponencjalny spadek, a każde kolejne udoskonalenie kosztuje więcej niż poprzednie.

Innymi słowy, prawa skalowania są tak zaprojektowane, by stawać się coraz bardziej płaskie. Spowolnienie, które ludzie zauważają, to w dużej mierze dokładnie to, co przewidują te równania. Jeśli planujesz na podstawie prawa skalowania, powinieneś oczekiwać, że każda nowa generacja będzie wymagać wielokrotnego zwiększenia zasobów dla mniejszej wartości absolutnej korzyści.

Strata nie jest tym, co interesuje ludzi

Istnieje również niezgodność w pomiarach. Prawa skalowania są dostosowywane do straty testowej podczas wstępnego szkolenia, ale nie jest jasne, co oznacza niższa strata dla możliwości modelu. Czy przekłada się to na wyższą dokładność w zadaaniach późniejszych? Czy daje nowe umiejętności? Badania nad nadmiernym szkoleniem wskazują, że praktycy zazwyczaj oceniają modele pod kątem dokładności w testach końcowych, a nie pod kątem poziomu perplexity w tekście nieuwzględnionym w szkoleniu. Dlatego istnieje rozdźwięk pomiędzy tymi dwoma stanowiskami:

• Prawa skalowania mówią, że dłuższe sesje wstępnego szkolenia spowodują stopniowe obniżenie straty testowej.
• Ludzie chcą „lepszego” modelu, niezależnie od tego, jak go definiują.

To określenie bardzo się różni. Zwykli użytkownicy przede wszystkim oceniają jakość czatu. Praktycy skupiają się na dokładności w konkretnych zadaniami, które realizują. Badacze w nowoczesnych laboratoriach często stawiają bardzo wysokie i bardzo specyficzne wymagania, takie jak napisanie rozprawy doktorskiej lub rozwiązanie problemów matematycznych na poziomie badawczym, podobnych do tych w teście FrontierMath. Sztuczne inteligencje językowe są tak zróżnicowane, że istnieje wiele słusznych sposobów ich oceny, a żaden z nich nie obejmuje wszystkiego.

Biorąc pod uwagę tę rozbieżność, wszelkie twierdzenia o tym, czy skalowanie „działa”, czy nie, zawsze będą kwestionowane. Pomaga jaśniejsza definicja sukcesu. Jeśli nauka przewiduje mniejsze straty przy większych modelach, to nie oznacza, że każdy nowy model zadowoli każdą grupę odbiorców. Brak osiągnięcia poziomu AGI lub niezdolność do przewyższenia wyników nagradzanych matematyków nie dowodzi, że skalowanie przestało działać w sensie technicznym. Duży wpływ na wrażenie spowolnienia ma zapewne kwestia oczekiwań i percepcji, a nie awaria podstawowych praw fizyki.

Zasoby danych są skończone

Najważniejszym argumentem przeciwko dalszemu zwiększaniu skali wstępnego szkolenia są dane. Zwiększanie skali wstępnego szkolenia wymaga rozszerzania zarówno modelu, jak i zbioru danych. Badania z początku 2020 roku sugerowały, że dane mają mniejsze znaczenie niż parametry, ale Chinchilla pokazała, że są one równie ważne. Ponadto późniejsze badania nad nadmiernym szkoleniem wskazują, że stało się standardem szkolenie mniejszych modeli znacznie poza optymalną dla Chinchilli wielkością zbioru danych, właśnie dlatego, że większe modele są kosztowne podczas wykonywania predykcji. Taka praktyka wymaga jeszcze większej ilości danych na jeden parametr.

Wszystko to prowadzi do jednego wniosku: dalsze zwiększanie skali wstępnego szkolenia wymaga większych zbiorów danych. A większość obecnych danych do wstępnego szkolenia pochodzi z przeglądania internetu. Istnieje tylko jeden internet, a znalezienie zupełnie nowych źródeł wysokiej jakości tekstu w takiej skali jest trudne.

Sutskever przedstawił dokładnie taki argument: moc obliczeniowa rośnie szybko, ale dane nie, ponieważ zależą one od scrapingu internetu. Z tego punktu widzenia pretrening nie może być skalowany w nieskończoność, a dziedzina ta potrzebuje nowych sposobów na postęp. Jego określenie tej sytuacji brzmiało, że osiągnęliśmy „szczyt ilości danych”.

Sposoby, w jakie pretrening nadal może być skalowany

Spadająca efektywność jest rzeczywistością, a argument dotyczący danych jest trafny. Mimo to kilka kierunków badań nadal może poprawić efektywność pretreningu.

Dane syntetyczne i bardziej inteligentne wykorzystanie danych

Zwiększenie czasu przeszkolenia wstępnego o kilka rzędów wielkości prawdopodobnie będzie wymagało danych syntetycznych. Istnieją uzasadnione obawy, że nadmierne poleganie na tekście wygenerowanym zmniejsza różnorodność, ale dane syntetyczne są już coraz częściej wykorzystywane w modelach LLM, przy wynikach, które wydają się pozytywne. Obok tego podejścia w stylu programu nauczania oraz kontynuowane przeszkolenie wstępne przyniosły solidne korzyści poprzez modyfikację danych, a nie samego modelu – na przykład poprzez dostosowanie mieszanki danych lub dodanie danych w formie instrukcji pod koniec procesu przeszkolenia.

Prawa skalowania dla metryk zrozumiałych dla ludzi

Prawa oparte na stratach są trudne do wdrożenia, dlatego najnowsze badania dostosowują te prawa do bardziej zrozumiałych celów. Wspomniane wcześniej badania nad nadtreningiem opierają się na prawach, których celem są wyniki w zestawie testowym dostępnym w LLM Foundry, a nie surowa strata. To o wiele łatwiejsze do zrozumienia. Niewiele osób wie, co oznacza 5% mniejsza strata w testach w praktyce, natomiast wzrost dokładności z 85% na 90% w badaniu, które nas interesuje, jest od razu zrozumiały. Inne prace rozszerzyły tę koncepcję o przewidywanie wydajności po treningu i kwantyzacji oraz o modelowanie tego, jak wydajność zmienia się podczas samego procesu treningu wstępnego.

DeepSeek-V3 jako dowód na to, że skalowanie nadal przynosi korzyści

Mimo pesymizmu, skalowanie wstępnego szkolenia nadal powoduje okresowe skoki w wynikach. DeepSeek-V3 to model typu mixture-of-experts (MoE) z 671 miliardami parametrów, wytrenowany na 14,8 biliona tokenów i udostępniony z otwartymi wagami. Jego raport techniczny pokazuje, że przewyższa GPT-4o oraz Claude 3.5 Sonnet w testach, które zostały przeprowadzone. Dla porównania, modele Llama 3 firmy Meta zostały wytrenowane na ponad 15 bilionów tokenów.

Pokonanie GPT-4o stanowiło ważny kamień milowy dla modeli z otwartymi wagami – cel, którego nie osiągnęły nawet największe modele Llama. DeepSeek-V3 łączy w sobie kilka technik:

• Optymalną architekturę MoE przejętą z DeepSeek-V2.
• Strategię równoważenia obciążenia między ekspertami, która nie polega na użyciu dodatkowej funkcji straty.
• Cel treningowy oparty na przewidywaniu wielu tokenów jednocześnie.
• Dystylację umiejętności rozumowania z modelu typu long chain-of-thought, w duchu rozwiązania o1 firmy OpenAI.

Przechodzi również proces po szkoleniu, w tym nadzorowane dopracowanie oraz RLHF, aby dostosować go do preferencji ludzkich. W raporcie zaznaczono, że szkolenie wstępne na 14,8 T tokenów przebiegało niezwykle stabilnie, bez nieodwracalnych skoków strat i bez konieczności cofania się w procesie.

Mimo to głównym powodem jego siły jest sama skala: bardzo duży model szkolony na odpowiednio dużym zbiorze danych. Wykonywanie tak dużych zadań jest trudne z wielu powodów, w tym awarii sprzętu i skoków strat, więc stabilne wykonanie przy koszcie uznanym za rozsądny według standardów LLM jest samo w sobie godne uwagi. Sugeruje to, że bardzo duże zadania szkoleniowe stają się z czasem łatwiejsze w zarządzaniu i bardziej efektywne. Traktuj konkretne porównania z bazą benchmarków jako chwilowy obraz sytuacji, ponieważ lista liderów od tamtej pory uległa zmianie.

Kolejny rzędów wielkości to projekt inżynieryjny

Rzeczywiste dalsze badanie praw skalowania oznacza trenowanie modeli o kilka rzędów wielkości przewyższających obecne rozwiązania. Niezależnie od tego, jak oceniasz wartość tego podejścia, istnieją poważne ograniczenia praktyczne. Wymaga to:

• Większych klastrów obliczeniowych.
• Jeszcze większej ilości lepszego sprzętu.
• Bardzo dużej ilości energii elektrycznej.
• Nowych algorytmów, na przykład do trenowania rozproszonego na większą skalę, być może w kilku centrach danych.

Następna generacja to nie tylko kwestia zakupu większej liczby kart GPU. Jest to zadanie inżynieryjne o charakterze interdyscyplinarnym, które wymaga czasu. Dla porównania, GPT-4 pojawił się w marcu 2023 roku, prawie trzy lata po GPT-3. Rozsądne jest oczekiwanie podobnego lub dłuższego odstępu czasu przy każdym kolejnym zwiększeniu skali o 10 do 100 razy. Ege Erdil z Epoch AI dobrze podsumował tę dynamikę: każde zwiększenie o jeden rzęd wielkości wymaga własnych innowacji.

Skąd bierze się postęp, gdy wstępne szkolenie się zatrzymuje: uczenie się wzmacniające i obliczenia w czasie testowym

Załóżmy, wyłącznie dla celów argumentacji, że postępy w wstępnym szkoleniu ustąpią jutro. Badania nad sztuczną inteligencją nadal mają dużo możliwości szybkiego rozwoju. Dane syntetyczne to już jedna z dróg, o której mowa. Dwie inne są obecnie szczególnie popularne:

1. Systemy i agenci LLM.
2. Modele rozumowania.

Wykorzystanie istniejących modeli lepiej za pomocą systemów LLM

Poza paradygmatem pojedynczego wywołania

Większość dzisiejszych aplikacji opartych na LLM stosuje model jednolity: zadanie jest wysyłane do jednego modelu, a jego wynik jest używany bezpośrednio jako odpowiedź. Jeśli chcesz, aby system ten radził sobie z trudniejszymi zadaniami z większą dokładnością, oczywistym rozwiązaniem jest lepszy model bazowy, ale to zmusza do czekania na następną generację. Alternatywą jest stworzenie systemu, który łączy kilka wywołań LLM lub inne komponenty w celu rozwiązania zadania.

Rozbicie na części i łączenie

Podstawową ideą systemu opartego na LLM jest podzielenie złożonego zadania na części, które są łatwiejsze do obsługi dla modelu lub innego modułu. Istnieją dwie główne strategie:

1. Rozbicie zadania: podzielenie zadania na podzadania, rozwiązanie każdego z nich osobno oraz połączenie wyników w ostateczną odpowiedź.
2. Łączenie: rozwiązanie zadania lub podzadania za pomocą sekwencji wywołań LLM zamiast jednego wywołania.

Mogą być używane oddzielnie lub razem. Weźmy system do streszczania książek. Można rozbić to zadanie, najpierw streszczając każdy rozdział. Stamtąd można albo:

• Rozbić zadanie dalej, dzieląc rozdziały na mniejsze fragmenty tekstu – to jest idea streszczania rekurencyjnego lub hierarchicznego.
• Łączyć wywołania, na przykład tak, aby jedno wywołanie wyodrębniło kluczowe fakty z rozdziału, a drugie napisze streszczenie rozdziału na podstawie tych faktów.

W końcu kolejne wywołanie łączy wszystkie streszczenia rozdziałów w jedno streszczenie całej książki. Większość złożonych zadań można w ten sposób rozbić na proste części, co sprawia, że systemy oparte na LLM są tak potężne. W miarę jak rozbieranie i łączenie staje się bardziej złożone, systemy te przekształcają się w zaawansowane oprogramowanie, a ich prawidłowe projektowanie stanowi odrębną, ważną dziedzinę zastosowanej sztucznej inteligencji.

Tworzenie produktów, których ludzie rzeczywiście używają

Mimo całej uwagi poświęcanej modelom językowym wielkoskalowym, liczba praktycznych, powszechnie stosowanych zastosowań pozostaje niewielka. Najważniejsze obecnie to generowanie kodu i czat, które są dość oczywistymi zastosowaniami dla tej technologii.

Istnieje wiele dziedzin, w których modele językowe wielkoskalowe mogłyby być przydatne, ale jeszcze tego nie robią, dlatego tworzenie naprawdę użytecznych produktów opartych na tych modelach stanowi samo w sobie ważny problem badawczy i inżynieryjny. Zdolne modele już istnieją; przekształcenie ich w coś, czego ludzie chcą używać, to zupełnie inny wyzwanie, które sprowadza się do budowania niezawodnych, wydajnych systemów wokół tych modeli.

Agenci: narzędzia i działania

Granica pomiędzy systemem LLM a agentem jest niejasna, częściowo dlatego, że termin „agent” stał się przeciążony znaczeniowo. Kluczowe jest to, że systemy LLM można rozwijać w wielu przydatnych kierunkach. Model można nauczyć korzystania z narzędzi, takich jak kalkulator lub silnik wyszukiwania, podczas rozwiązywania problemu. Może on wykonywać napisany przez siebie kod lub podejmować działania w imieniu użytkownika, np. rezerwować hotel lub wysyłać e-maile. Zbiór narzędzi i modułów, które można dołączyć do modelu, daje niemal nieograniczone możliwości tworzenia bardziej zaawansowanych systemów. Jeśli chcesz konkretnego obrazu tego, jak zbudowana jest pętla agenta, nasz przewodnik po celach, narzędziach, pamięci i pętli agenta omawia to szczegółowo.

Odporność to prawdziwy wąskie gardło

Niezawodność jest jedną z największych przeszkód na drodze do bardziej wydajnych systemów, a arytmetyka wyjaśnia dlaczego. Załóżmy, że system dokonuje dziesięciu wywołań modeli językowych, z których każde udaje się w 95% przypadków, a wszystkie dziesięć musi się udać, aby ostateczny wynik był poprawny. System jako całość udaje się jedynie w około 60% przypadków, ponieważ 0.95^10 wynosi mniej więcej 0.60. Każdy komponent wydaje się niezawodny sam w sobie, jednak cały proces zawodzi cztery razy na dziesięć.

Dodawanie kolejnych kroków pogarsza sytuację w sposób wielokrotny, co stanowi ograniczenie dla stopnia złożoności systemu, zanim stanie się on nieprzydatny. Dlatego budowa większych systemów wymaga, aby każdy z ich komponentów był znacznie bardziej niezawodny. Niektóre dowody wskazują, że sama skala poprawia odporność systemu. Innym rozwiązaniem są lepsze algorytmy meta-generacji. Zamiast pobierać pojedynczy przykład z modelu, te metody wykorzystują takie techniki jak dekodowanie równoległe, weryfikacja na poziomie poszczególnych kroków oraz analiza krytyczna, aby uzyskać bardziej dopracowany i dokładny wynik. Szczegółowy przegląd tej dziedziny znajduje się w artykule „From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models.”

Ta dziedzina rozwija się szybko i prawdopodobnie będzie głównym motorem postępu. W miarę udoskonalania się technik meta-generacji modele stają się bardziej niezawodne, a bardziej złożone systemy LLM i agentów stają się praktyczne do użycia.

Praktyczna zasada dla wszystkich, którzy budują takie systemy: zanim dodasz kolejny krok do procesu, oszacuj wskaźnik skuteczności od początku do końca, mnożąc wskaźniki poszczególnych kroków, i rozważ, czy krok weryfikacji lub ponownej próby pozwoliłby taniej wzmocnić najslabszy ogniwо niż dodanie tej funkcji w innym miejscu.

Modele rozumowania i nowa oś skalowania

Początkowe modele LLM często były odrzucane jako narzędzia do dopasowywania wzorców, które zapamiętywały dane i nie potrafiły naprawdę rozumować. Krytyka ta została w dużej mierze obalona w ostatnich latach. Obecnie uważa się, że te modele prawdopodobnie od zawsze posiadały ukrytą zdolność do rozumowania, a właściwe techniki sterowania lub treningu pomagają ją uaktywnić.

Łańcuch myślenia

Technika promptowania typu Chain-of-thought (CoT) była jedną z pierwszych metod, które to pokazały. Jest to czysto metoda promptowania: prosisz model o wyjaśnienie swoich rozumowań przed podaniem ostatecznej odpowiedzi. Gdy model przed udzieleniem odpowiedzi przedstawia kroki swoich rozumowań, jego skuteczność w rozwiązywaniu problemów znacznie się poprawia. Dodatkową zaletą jest to, że te rozumowania są czytelne dla człowieka, co ułatwia interpretację wyniku.

Idea jest prosta i uniwersalna, i stała się kluczowa dla poprawy zdolności rozumowania modeli LLM. Była wykorzystywana na wiele sposobów:

• Ewaluatorzy typu LLM-as-a-judge zazwyczaj piszą uzasadnienie oceny przed podaniem końcowej punktacji.
• Rozwinięto metody fine-tuningu pod nadzorem oraz instruktażowego treningu, aby nauczyć mniejsze lub otwarte modele tworzenia lepszych łańcuchów rozumowań.

Często od modeli wymaga się, aby reflektowały nad swoimi wynikami, krytykowały je lub je weryfikowały, a następnie poprawiały na podstawie tych informacji zwrotnych.

Złożone rozumowanie pozostaje dynamicznie rozwijającą się dziedziną badań. Metody szkoleniowe, które uczą modele dołączania krok po kroku weryfikacji do ich procesu rozumowania, przyniosły obiecujące rezultaty, a dalsze postępy są prawdopodobne wraz z pojawieniem się lepszych strategii szkoleniowych.

o1: myślenie przed odpowiadaniem

o1 od OpenAI stanowił ważny krok w rozwoju umiejętności rozumowania modeli LLM, a jego podejście opiera się na łańcuchach myśli. Podobnie jak człowiek zastanawia się przed odpowiedzią na trudne pytanie, o1 poświęca czas na „myślenie” przed udzieleniem odpowiedzi. W praktyce jego myśli to długie łańcuchy rozumowania, w których model analizuje problem, dzieli go na prostsze kroki, próbuje różnych podejść i koryguje własne błędy. OpenAI opisuje go jako model wyszkolony metodą uczenia się przez wzmocnienie do rozumowania, który potrafi stworzyć długi wewnętrzny łańcuch myśli przed udzieleniem odpowiedzi.

Dokładna procedura szkolenia nie została opublikowana. OpenAI stwierdziło, że o1 uczy się rozumowania za pomocą algorytmu „dużomasowego uczenia się przez wzmocnienie”, który jest „bardzo efektywny pod względem danych” i skupia się na poprawie zdolności modelu do tworzenia przydatnych łańcuchów myślenia. Publiczne komentarze badaczy z OpenAI wskazują, że model jest szkolony wyłącznie metodą uczenia się przez wzmocnienie, co stoi w sprzeczności z wcześniejszymi przypuszczeniami, że o1 wykorzystuje jakiś rodzaj wyszukiwania drzewa podczas procesu inferencji.

W zadaniami wymagających intensywnego rozumowania o1 przewyższa GPT-4o niemal we wszystkich aspektach. Według przedstawionych przez OpenAI wyników model:

• osiąga wyniki w 89. percentylu w zadaniach z programowania konkurencyjnego z Codeforces.
• działa na poziomie 500 najlepszych uczniów w USA w teście AIME, który jest kwalifikacją do Olimpiady Matematycznej USA.
• Przewyższa dokładność ludzkich ekspertów na poziomie doktora w zakresie fizyki, biologii i chemii na poziomie studiów podyplomowych, według benchmarku GPQA.

Od o1 do o3: skalowanie obliczeń potrzebnych do szkolenia i wnioskowania

Jedną z najciekawszych cech o1 jest to, że większa ilość zasobów obliczeniowych przeznaczonych na wnioskowanie pozwala na lepsze rozumowanie. Aby radzić sobie z trudniejszymi problemami, model tworzy dłuższe łańcuchy myślowe, a wykorzystanie większej ilości zasobów obliczeniowych podczas wnioskowania na te dłuższe łańcuchy przynosi stopniowe poprawy w wydajności rozumowania. Według OpenAI, o1 stale się udoskonala dzięki dwóm niezależnym czynnikom: ilości uczenia się przez wzmacnianie stosowanego podczas szkolenia (zasoby obliczeniowe w czasie szkolenia) oraz długości czasu na przemyślenia przy każdym pytaniu (zasoby obliczeniowe w czasie testowania).

To samo dotyczy szkolenia: o1 stale się poprawia w miarę zwiększania zasobów obliczeniowych wykorzystywanych w uczeniu wzmacniającym. Najwyraźniej to właśnie ta droga doprowadziła do powstania o3. OpenAI zaprezentowało wstępne wyniki oceny o3 pod koniec 2024 roku, udostępniając niewiele szczegółów, ale biorąc pod uwagę, że pojawił się on zaledwie około trzech miesięcy po o1, najprawdopodobniej jest to wersja o1 zwiększona o większe zasoby obliczeniowe przeznaczone na uczenie wzmacniające.

W czasie tej prezentacji o3 jeszcze nie został wydany, a przedstawione wtedy wyniki były imponujące:

• 87,5% w teście ARC-AGI, podczas gdy GPT-4o osiągnął zaledwie 5%. Dzięki temu o3 stał się pierwszym modelem, który przekroczył próg 85% na poziomie człowieka w teście ARC-AGI, określanym jako „gwiazda przewodnia” dla AGI, który nie miał równych się od ponad pięciu lat. Ten najwyższy wynik uzyskano dzięki konfiguracji wykorzystującej duże zasoby obliczeniowe.
• 71,7% w teście SWE-Bench Verified oraz ranking Elo na Codeforces na poziomie 2727, co umieszcza go w gronie 200 najlepszych programistów konkurencyjnych na świecie.
• 25,2% w teście FrontierMath firmy Epoch AI, co stanowi poprawę w stosunku do wcześniejszego rekordu na poziomie 2,0%. Terence Tao opisał ten test jako niezwykle trudny i przewidywał, że będzie odpierał systemy AI przynajmniej przez kilka lat.

Jego wersja uproszczona, o3-mini, została zaprezentowana jednocześnie i pokazała doskonałe wyniki przy znacznie lepszej efektywności obliczeniowej. Były to dane z pojedynczego ogłoszenia; sprawdź aktualną dokumentację oraz niezależne oceny, aby dowiedzieć się, jak porównują się wersje ostatecznie wydane.

Dlaczego to nowy paradygmat skalowania

Jeśli wykresy o1 i o3 wydają się teraz znajome, to dlatego, że są to ten sam rodzaj wykresu, o którym mowa w całym tym tekście: obliczenia w skali logarytmicznej na osi X oraz gładki, liniowy wzrost wydajności. Innymi słowy, te modele rozumowania pokazują wyraźną zależność typu prawo potęgi pomiędzy wydajnością a dwiema wielkościami:

• Obliczenia wykonywane podczas treningu w ramach uczenia się przez wzmocnienie.
• Obliczenia wykonywane podczas inferencji w celu przetwarzania informacji.

Różni się to od klasycznych praw skalowania. Zamiast skalować proces przedtreningowy, skaluje się obliczenia wykonywane po treningu oraz podczas inferencji. Jest to zupełnie nowa osa skalowania, a dotychczasowe wyniki są imponujące. Pokazują one, że istnieją sposoby na skalowanie poza etapem przedtreningowym, a także że dziedzina ta znalazła kolejny cel do osiągnięcia. Choć forma może ulegać zmianie, to właśnie skalowanie nadal napędza postęp.

Jedna z konsekwencji inżynieryjnych wymaga jasnego sformułowania. Gdy jakość jest zależna od zasobów obliczeniowych potrzebnych do przetwarzania danych, koszt i opóźnienie na żądanie stają się parametrami, które można dostosowywać, a nie stałymi właściwościami modelu. To zmienia sposób planowania budżetu i projektowania aplikacji: trudniejsze zapytania mogą być kierowane do procesów wymagających dłuższego rozumowania, natomiast prostsze pozostają tanie.

Co należy pamiętać podczas analizy wykresu skalowania

• Prawo skalowania to prawo potęgowe między zasobem (parametrami, danymi lub mocą obliczeniową) a stratą w testach. Prosta linia na wykresie logarytmicznym ukrywa szybko spadające efekty, dlatego każde ulepszenie kosztuje coraz więcej.
• Prawa te obowiązują tylko wtedy, gdy inne czynniki nie stanowią wąskiego gardła, dlatego dane, parametry i zasoby obliczeniowe muszą rosnąć razem.

Chinchilla odwróciła wcześniejszą zalecenie: przy stałym budżecie na szkolenie rozmiar modelu i ilość danych powinny rosnąć proporcjonalnie, a wiele wcześniejszych modeli było słabo wyszkolonych. Koszty obsługi często zmuszają zespoły do szkolenia mniejszych modeli na jeszcze większej ilości danych.

Głównym praktycznym zastosowaniem praw skalowania jest redukcja ryzyka: stosuje się je w tanich testach, aby przewidzieć wyniki w droższych, tak jak zrobił raport GPT-4 w przypadku straty informacji oraz wskaźnika sukcesu w HumanEval.

Wyczuwalne spowolnienie wynika z trzech czynników: malejących korzyści przewidzianych przez matematykę, rozbieżności pomiędzy stratą informacji a tym, co cenią użytkownicy, oraz długiego czasu potrzebnego na opracowanie modelu o następnym rzędzie wielkości. Ograniczona ilość danych internetowych stanowi najpoważniejszą barierę w procesie wstępnego szkolenia modeli.

Postępy nie zależą wyłącznie od wstępnego szkolenia. Dobrze zaprojektowane systemy LLM wymagają przede wszystkim odporności, ponieważ wskaźniki błędów na każdym kroku się kumulują, a modele rozumowania pokazują, że uczenie się przez wzmocnienie w trakcie szkolenia oraz procesy rozumowania w czasie wykonywania zadań podążają za własnymi krzywymi skalowania.

Pytanie kluczowe to już nie to, czy skalowanie będzie trwać, ale jaki zasób jest skalowany oraz czy korzyści przełożą się na metryki, które naprawdę nas interesują.