AGI to problem uczenia się, a nie problem przechowywania danych.

Transkrypcja, która zmieniła kwestię

Ostatnio zaczęła krążyć transkrypcja czterogodzinnego spotkania z inwestorami, w której, jak podaje się, brał udział założyciel DeepSeek, Liang Wenfeng. W niej wskazuje, czego brakuje dzisiejszym systemom sztucznej inteligencji. To nie jest kreatywność ani rozumowanie. Według transkrypcji prawdziwym brakiem jest to, że sztuczna inteligencja nie potrafi uczyć się w taki sam sposób jak ludzie, i model nie powinien być uważany za następną generację, dopóki się to nie zmieni.

Plan, który rzekomo przedstawił, zaczyna się od rozumowania opartego na łańcuchu myśli, przechodzi przez agenty, następnie przez uczenie się ciągłe, potem przez „punkt singularności”, a na końcu przez inteligencję ucieleśnioną.

Ta koncepcja ma za sobą niezależny argument pochodzący z innej strony.

Inteligencja to nie zasób magazynowany

Każda nowa wersja modelu językowego wywołuje tę samą dyskusję: wyniki testów, zdolność rozumowania, długość kontekstu, liczba parametrów oraz to, o ile wydaje się on inteligentniejszy od swojego poprzednika. Inteligencja jest mierzona niemal wyłącznie na podstawie tego, co model już wie. To może być błędny kryterium.

Ludzie nie są inteligentni ze względu na ilość informacji przechowywanych w ich mózgach. Gdyby to było kryterium, podręcznik medyczny przewyższyłby lekarza.

Zastanówmy się nad osobą, której zadaje się pytanie dotyczące dziedziny, o której nic nie wie. Odpowiedź nie pojawia się od razu. Najpierw przychodzi uświadomienie sobie, że nie wie wystarczająco dużo. Następnie szuka informacji, porównuje źródła, czyta, kwestionuje to, co znajduje, stopniowo buduje zrozumienie i w końcu dochodzi do odpowiedzi. Kilka tygodni później, bez ponownego zajmowania się tematem, wiele szczegółów już zanika. Konieczność ponownego posiadania tej wiedzy oznacza konieczność powtórzenia całego procesu. Inteligencja nie zniknęła wraz z zapomnianymi faktami, ponieważ zdolność do uczenia się pozostała nienaruszona.

Człowiek nie jest AGI, a nawet ludzka inteligencja ogólna ciągle coś zapomina. Umiejętności, których długo się nie używa, zanikają i trzeba je odzyskać poprzez ponowne szkolenie w danej dziedzinie. To nie jest wada inteligencji – taki właśnie jest mechanizm uczenia się we wszystkich obserwowanych systemach inteligentnych, łącznie z nami samymi.

Jak różnią się modele językowe

Dzisiejsze modele działają inaczej. Najpierw odbywa się ogromny proces wstępnego szkolenia, po którym następują starannie zaplanowane etapy dopracowywania, a parametry pozostają w zasadzie niezmienione aż do rozpoczęcia kolejnego cyklu szkolenia. Jeśli na świecie pojawi się coś nowego, model nie ma możliwości samodzielnego wyboru, by to zbadać. Inżynierowie, badacze oraz procesy przetwarzania danych podejmują tę decyzję, podczas gdy model pozostaje bezczynny. W rzeczywistości kwestia inteligencji była traktowana jako problem przechowywania danych, podczas gdy w rzeczywistości chodzi o proces uczenia się.

Catastrofalne zapominanie

Sztuczna inteligencja napotyka poważną przeszkodę zwaną katastrofalnym zapominaniem. Gdy model jest dostosowywany na nowych danych, często traci część swojej wcześniejszej wiedzy, ponieważ parametry odpowiadające za dawne umiejętności są modyfikowane, aby przyjąć nowe. Przyczyna ta jest wbudowana w sam projekt. Model typu transformer przechowuje swoją wiedzę w tych samych, stałych macierzach wag, których używa do rozumowania, więc zmiana jednej wpływa na drugą. Lata badań poświęcono łagodzeniu tego efektu, jednak wciąż nie jest jasne, czy wielokrotne przepisywanie tej samej reprezentacji jest w ogóle rozsądną strategią.

To nie jest przeczucie jakiegoś założyciela

Zaniepokojenie to nie dotyczy tylko jednego założyciela. Demis Hassabis, który kieruje DeepMind, powiedział coś podobnego publicznie w tym roku. Wymienił spójność, niezawodność na długim horyzoncie czasowym oraz zdolność adaptacji przypominającą ludzką, wraz z uczeniem się ciągłym należącym do tej grupy, jako czynniki wciąż hamujące postęp, i nie obwiniał braku mocy obliczeniowej. Jego stanowisko kontrastuje z poglądami Anthropic, gdzie Dario Amodei mówił o czymś w rodzaju kraju pełnego genialnych badaczy mieszkających w centrum danych, który można by w dużej mierze osiągnąć poprzez rozwijanie obecnych metod skalowania.

Oba te twierdzenia mogą być prawdziwe jednocześnie. Skalowanie nadal przynosi efekty, a uczenie się ciągłe pozostaje jedynym problemem, którego nikt jeszcze w pełni nie rozwiązał. Razem pokazują, że ta koncepcja nie jest marginalna – stanowi prawdziwą linię podziału w sposobie, w jaki największe laboratoria opisują prace, które jeszcze przed nami.

Czerpanie z mózgu

Mózg ludzki najwyraźniej nie przepisuje się za każdym razem, gdy poznaje nowy fakt. Składa się on z kilku wzajemnie oddziałujących systemów: pamięci roboczej służącej do natychmiastowego rozumowania, pamięci długoterminowych kształtujących się na przestrzeni lat, umiejętności stających się automatycznymi dzięki powtarzaniu oraz pamięci, które zanikają, gdy przestają być przydatne. Nauka to nie jedna operacja – to ekosystem procesów.

Praktyczna analogia mówi, że mózg zawiera coś na kształt pamięci RAM oraz coś na kształt pamięci ROM, które są odrębnymi systemami. Pamięć robocza pełni rolę RAM: szybka, krótkotrwała i ciągle nadpisywana. Wiedza długoterminowa pełni rolę ROM – jej zapis jest wolniejszy, ale po tym fakcie pozostaje stabilna. Aby sztuczna inteligencja ogólna przypominała ludzką inteligencję, to rozdzielenie musi zostać zaprojektowane od samego początku, a nie polegać na jednym ogromnym zestawie wag pełniącym obie funkcje. Mózg nie musi być jedynym wzorem, ale oddzielenie rozumowania od pamięci pomaga również w rozwiązywaniu praktycznych problemów inżynieryjnych.

Model, który dostrzega własne luki

Załóżmy model rozumowania, który ciągle zauważa swoje słabe strony. Zamiast czekać miesiącami na sesję szkoleniową, identyfikuje to, co nie jest dla niego pewne, zbiera wiarygodne informacje, je weryfikuje, tworzy niewielką ilość nowych danych treningowych i proponuje małą zmianę we własnej strukturze. Następnie sprawdza, czy ta zmiana rzeczywiście pomaga, nie szkodząc przy tym obecnym umiejętnościom, po czym ją akceptuje lub odrzuca. Każda zaakceptowana zmiana pozostaje na tyle mała, że można ją cofnąć, jeśli późniejsze dowody ujawnią błąd.

Wersja mechaniczna mogłaby wyglądać w ten sposób:

1. Model samodzielnie tworzy niewielki zbiór danych, badając dany temat w internecie lub analizując miejsca, w których już napotyka trudności.

Dostosowuje ona kopię samej siebie na tym małym zbiorze danych. Jest to niewielka korekta wag, a nie pełne ponowne szkolenie. Ta korekta prawdopodobnie będzie kosztować nieco gorsze wyniki w innych obszarach, więc pewne zapominanie informacji jest prawdopodobnie nieuniknione; celem jest utrzymanie tego kosztu na tak niskim poziomie, aby ogólne wyniki nie spadły.

Dostosowana kopia jest porównywana z niezmienionym oryginałem w przypadkach, których aktualizacja nigdy nie widziała.

Jeśli kopia rzeczywiście poprawia wyniki, zostaje zachowana i następuje kolejny mały krok w procesie dostosowywania, przy czym szybkość uczenia się kontroluje postępy tak samo jak podczas szkolenia. Jeśli nie, kopia jest odrzucana i cykl rozpoczyna się od nowa.

Oczywiste zagrożenie

Niebezpieczeństwo polega na tym, że jeśli dane wejściowe są błędne, to wyniki również będą błędne. Szkolenie modelu na danych samodzielnie wygenerowanych może sprawić, że model będzie wzmacniał własne błędy, a małe pomyłki mogą się gromadzić na przestrzeni wielu kroków, mimo że pojedynczo wydawały się nieszkodliwe. Jedną z częściowych środków ostrożności jest umożliwienie modelowi sprawdzenia wygenerowanego przez siebie zbioru danych przed szkoleniem, oceny własnych przykładów za pomocą krótkiego promptu i zachowania tylko tych dobrych, zamiast przyjąć wszystko, co wygenerował. To jednak nie stanowi pełnego rozwiązania – po prostu przedstawia w mniejszej i bardziej bezpośredniej formie problem samoopiniania, od którego zależy cała ta koncepcja.

Co tu jest nowego, a co nie

Twierdzenie, że ciągłe uczenie się jest brakującym elementem, wcale nie jest nowe. Liang wyraził je kilka dni temu, Hassabis głosił jego wersje publicznie, a badacze od lat badają zjawisko katastrofalnego zapominania. To, czego brakuje publicznie, to konkretny sposób realizacji. Plan Lianga kończy się jednym zdaniem mówiącym, że model uczący się ciągle może stworzyć własną następną wersję, która określa cel, ale pozostawia mechanizm nieokreślonym.

Powyższy schemat, obejmujący mały zbiór danych, ograniczone dopasowanie, weryfikację względem zamrożonego oryginału oraz decyzję o zachowaniu lub usunięciu, stanowi jedną z prób przezwyciężenia tego problemu. Może nie być poprawny, a na poziomie implementacji może nawet nie być oryginalny, ponieważ ktoś w laboratorium z dużym prawdopodobieństwem już próbuje takiej wersji. Jest na tyle konkretny, by można go było błędnie zweryfikować w określony sposób, a pomysł, który da się udowodnić jako błędny, jest lepszy od tego zbyt niejasnego, by można go było przetestować.

Rezultatem nie byłby model ciągle przepisujący swoją tożsamość. Byłby to model stopniowo ewoluujący poprzez tysiące zweryfikowanych korekt.

Kwestie trudne, które się pojawiają

To podejście natychmiast rodzi trudne pytania:

• Jak system sprawdza, czy jego własne uczenie się jest poprawne?
• Jak unika wzmacniania własnych błędnych przekonań?
• Czy zapominanie to zdarzenie binarne, przy którym fakt albo istnieje, albo nie istnieje, czy też jest to gradient, który stopniowo słabnie z każdą niepowiązaną aktualizacją?
• Ile wiedzy powinno stać się trwałe, a ile pozostać zewnętrznym elementem?
• Kiedy informacje powinny trafić do pamięci, a kiedy należy je po prostu pobierać z wiarygodnych źródeł na żądanie?

Są one trudniejsze od pierwotnej propozycji i nie ma na nie gotowych odpowiedzi. To właśnie pytania warte zbadania.

Części już istnieją

Istnieje wiele składników, w tym systemy odzyskiwania danych, metody uczenia się ciągłego, generowanie danych syntetycznych, autonomiczne agenty, optymalizację parametrów oraz coraz potężniejsze modele rozumowania. To, czego brakuje, to nie kolejne prawo skalowania, lecz ramy umożliwiające współpracę tych składników w ramach systemu, który uczy się przez cały swój okres istnienia.

Być może AGI nie pojawi się, ponieważ jeden model osiągnie niewyobrażalną wielkość, a zamiast tego pojawi się w momencie, gdy sztuczna inteligencja przestanie być statyczna. Inteligencja mogłaby mniej polegać na zbieraniu parametrów, a bardziej na budowaniu systemów zdolnych do właściwego oceniania, kiedy wątpić we własne przekonania, szukać nowych informacji, korygować je oraz przyznawać, że nie są pewne.

Nie wiadomo, czy to jest droga do AGI, a historia może pokazać, że intuicja ta jest błędna. Jedna koncepcja nadal zasługuje na poważne potraktowanie: najinteligentniejsze systemy, które znamy, czyli sama ludzka umysłowość, nie są wyjątkowe dlatego, że nigdy niczego не zapominają. Są wyjątkowe, ponieważ nigdy nie przestają się uczyć.