AGI — це проблема навчання, а не проблема зберігання.
Аргумент про те, що постійне навчання, а не більші ваги, є відсутньою складовою ШІ, із описом самообновлювального циклу, який перевіряє кожну незначну зміну.
Джерела: AGI Isn’t a Storage Problem. It’s a Learning Problem.
Транскрипт, який переосмислив питання
Нещодавно почав поширюватися транскрипт чотиригодинної конференції з інвесторами, у якій, за повідомленнями, брав участь засновник DeepSeek Лян Венфенг. У ньому він називає те, чого бракує сучасним ШІ. Це не креативність і не здатність до міркувань. Згідно з транскриптом, справжньою проблемою є те, що ШІ не може продовжувати навчатися так, як це роблять люди, і модель не може вважатися наступним поколінням, доки це не зміниться.
За повідомленнями, мапа розвитку, яку він запропонував, починається з міркувань у форматі ланцюга думок, потім переходить до агентів, далі — до безперервного навчання, після цього — до «точки сингулярності», і нарешті — до інтелекту, реалізованого через фізичну форму.
У цій ідеї є незалежне обґрунтування, яке походить з іншого напрямку.
Інтелект — це не запас
Кожен новий випуск мовної моделі запускає одну й ту саму дискусію: результати тестів, здатність до міркувань, довжина контексту, кількість параметрів та наскільки вона здається розумнішою за свого попередника. Інтелект оцінюється майже виключно за тим, що модель вже знає. Це може бути неправильним критерієм.
Люди не є розумними через обсяг інформації, яку зберігають їхні мозки. Якби критерієм був обсяг зберігання, медичний підручник перевершив би лікаря.
Уявіть собі людину, яку запитують про галузь, у якій вона нічого не знає. Відповідь не з’являється. Спочатку вона усвідомлює, що знає недостатньо. Потім вона шукає інформацію, порівнює джерела, читає, ставить під сумнів знайдене, поступово формує розуміння та нарешті знаходить відповідь. Через кілька тижнів, без повторного розгляду, багато деталей зникає. Щоб знову отримати ці знання, доводиться повторювати весь процес. Інтелект не зникає разом із забутими фактами, адже здатність до навчання залишається недоторканою.
Людина — це не ШІ з загальною інтелектуальною здатністю, і навіть людський загальний інтелект постійно забуває. Навички, якими довго не користуються, зникають, і їх потрібно відновлювати шляхом повторного навчання з цієї теми. Це не дефект інтелекту — це спосіб, яким відбувається навчання у кожній спостережуваній інтелектуальній системі, включаючи нас самих.
Як відрізняються моделі мови
Сучасні моделі працюють інакше. Спочатку відбувається масштабне попереднє навчання, потім — ретельно сплановані етапи докладного налаштування, і після цього параметри залишаються фактично незмінними до початку наступного циклу навчання. Якщо у світі трапляється щось нове, модель не має можливості самостійно вирішити, чи вивчати це. Інженери, дослідники та системи обробки даних приймають це рішення, поки модель перебуває у неактивному стані. Фактично інтелект розглядається як проблема зберігання, хоча насправді це проблема навчання.
Катастрофічне забування
У машинному навчанні існує серйозна перешкода під назвою катастрофічне забування. Якщо налаштовувати модель на свіжі дані, вона часто втрачає частину своїх попередніх знань, оскільки саме параметри, які підтримували старі здібності, змінюються для прийняття нових. Причина цього закладена в самій структурі моделей. Трансформер зберігає свої знання в тих самих фіксованих матрицях ваг, які використовуються для міркувань, тому зміна одних впливає на інші. Протягом багатьох років досліджуються способи зменшення цього ефекту, проте залишається відкритим питання, чи є доцільною стратегія постійного переписування однієї спільної репрезентації.
Це не просто здогадка засновника
Ця проблема стосується не лише одного засновника. Деміс Хассабіс, керівник DeepMind, цього року також висловлювався приблизно так само публічно. Він назвав послідовність, надійність у довгостроковій перспективі та здатність до адаптації, схожу на людську, разом із постійним навчанням, факторами, які досі заважають прогресу, і не звинувачував у цьому брак обчислювальних ресурсів. Його позиція контрастує з позицією Anthropic, де Даріо Амодей говорив про щось на кшталт країни, сповненої талановитими дослідниками, які працюють у центрі обробки даних, і досягнення мети можливе переважно шляхом розширення існуючих методів масштабування.
Обидва підходи можуть бути правильними одночасно. Масштабування продовжує приносити результати, а постійне навчання залишається єдиною проблемою, яку ніхто ще повністю не вирішив. Разом вони показують, що ця ідея не є маргінальною. Вона стосується справжньої проблеми у тому, як найбільші лабораторії описують роботу, що попереду.
Позичення з мозку
Здається, людський мозок не переписує себе щоразу, коли засвоює новий факт. Він має кілька взаємодіючих систем: робочу пам’ять для миттєвого міркування, довгострокову пам’ять, яка формується протягом років, навички, які стають автоматичними завдяки повторенню, та спогади, які зникають, коли вони більше не є корисними. Навчання — це не одна процедура. Це екосистема процесів.
Зручна аналогія стверджує, що мозок містить щось на кшталт RAM та щось на кшталт ROM — це окремі системи. Робоча пам’ять виконує функцію RAM: швидка, тимчасова та постійно перезаписується. Довгострокові знання виконують функцію ROM: запис у них відбувається повільніше, але після цього інформація залишається стабільною. Щоб ШІ мав схожість із людським інтелектом, це розділення, ймовірно, потрібно спланувати з самого початку, а не залишити на розсуд одного величезного набору параметрів, який виконуватиме обидві функції. Мозок не обов’язково має бути єдиним зразком, але розділення міркувань та пам’яті також допомагає вирішити практичні інженерні проблеми.
Модель, яка помічає власні прогалини
Уявіть собі модель міркувань, яка постійно помічає свої слабкі місця. Замість того, щоб чекати місяці на процес навчання, вона знаходить те, у чому не впевнена, збирає надійну інформацію, перевіряє її, створює невелику кількість нових даних для навчання та пропонує собі незначну зміну. Потім вона перевіряє, чи справді ця зміна допомагає, не завдаючи шкоди поточним здібностям, а потім приймає її чи відхиляє. Будь-яка прийнята зміна залишається достатньо незначною, щоб її можна було скасувати, якщо пізніше нові дані виявлять помилку.
Механічна версія могла б виглядати так:
- Модель самостійно створює невелику базу даних, досліджуючи тему в Інтернеті чи аналізуючи свої попередні проблеми.
Очевидна небезпека
Небезпека полягає у тому, що „сміття“ потрапляє всередину та виходить назовні у такому ж вигляді. Навчання на самостійно створених даних може призвести до того, що модель буде посилювати власні помилки, а дрібні похибки можуть накопичуватися протягом багатьох кроків, хоча кожна з них на перший погляд здається безневинною. Одним із часткових захистів є дозволити моделі перевірити свою створену набір даних перед навчанням, оцінити власні приклади за допомогою коротких запитів та зберегти лише найкращі, а не все, що вона створила. Однак це не є повноцінним рішенням. Це просто переформулює проблему самооцінки, від якої залежить вся ідея, у меншому та більш прямолінійному вигляді.
Що тут нового, а що — ні
Твердження про те, що безперервне навчання є відсутньою ланкою, зовсім не є новим. Лянг сказав про це кілька днів тому, Хассабіс висловлював подібні ідеї публічно, а дослідники вже багато років вивчають проблему катастрофічного забування. Однак у публічних джерелах бракує конкретного способу її вирішення. У плані Лянга лише одне речення стверджує, що модель, яка постійно навчається, може створити свою наступну версію, вказуючи лише напрямок розвитку та залишаючи механізм невизначеним.
Вищенаведений цикл, який включає невелику базу даних, обмежену налаштування, перевірку проти зафіксованої початкової версії та вибір між збереженням чи видаленням, є однією з спроб подолати цю прогалину. Він може бути неправильним, а на рівні реалізації — навіть не оригінальним, адже хтось у лабораторії майже напевно вже пробує подібну версію. Він достатньо конкретний, щоб можна було специфічно та перевірювано виявити його помилки, і ідея, яку можна довести хибною, краща за занадто розпливчасту для тестування.
Результатом не буде модель, яка постійно переписує свою ідентичність. Це буде модель, яка поступово еволюціонує завдяки тисячам підтверджених корекцій.
Виникаючі складні запитання
Цей підхід одразу ж ставить складні запитання:
- Як система перевіряє, чи правильний її власний процес навчання?
- Як їй уникнути підсилення власних хибних уявлень?
- Чи є забування бінарною подією, коли факт або є, або його немає, чи це поступове зникнення, яке посилюється з кожною не пов’язаною оновленням?
- Скільки знань має стати постійними, а скільки залишитися зовнішніми?
- Коли інформація має потрапляти до пам’яті, а коли її слід просто отримувати з надійних джерел за потребою?
Ці запитання складніші за початкову пропозицію, і тут немає готових відповідей. Саме це ті запитання, які варто досліджувати.
Елементи вже існують
Існує багато необхідних компонентів, зокрема системи збору даних, методи постійного навчання, генерація синтетичних даних, автономні агенти, ефективне налаштування параметрів та все потужніші моделі міркування. Те, чого, здається, бракує, — це не ще один закон масштабування, а фреймворк, який дозволить цим компонентам працювати разом у системі, що продовжує навчатися протягом усього свого існування.
Можливо, ШІ рівня AGI не з’явиться через те, що одна модель досягне неймовірних розмірів, а з’явиться тоді, коли ШІ перестане бути статичним. Інтелект може залежати менше від збору параметрів, а більше від створення систем, які здатні правильно оцінювати ситуацію, коли варто сумніватися, шукати нову інформацію, коригувати свої переконання та визнавати, що не впевнені.
Невідомо, чи є це шляхом до AGI, і історія може довести хибність цієї інтуїції. Одна ідея все ще заслуговує на серйозне розглядання: найрозумніші системи, які ми знаємо — сам розум людини — є вражаючими не тому, що вони ніколи не забувають. Вони є вражаючими тому, що ніколи не припиняють вчитися.