AGI — это проблема обучения, а не проблема хранения.

Транскрипт, изменивший формулировку вопроса

Недавно начал распространяться транскрипт четырехчасового собеседования с инвесторами, в котором, как сообщается, участвовал основатель DeepSeek Лян Вэнфэн. В нем он указывает на то, чего сегодня не хватает искусственному интеллекту. Это не творчество и не способность к рассуждению. По транскрипту, настоящим недостатком является то, что ИИ не может учиться так же, как люди, и пока это не изменится, модель не может считаться следующим поколением.

По его словам, предложенный им план развития начинается с рассуждений на основе цепочки мыслей, затем переходит к агентам, далее — к непрерывному обучению, после чего наступает «точка сингулярности», и, наконец, появляется интеллект в теле.

У этой идеи есть свои аргументы, исходящие из другого направления.

Интеллект — это не запас

Каждая новая версия языковой модели вызывает одни и те же вопросы: результаты тестов, способность к логическим рассуждениям, длина контекста, количество параметров и насколько она кажется умнее своего предшественника. Интеллект оценивается почти исключительно на основе того, что уже знает модель. Возможно, это неверный критерий.

Люди не являются умными из-за объема информации, хранящейся в их мозге. Если бы критерием считался объем хранения, медицинский учебник превзошел бы врача.

Представьте человека, у которого спрашивают о области, в которой он совершенно ничего не знает. Ответ не появляется сразу. Сначала он понимает, что ему не хватает знаний. Затем он ищет информацию, сравнивает источники, читает, ставит под сомнение найденное, постепенно формируя понимание, и в конце концов находит ответ. Через несколько недель, без дополнительных усилий, многие детали забываются. Чтобы снова получить эти знания, приходится повторять весь процесс. Интеллект не исчезает вместе с забытыми фактами, поскольку способность к обучению остается нетронутой.

Человек — это не AGI, и даже общий человеческий интеллект постоянно забывает. Навыки, которыми долго не пользуются, теряются и требуют восстановления путем повторного обучения по данной теме. Это не недостаток интеллекта. Так работает процесс обучения во всех наблюдаемых интеллектуальных системах, включая нас самих.

В чем различия между языковыми моделями

Современные модели работают иначе. Сначала проводится масштабная предварительная обучающая процедура, за которой следуют тщательно спланированные этапы доработки, после чего параметры остаются практически неизменными до начала следующего цикла обучения. Если в мире происходит что-то новое, у модели нет возможности самостоятельно решить изучить это. Инженеры, исследователи и системы обработки данных принимают такое решение, пока модель находится в состоянии покоя. По сути, проблема интеллекта рассматривается как вопрос хранения данных, тогда как на самом деле это вопрос обучения.

Катастрофическое забывание

В машинном обучении существует серьезное препятствие под названием катастрофическое забывание. При настройке модели на свежих данных она часто теряет часть ранее полученных знаний, поскольку параметры, отвечающие за старые способности, модифицируются для усвоения новых. Причина этого заключена в самой структуре модели. Трансформер сохраняет свои знания в тех же фиксированных матрицах весов, которые используются для принятия решений, поэтому изменение одних влияет на другие. На преодоление этого эффекта были потрачены годы исследований, однако остается открытым вопрос о том, является ли постоянная перезапись одного общего представления разумной стратегией.

Не просто догадка основателя

Проблема касается не только одного основателя. Демис Хассабис, руководитель DeepMind, высказал примерно то же самое публично в этом году. Он назвал последовательность, надежность в долгосрочной перспективе и способность к адаптации, подобной человеческой, включая непрерывное обучение в рамках этой группы факторов, которые по-прежнему препятствуют прогрессу, и не связал это с нехваткой вычислительных мощностей. Его точка зрения противоположна позиции Anthropic, где Дарио Амодей говорил о чем-то вроде страны, полной талантливых исследователей, работающих в центре обработки данных, и о том, что ее можно достичь в основном путем расширения существующих методов масштабирования.

Оба утверждения могут быть верными одновременно. Масштабирование продолжает приносить результаты, а непрерывное обучение остается единственной проблемой, которую никто полностью не решил. Вместе они показывают, что эта идея не является маргинальной. Она отражает реальный разлад в том, как крупнейшие лаборатории описывают работу, которая еще предстоит выполнить.

Заимствования у мозга

Похоже, человеческий мозг не переписывается каждый раз, когда он усваивает новый факт. В нем существует несколько взаимодействующих систем: рабочая память для мгновенных рассуждений, долгосрочная память, формирующаяся на протяжении лет, навыки, становящиеся автоматическими благодаря повторению, и воспоминания, которые тускнеют, когда теряют практическую ценность. Обучение — это не одна процедура; это экосистема процессов.

Полезная аналогия гласит, что мозг содержит нечто вроде RAM и нечто вроде ROM — это отдельные системы. Рабочая память выполняет функцию RAM: быстрая, кратковременная и постоянно перезаписываемая. Долгосрочные знания выполняют функцию ROM: запись в них происходит медленнее, но после этого информация остаётся стабильной. Чтобы ИИ с общим интеллектом был похож на человеческий интеллект, такое разделение, вероятно, необходимо задумать с самого начала, а не оставить на усмотрение одного огромного набора весов, выполняющего обе функции. Мозг не обязательно должен быть единственным образцом, но разделение рассуждений и памяти также помогает решить практические инженерные проблемы.

Модель, которая замечает собственные пробелы

Представьте себе модель рассуждений, которая постоянно выявляет свои слабые места. Вместо того чтобы ждать месяцы для прохождения тренировки, она определяет то, в чём у неё нет уверенности, собирает надёжную информацию, проверяет её, создаёт небольшой объём новых данных для тренировки и предлагает небольшие изменения себе самой. Затем она проверяет, действительно ли эти изменения помогают без ущерба для текущих способностей, после чего принимает их или отклоняет. Любые принятые изменения остаются достаточно незначительными, чтобы их можно было откатить, если позже появятся доказательства ошибки.

Механическая версия могла бы выглядеть так:

1. Модель самостоятельно собирает небольшой набор данных, исследуя тему в Интернете или анализируя моменты, в которых у неё уже возникают трудности.

Он настраивает копию себя на этом небольшом наборе данных. Это незначительное корректировка весов, а не полная переобучаемость. Такая корректировка, вероятно, немного снизит ранее достигнутую производительность, поэтому некоторое забывание информации, скорее всего, неизбежно; цель состоит в том, чтобы эта потеря оставалась настолько незначительной, чтобы общая производительность не снижалась.

Настраиваемая копия сравнивается с оригиналом, который не подвергался изменениям, на примерах данных, которые ранее не использовались для обновления.

Если копия действительно улучшает производительность, её сохраняют и проводится ещё один небольшой шаг настройки, причем скорость обучения контролирует размер шага так же, как и во время обучения. Если улучшений нет, копию отбрасывают и цикл начинается заново.

Очевидная опасность

Опасность заключается в том, что «мусор входит — мусор выходит». Обучение на самостоятельно сгенерированных данных может привести к тому, что модель будет усиливать собственные ошибки, а незначительные неточности могут накапливаться на протяжении множества шагов, хотя каждая из них казалась безвредной. Одним из частичных решений является возможность для модели проверить сгенерированный набор данных перед обучением, оценить собственные примеры с помощью запроса с несколькими примерами и сохранить только хорошие из них, вместо того чтобы использовать всё, что она сгенерировала. Однако это не является полным решением. Это лишь переформулирование проблемы самооценки, от которой зависит вся концепция, но в более масштабированной и откровенной форме.

Что нового здесь, а что нет

Утверждение о том, что непрерывное обучение является недостающим элементом, совсем не ново. Лян высказал его несколько дней назад, Хассабис также озвучивал подобные идеи публично, а исследователи уже много лет изучают проблему катастрофического забывания. Однако в публичном доступе отсутствует конкретный способ решения этой проблемы. В плане Ляна всё сводится к одному предложению о том, что модель, способная к непрерывному обучению, может создать свою следующую версию, при этом указывается лишь конечная цель, а механизм остаётся неопределённым.

Приведённый выше цикл с небольшим набором данных, ограниченной настройкой параметров, проверкой результатов на замороженной исходной модели и выбором между сохранением или удалением является одной из попыток преодоления этого разрыва. Он может быть неверным, и на уровне реализации он даже может не быть оригинальным, поскольку в какой-то лаборатории почти наверняка уже пробуют аналогичную версию. Он достаточно конкретен, чтобы можно было определить его ошибки в чётких, проверяемых формах, и идея, которую можно доказать неверной, лучше той, что слишком расплывчата для тестирования.

Результатом не станет модель, постоянно переписывающая свою идентичность. Это будет модель, постепенно развивающаяся благодаря тысячам проверенных корректировок.

Возникающие сложные вопросы

Такой подход сразу же порождает сложные вопросы:

• Как система может убедиться, что её собственное обучение верно?
• Как ей избежать укрепления собственных заблуждений?
• Является ли забывание бинарным событием, при котором факт либо присутствует, либо отсутствует, или это градиент, который с каждой нерелевантной обновкой становится всё менее заметным?
• Сколько знаний должно стать постоянными, а сколько оставаться внешними?
• Когда информация должна сохраняться в памяти, а когда её следует извлекать по требованию из надежных источников?

Эти вопросы сложнее, чем в первоначальном предложении, и здесь нет готовых ответов. Именно они стоят того, чтобы их исследовать.

Элементы уже существуют

Уже существует множество необходимых компонентов: системы извлечения данных, методы непрерывного обучения, генерация синтетических данных, автономные агенты, методы тонкой настройки с минимальными затратами ресурсов, а также всё более мощные модели рассуждения. Кажется, что не хватает не ещё одного закона масштабирования, а фреймворка, позволяющего этим компонентам работать вместе в системе, которая продолжает обучаться на протяжении всего своего существования.

Возможно, AGI так и не появится, потому что отдельная модель достигнет немыслимых размеров, и он появится лишь тогда, когда ИИ перестанет быть статичным. Интеллект может будет зависеть не столько от сбора параметров, сколько от создания систем, способных правильно оценивать ситуацию, когда стоит сомневаться, искать новую информацию, корректировать свои убеждения и признавать отсутствие уверенности.

Неизвестно, является ли это путем к AGI, и история может доказать ошибочность этой интуиции. Одна идея всё же заслуживает серьезного внимания: самые умные системы, известные людям, а именно человеческий разум, выдающиеся не потому, что они никогда не забывают. Они выдающиеся потому, что никогда не прекращают учиться.