Суперпозиция в нейронных сетях: упрощенные модели, SAE и слияние признаков

Хранение большего объема данных, чем есть место

Представьте нейронную сеть, у которой скрытый слой имеет всего два измерения, так что каждый входной сигнал представлен двумя числами — точкой (x, y) в плоскости. Теперь предположим, что сети необходимо отслеживать пять различных признаков. Это кажется невозможным: два измерения должны вмещать два признака, по одному на ось.

Выход из этой ситуации — суперпозиция. Сеть может представлять больше признаков, чем у неё измерений, храня их в перекрывающихся направлениях в одном пространстве. Вместо того чтобы «измерение 1 содержит признак А, а измерение 2 — признак B», каждый признак получает свое собственное направление, и несколько признаков могут сосуществовать в одной паре измерений. Остаются открытыми вопросы: почему это работает и как сеть затем различает перекрывающиеся признаки.

Слой одновременно хранит несколько активных признаков, суммируя их направления.

В приведённом выше уравнении активация h представляет собой выходной сигнал слоя для одного входа — вектор из d чисел. В упрощённой модели d равно 5, а в слое 8 малой версии GPT-2 это число составляет 768. Каждая характеристика i имеет величину силы x_i, равную нулю или большей, причём в общей сложности существует n характеристик: 20 в упрощённой модели и неизвестное количество в GPT-2. Каждая характеристика также имеет фиксированное направление в d-мерном пространстве W_i, и все эти направления вместе образуют матрицу W размером d × n, где -я столбец соответствует W_i.

Проще говоря, каждая активная характеристика толкает представление вдоль своего собственного направления. Слой хранит только итоговый суммированный вектор h, не выделяя отдельного места для каждой характеристики.

Чтобы восстановить информацию о какой-либо характеристике, необходимо вычислить скалярное произведение h на направление этой характеристики.

Переход от первой строки этого вывода к второй основан на том, что скалярное произведение действует на сумму. Скалярное произведение W_i и h даёт по одному члену на каждую признаковую переменную; член с j = i выделяется отдельно, а сумма по j ≠ i охватывает все остальные. Первая часть представляет собой скалярное произведение единичного вектора на самого себя, что равно 1, поэтому этот член именно равен x_i — истинной величине влияния. Вторая часть суммирует все остальные признаки, каждый из которых умножается на коэффициент, определяемый степенью совпадения их направления с направлением признака i.

Это единственное уравнение лежит в основе всей темы и делится на два случая:

• Когда n ≤ d, количество признаков не превышает количество измерений, поэтому каждая ось может находиться под прямым углом к любой другой. Все скалярные произведения W_i · W_j равны нулю, интерференция полностью исчезает, и результат измерения является точным. Максимальное количество признаков составляет d.
• Когда n > d, это невозможно. В d измерениях максимум d векторов могут быть взаимно перпендикулярны, поэтому какая-то пара обязательно будет перекрываться, и интерференция никогда не будет равна нулю.

Суперпозиция означает сознательное принятие второго варианта: использование более d признаков в обмен на некоторую степень интерференции.

Почему интерференция является терпимой

Вмешательство имеет значение только тогда, когда включены другие признаки. Если признак j выключен, x_j равен нулю, и его вклад исчезает. Если каждый признак активируется с вероятностью p, ожидаемое количество вмешивающихся признаков составляет примерно (n − 1)p.

При n = 20 признаках и p = 0.001 это означает 19 × 0.001 = 0.019 ожидаемых вмешивающихся признаков. Примерно у 98% входных данных нет активных других признаков, поэтому результаты измерений точны. Вмешательство действительно существует, но с ним редко сталкиваются.

Высокомерные пространства также способствуют снижению влияния вмешательства. Только d направлений могут быть полностью ортогональными, но существует множество направлений, близких к ортогональности. У случайных единичных векторов ожидаемое значение квадрата угла между ними составляет 1/d, поэтому типичный угол между ними равен примерно 1/√d.

В 768 измерениях GPT-2 это соответствует значению 0,036, что равно углу примерно 87,9°. Два случайно выбранных направления почти всегда оказываются перпендикулярными. Большие пространства позволяют такие ошибки, которые невозможны в малых.

В реальных сетях после вычислений добавляется функция ReLU, определяемая как ReLU(z) = max(0, z): положительные значения сохраняются, а отрицательные превращаются в ноль. Поскольку амплитуды сигналов никогда не бывают отрицательными, отрицательный термин взаимодействия может опустить значение ниже нуля, после чего функция ReLU фиксирует его в нуле, что оказывается правильным для сигнала, искажённого ошибкой. Следовательно, отрицательное взаимодействие не имеет негативных последствий, а вредоносными являются только положительные.

Игровая модель

Структура модели соответствует описанной в статье «Toy Models of Superposition» (Elhage et al., 2022): берутся 20 признаков, они проходят через 5 измерений, а затем возвращаются обратно.

На диаграмме показана вся модель, которая сжимает 20 чисел до 5, а затем пытается восстановить все 20.

• x — это исходные значения, 20 параметров, которые генерируются.
• W — это матрица размером 5 × 20, где столбец i соответствует направлению W_i.
• h — это сжатая версия с 5 числами.
• x̂ — результат реконструкции.
• b содержит 20 дополнительных смещений, которые добавляются перед операцией ReLU.
• При обучении минимизируется среднеквадратичное расстояние между исходными значениями и их реконструкцией.

Транспонированная матрица Wᵀ — это та же самая матрица, повернутая на бок. У модели нет отдельной матрицы для считывания, и именно это делает столбец i направлением признака i и придает «геометрии признаков» реальный смысл. В матрице W насчитывается 5 × 20 = 100 чисел, плюс 20 чисел в b, то есть всего 120 параметров, подлежащих обучению.

У признаков нет названий. Признак 7 — это не «множественный признак», а просто седьмой столбец. Это особенность проектирования, а не недостаток. Поскольку в модель не подаётся никакой языковой информации, ничто из полученного результатов не может быть утверждением о языке; поэтому любые закономерности должны связываться с компрессией разреженных сигналов, и именно поэтому та же закономерность должна проявляться и в реальной модели.

Редкость является основным параметром. Каждое значение силы генерируется независимо: с вероятностью S оно равно нулю, в остальных случаях — равномерно распределено в диапазоне от 0 до 1. Проводится десять итераций, при этом значение S увеличивается от 0 до 0,5, затем до 0,9, а далее до 0,999; на этих этапах также используются значения 0,95, 0,99 и 0,997, а нижний диапазон заполняется значениями 0,3, 0,7 и 0,8.

Архитектура представляет собой одну матрицу без глубины и без механизма внимания. Матрица W сжимает данные при входе и распаковывает их при выходе, при этом в конце применяется один блок ReLU. Называть h скрытым слоем — значит преувеличивать его роль, поскольку на самом деле это просто произведение W на x. Все двадцать итераций выполняются примерно за минуту на процессоре.

Чтение WᵀW

WᵀW — это не диагностический показатель, добавленный позже; он появляется автоматически при подстановке выражения h = Wx в формулу вывода результата.

WᵀW — это таблица размером 20 × 20, показывающая оператор, который модель фактически применяет к истине, причем значение в ячейке (i, j) равно W_i · W_j. Одна диаграмма отображает всё решение: вдоль диагонали видно, насколько твердо сохраняется каждая признаковая характеристика, причем значение близкое к нулю означает, что модель отказалась от нее. По недиагоналям видно, какие признаки влияют друг на друга, а таблица из нулей означает полное отсутствие взаимного влияния. Идеальным вариантом является идентичность матрица, а наличие суперпозиции указывает на модель, которая не может достичь этого идеала.

Та же модель показана при четырех уровнях разреженности. Слева имеется пять темных ячеек на диагонали, что означает отказ от пятнадцати признаков, и нет цвета по недиагоналям, поскольку взаимного влияния не наблюдается. Справа имеется двенадцать темных ячеек на диагонали и разрозненные цветные точки по недиагоналям; этот цвет обозначает стоимость семи дополнительных признаков.

Линейный контроль — это тот же эксперимент с удалённым элементом ReLU без каких-либо других изменений.

На каждом уровне разреженности, даже при значении 0,999, сохраняется ровно пять признаков, и это было так во всех десяти испытаниях. Следовательно, удаление нелинейности не просто ослабляет эффект суперпозиции, а полностью уничтожает его. Утверждение меняется с «ReLU помогает» на «ReLU является предпосылкой», поскольку без автоматической устранения негативного воздействия дополнительные признаки никогда не окупают себя.

На левой панели показано изменение фазы. Восходящая кривая соответствует модели с ReLU, при которой количество признаков увеличивается с 5 до 12, а плоская линия — линейному контролю, который не меняется. На средней панели показана стоимость, при этом средняя размерность снижается с 1,0 до 0,38. На правой панели показан закон сохранения: общее количество признаков остаётся равным 5 во всех двадцати испытаниях.

Что измеряет размерность

Средняя и правая панели используют показатель размерности по отдельным признакам, то есть то, сколько из общей размерности принадлежит конкретному признаку.

В верхней части этой формулы указано, насколько сильно хранится признак i (значение возводится в квадрат), а в нижней части — его общее квадратичное совпадение со всеми остальными признаками, включая самого себя. Признак, находящийся на своей собственной оси, не имеет ничего, что совпадало бы с ним, поэтому нижняя часть равна верхней, и D_i = 1. Когда k признаков делит одну и ту же ось, в нижней части появляется k одинаковых членов, и D_i = 1/k.

Если сложить значения для всех признаков, то во всех двадцати случаях результат находится в диапазоне от 4,94 до 5,00 как для одной модели, так и для всех уровней разреженности. При S = 0,9 девять признаков хранятся с размерностью по 0,5556 каждый, причем 5 ÷ 9 = 0,5556. Суперпозиция никогда не увеличивает емкость; она просто делит фиксированное количество на более мелкие части.

Доказывает ли среднее значение 2/3 наличие треугольника?

В средней части была получена средняя размерность 2/3, что казалось доказательством того, что три признака образовали треугольник. Однако это оказалось не так, и ошибка стала самой полезной частью проекта.

Среднее значение D в 2/3 получается при наличии трех элементов, расположенных на расстоянии 120° друг от друга, но оно также возникает и при других расположениях, поскольку D просто суммирует квадраты площадей перекрытия и не учитывает геометрию, обусловливающую это перекрытие. Прямое измерение углов разрешило вопрос: из 30 экспериментов с 3 элементами в 2D в 29 случаях треугольник не образовывался. Типичный результат представлял собой один элемент, находящийся отдельно, и два элемента, лежащих на одной оси в противоположных направлениях, с размерностями 1,0, 0,5 и 0,5 соответственно и углами 90°, 90° и 180°. Среднее значение оставалось прежним — 2/3, но форма совершенно отличалась. Остается открытым вопрос о том, является ли такое расположение истинным оптимумом или результатом способа взвешивания потерь.

Какую форму принимают элементы?

Чтобы направления могли быть нанесены на бумагу, модель сводится к двум измерениям, а количество признаков варьируется от 3 до 6. Тогда на вопрос «Какая форма?» можно ответить путем визуального осмотра. Шесть уровней редкости × пять начальных значений × четыре значения количества признаков дают 120 итераций.

Каждое направление признака представлено в виде стрелки на круге, причем степень редкости увеличивается по мере перехода к следующим блокам. Стрелка нулевой длины обозначает устранённый признак. При более высокой редкости появляется больше стрелок, которые равномерно распределяются, и именно такое расстояние между ними позволяет модели решить задачу интерференции: направления располагаются как можно дальше друг от друга, чтобы сократить взаимное перекрытие.

Является ли такое расположение надёжным по мере увеличения количества признаков?

Совсем нет, и падение качества происходит резко. Для проверки использовалось 30 начальных значений на каждое значение количества признаков при той же настройке, но с разными случайными начальными весами; также подсчитывалось, как часто итерации приводили к одинаковой форме.

Дигон — это два признака, имеющих общую линию, но направленные в противоположные стороны. При наличии 3 признаков результат практически предопределён, тогда как при 6 признаках варианты распределения разбиваются на несколько конкурирующих вариантов. Увеличение количества признаков в пространстве умножает количество практически эквивалентных решений, поэтому окончательная геометрия в большей степени зависит от начальных параметров. Существует одно ограничение: все варианты являются двумерными, поэтому невозможно сказать, влияет ли эффект на общее количество признаков или на соотношение признаков к размерностям. Чтобы различить эти факторы, потребовалась бы обработка с изменением размерностей, чего не было сделано.

В диаграмме все 120 вариантов сортируются в соответствии с полученными результатами. Высокая полоса в каждой группе — это победитель, и она уменьшается по мере увеличения количества признаков.

Может ли редкий автоэнкодер восстановить признаки?

Всё, что было до сих пор, — это пример записи признаков в ограниченном пространстве. Обратная проблема — именно та, которая важна для исследований в области интерпретируемости: при наличии только h необходимо восстановить исходные данные.

На диаграмме f представляет собой широкий разреженный код, состоящий из 40 чисел, почти все из которых равны нулю. Матрица декодера W_dec имеет в качестве столбцов атомы, то есть оценки автоэнкодера истинных направлений, и именно эти оценки являются единственным значимым результатом.

Метод TopK сохраняет k крупнейших значений и ставит все остальные равными нулю (Gao et al., 2024). Альтернативой является введение штрафа типа L1 к функции потерь, что способствует появлению редкости в данных. Метод TopK подходит для этой задачи, поскольку он напрямую устраняет редкость, тогда как вес штрафа, отрегулированный для одной проблемы, не имеет значения для другой. Сравнение двух моделей при одинаковом уровне редкости затруднено при использовании L1, но становится простым с применением TopK. До кодирования вычитается смещение декодера, а затем оно восстанавливается; таким образом, атомы моделируют форму данных и не тратятся на их смещение от начала координат.

Автоэнкодер никогда не видит истинных направлений. Оценка производится позже путем сравнения каждого истинного направления с атомами двумя способами, и результатом является разница между этими двумя значениями.

Оценка восстановления

Очевидная метрика оценки заключается в определении для каждой истинной характеристики того, насколько хорошим является наиболее близкий к ней результат, найденный автоэнкодером.

Каждая истинная характеристика самостоятельно выбирает для себя наилучший атом, и ничто не мешает двум характеристикам выбрать один и тот же атом. Предположим, что автоэнкодер соединил характеристики a и b в один атом по их сумме. Этот атом оказывается на середине между ними; при угле между характеристиками в 36° он находится на расстоянии 18° от каждой из них, при этом cos(18°) = 0,951. Обе характеристики получают оценку примерно 0,95, поэтому результат выглядит отлично, несмотря на то, что две характеристики слились в одну. Слившийся атом действительно хорошо соответствует обеим изначальным характеристикам.

Метод совпадающего восстановления решает эту проблему. Каждой истинной характеристике присваивается отдельный атом таким образом, чтобы максимизировать общее сходство, с использованием функции scipy.optimize.linear_sum_assignment. Когда две характеристики сливаются, только одна из них получает общий атом, а другая вынуждена использовать менее подходящий вариант, что позволяет заметить процесс слияния. Разница между оценками двух характеристик показывает степень слияния, поскольку отдельная оценка может скрыть эту разницу.

Случай, когда восстановление в принципе невозможно

Алгебраические рассуждения показывают, что возникающая проблема не является ошибкой автоэнкодера. Рассмотрим признаки a и b, которые всегда активируются одновременно с одинаковой интенсивностью, так что x_a = x_b для любого входного сигнала. Они вносят в активацию единый общий член.

Никакой метод не может это исправить, поскольку активации содержат лишь сумму значений этих двух признаков. Отдельные параметры W_a и W_b никогда не могут быть определены. Информация не скрыта — она просто отсутствует. Более мощный автоэнкодер, дополнительные вычисления или другая функция потерь не помогут восстановить её. Это явление называется нидентифицируемостью — ограничением самих данных, а не техники.

Если изменить хотя бы одну деталь так, чтобы оба признака по-прежнему активировались одновременно, но с независимо изменяющейся силой активации, картина меняется. Изменение значения x_a при неизменном x_b позволяет проанализировать W_a, что делает возможным восстановление данных в обоих направлениях. Следовательно, утверждение «Скоррелированные признаки разрушают редкие автоэнкодеры» слишком упрощённо и не соответствует действительности: одновременная активация признаков не вредна, а фиксированная сила активации является фатальной, причём только второй фактор представляет собой реальную проблему.

Результаты на упрощённой модели

Была проведена сеть экспериментов, охватывающая показатели редкости, частоты одновременной активации и степени связи сил активации в 15 условиях с по 3 начальных значениях каждого показателя; в общей сложности было выполнено 45 запусков с 20 истинными признаками, 5 измерениями и 40 атомами.

У двенадцати из пятнадцати случаев наблюдается ровно 0% слияния. Только три случая, связанные с полным совместным запуском при полностью фиксированных параметрах мощности, показывают показатели 20%, 50% и 40%, в то время как полусовместный запуск с полной мощностью остается совершенно чистым. Здесь имеется крутой спад, а не постепенное снижение, и он происходит именно там, где пара перестаёт быть идентифицируемой.

Самый плохой случай показан по четырём показателям. Автоэнкодер здесь не терпит неудачи: он восстанавливает направление суммы каждой слившейся пары с оценками 0,878, затем дважды — 1,000, во всех трёх сломанных случаях. То, что он обнаружил, представляет собой реальную структуру, только не ту, которая помечена как истинный результат, поскольку отсутствующее различие не присутствует в данных.

Повторяемость тоже не помогает в выявлении проблемы. Согласованность результатов при разных начальных условиях остается на уровне от 0,878 до 0,925 даже в случаях слияния, поскольку все итерации приводят к одному и тому же ответу. Это свидетельствует о стабильной процедуре оптимизации, но ничего не говорит о том, верен ли полученный ответ.

Слившиеся атомы оказываются точно между двумя характеристиками, которые они поглотили, что объясняет их высокие оценки по каждой из них.

Сможет ли это сохраниться в реальной языковой модели?

Справедливым возражением может быть утверждение, что размещение 20 характеристик в 5 измерениях — это крайне ограниченное пространство, поэтому они естественным образом сливаются. Однако при 768 измерениях реального языка такое давление может исчезнуть, поскольку случайные направления там уже изначально разделены на угол 87,9°. Проверка этого предположения сталкивается с трудностями, поскольку ни одна из конфигураций не может ответить на вопрос в одиночку.

В приведённой выше таблице указано, что предлагает каждая настройка. Модель-имитация знает истинные значения, но не является реалистичной, тогда как настоящая модель реалистична, но её истинные характеристики остаются неизвестными.

Синтетическое внедрение

Синтетическое внедрение соединяет эти два подхода. Берутся реальные активации GPT-2, добавляются заранее спроектированные характеристики, на основе этой смеси обучается автоэнкодер без указания, какие из характеристик были добавлены, и оценивается он исключительно по этим характеристикам. Этот метод работает подобно методу контроля с внедрением «шпиек». Металлодетектор невозможно протестировать на участке с неизвестным содержимым, но если закопать несколько монет и проверить, находит ли он их, это сработает, при этом остальная часть участка может оставаться неизвестной.

В данной конфигурации h_real обозначает настоящую активацию из 768 чисел, генерируемую моделью GPT-2 small на 8-м слое при обработке реального текста. 24 направления v_k представляют собой случайные единичные векторы, заданные заранее, а величины a_k находятся под контролем, включая определение того, какие пары связаны между собой. Три условия имеют одинаковые активации для четырех пар каждое: пары, активирующиеся в независимые моменты (контрольная группа), пары, которые всегда активируются одновременно с произвольными величинами силы, и пары, которые всегда активируются одновременно с фиксированными величинами силы. Только последняя группа должна нарушить эту закономерность.

GPT-2 small обработал более 2 миллионов токенов, причем остаточный поток после 8 слоев, примерно на середине сети, был сохранён в виде 768-мерных векторов. Это дало 2 миллиона векторов объёмом около 2,9 ГБ, что было сделано примерно за семь минут с использованием GPU ноутбука. Позиция 0 была отброшена, поскольку она выступает в роли «принимающего узла» внимания с нормой около 3100 по сравнению с примерно 128 во всех остальных позициях, что в 24 раза больше и может исказить статистику.

Случайный базовый уровень

Каждый указанный результат — это лучшее совпадение среди огромного количества вариантов, и победа «лучшего из многих» отчасти зависит от удачи. Поэтому необходим базовый уровень для определения того, какие бессмысленные направления могут получить высокие оценки. Для одной пары два случайных единичных направления в d измерениях имеют ожидаемое квадратичное совпадение 1/d, так что типичное значение составляет 1/√768 = 0,036. В случае «лучшего из многих» сравниваются тысячи кандидатов, и сохраняется только лучший из них.

Теоретические расчёты немного отличаются от экспериментальных данных. При N = 2,543 атомах формула предсказывает значение 0,143, тогда как симуляция показывает 0,126; при N = 31,295 формула прогнозирует 0,164, в то время как симуляция даёт 0,145. Значения, предсказанные формулой, превышают реальные примерно на 15%, поэтому во всех случаях используются данные симуляции. Однако формула правильно определяет общую форму графика — базовая линия растёт пропорционально квадратному корню логарифма размера набора. Увеличение размера набора в двенадцать раз приводит к повышению значения линии лишь с 0,126 до 0,145, так что один только размер не гарантирует высокого результата.

Результат

В ходе эксперимента было использовано 1 млн токенов, 3,072 атома, параметр TopK с значением k = 32 и три варианта инициализации; оценка проводилась только на основе 24 характеристик.

Сбой воспроизводится совершенно одинаково. Все закрепленные пары слились при использовании любых значений параметров, причем показатели восстановления составили 0,416, 0,418 и 0,417 соответственно. Переход на 768 измерений реального языка ничего не меняет, следовательно, проблема не в нехватке пространства; в данных отсутствует информация, которая позволила бы различать эти два признака.

Это слияние, а не коллапс. Совмещенное направление каждой пары было восстановлено с коэффициентом косинуса 0,998, что совпадает с показателями контрольной группы, что означает, что автоэнкодер практически идеально зафиксировал реальную структуру и просто объединил два признака в один. Наивная метрика не смогла бы этого обнаружить, показав значение 0,702 по сравнению с 0,417 в случае корректного восстановления, что выглядит умеренно, но не вызывает тревоги, поскольку оба признака могут относиться к одному и тому же объединенному элементу.

В левой панели показана степень восстановления по отдельным условиям: заблокированная полоса сжимается, в то время как остальные остаются неизменными. В средней части отображаются все заблокированные пары, объединяющиеся при каждом значении «семени». В правой части показано, как значение возвращается к 0,998, что совпадает с показателями контрольной группы, как только совокупное направление соответствует цели.

Прямой поиск подозрительных пар для объединения

Отдельная проверка была проведена с использованием опубликованного автоэнкодера OpenAI для GPT-2 с целью выявления пар характеристик, которые никогда не встречаются по отдельности. В ходе проверки были рассмотрены 1 024 наиболее часто встречающиеся характеристики в общем объеме 2 миллиона токенов, что в сумме дало 476 408 пар. Приведенные выше алгебраические расчеты выявляют два признака опасности: наличие связи между парой и совпадение их значений.

• Лишь 3 пары практически неотделимы друг от друга.
• У 17 403 пар значения характеристик сильно коррелируют.
• Ни одна пара не соответствует обоим условиям.
• У 200 наиболее тесно связанных пар среднее значение корреляции составляет всего 0,024.

В реальном тексте наблюдается безвредный тип совместного вхождения: элементы появляются вместе, но их интенсивности изменяются независимо друг от друга.

На диаграмме рассеяния квадрант опасности, где значения высоки по обеим осям, полностью пуст. Пары сгруппированы вдоль краев: либо связанные, но с независимой силой взаимодействия, либо коррелирующие по силе, но не всегда вместе, и никогда обе вместе.

В поиске есть слепая зона, и именно поэтому существует эксперимент с вставкой данных. После слияния двух признаков автоэнкодером остается всего один атом, и нет пары для обнаружения, поэтому поиск пар просто проходит мимо уже произошедшего слияния. Пустая зона опасности успокаивает нас относительно признаков, которые остались разделенными, и молчит о тех, которые этого не сделали.

Находят ли два автоэнкодера одни и те же признаки?

Все ранее рассмотренные автоэнкодеры использовали подделанные активации, содержащие 24 внедренных признака. Поэтому был обучен ещё один автоэнкодер на чистых активациях с 1 миллионом токенов, 3 072 атомами, параметром TopK равным 32 и двума начальными значениями; время обучения составило по четыре минуты. Его сравнили с опубликованным словарем OpenAI, который содержит 31 295 действующих атомов и превосходит его примерно на миллиард токенов для обучения.

Достаточно ли этот небольшой вариант надёжным?

Оценка реконструкции производится внутри самой модели, а не в пространстве активаций, поскольку квадратная ошибка считает все 768 направлений одинаково важными, в то время как GPT-2 — нет. Реконструкция встраивается в процесс прямой передачи данных, а тесты позволяют определить, насколько ухудшается прогноз следующего токена.

На графике показана кросс-ентропия — показатель потерь при прогнозировании модели в единицах nats; значение для «чистой» модели составляет 3,302. Оба варианта семян дают одинаковые результаты: они восстанавливают 93,76% и 93,97% от первоначальных потерь, объясняют 78,9% и 79,0% от коверианса, а также сохраняют живыми 2,543 и 2,597 из 3,072 атомов. Развернутый словарь восстанавливает 97,1% информации. Малый словарь недостаточно обучен по сравнению со стандартами, но подходит для сравнения.

На этом графике показан средний коэффициент косинуса наилучшего совпадения, учитывающий только живые атомы; каждый показатель оценивается по отношению к своей собственной случайной базовой линии.

Слева каждый показатель приведен по отношению к своей собственной случайной базовой линии, причем эти базовые линии различаются из-за разного количества атомов. Справа те же числа представлены в виде углов. Столбцы значительно сужаются, что и является сутью: коэффициент косинуса более щедр в оценках, тогда как углы отражают реальные значения.

Оба набора данных совпадали по всем показателям здоровья, но расходились во мнении относительно того, что считается признаком: 93,76% против 93,97% восстановленных потерь, 78,9% против 79,0% объясненной дисперсии и 2 543 против 2 597 активных атомов. Их словари отличались друг от друга на 38,6°, и никакая стандартная проверка качества этого не заметила.

Является ли более крупный словарь просто разделением нашего?

В выпущенном словаре в 12 раз больше атомов. Обычно это связано с разделением признаков: дополнительная емкость позволяет одному крупному признаку разделиться на более мелкие, например, признак цитаты превращается в открывающие кавычки, обозначение диалога и кавычки для выделения. Если это так, то должны соблюдаться два условия: выпущенные атомы должны сгруппировываться вокруг признаков маленького словаря, и каждый признак должен быть воссоздан как положительная смесь близлежащих атомов, поскольку крупный признак должен объединять свои уточнения без знаков отрицания.

В тесте q представляет собой один из направлений признаков из небольшого словаря. Первый показатель учитывает атомы, находящиеся на расстоянии косинуса 0,4 от него, что соответствует 66,4°, и это сделано намеренно для большей щедрости. Второй показатель использует 16 ближайших атомов в качестве столбцов матрицы B, находит наилучшую смесь без разрешения на отрицательные коэффициенты и указывает долю q, объясненную этой смесью, причем R² = 1 означает идеальное воссоздание, а 0 — полное отсутствие объяснения.

Оба показателя вычисляются дважды: один раз с реальными признаками, а другой раз с 400 случайными единичными направлениями. Второй расчет необходим, потому что атомы, выбранные по близости к направлению, в любом случае будут соответствовать ему в той или иной степени, что является смещением из-за выборки. Значимым является только разница между столбцами.

Результат

Каждое условие использовало 400 направлений поиска для анализа 31 295 атомов, находящихся в состоянии свободного распространения. Кластеризация оказалась решающим фактором: настоящая характеристика имеет примерно шесть атомов, находящихся рядом и также в состоянии свободного распространения, тогда как при использовании 400 случайных направлений в радиусе 66° не было ни одного такого атома. Оба словаря, очевидно, указывают на одни и те же области.

Покрытие было лишь частичным. Ближайшие 16 атомов, находящихся в состоянии свободного распространения, позволяют воссоздать 0,696 характеристик, тогда как лучший отдельный атом — лишь 0,495, что оставляет примерно 30% без объяснения. Эта оставшаяся часть может представлять собой настоящее усовершенствование, отсутствующее в словаре свободно распространяющихся атомов, или шум, возникающий из-за недостаточно обученных характеристик. Чтобы разделить эти два фактора, потребовалось бы провести анализ с увеличением мощности в 8, 16 и 32 раза, однако это было спланировано, но не выполнено.

В левой панели показано количество освобожденных атомов рядом с каждым запросом: для реальных признаков этот показатель варьируется от примерно одного до пятнадцати, а в столбце с случайными значениями — единственный пик при нуле. В правой панели сравнивается качество пересоздания с использованием лучшего атома и качество с использованием ближайших шестнадцати атомов.

Основные выводы

• RELU необходим: при его удалении линейный контроль сохранял ровно 5 признаков независимо от степени разреженности данных.
• Суперпозиция разделяет существующую емкость и никогда не создает новую, поскольку общая размерность оставалась в диапазоне от 4,94 до 5,00 во всех 20 испытаниях.
• Пары, которые невозможно различить, сливаются даже при активациях GPT-2 в 768 измерениях, поскольку их индивидуальные направления отсутствуют в данных.
• Простая оценка восстановления может скрывать процесс слияния, поскольку слившийся атом хорошо соответствует обоим признакам. Уровень совпадения при восстановлении составляет 0,702 по сравнению с 0,417 в GPT-2.
• Воспроизводимость ничего не говорит о истинности: семена неоднократно приходили к одному и тому же неверному ответу, что лишь показывает, что процесс оптимизации воспроизводим.

Оказалось, что размещение одной характеристики в одном измерении слишком скучно для нейронной сети.

В экспериментах использовались статья с теоретической моделью для настройки и измерения размерности, более ранние исследования моносемантичности и интерпретируемости редких автоэнкодеров для разработки алгоритма автоэнкодера, а также исследование масштабирования 2024 года для формулировки TopK. Всего было проведено 185 тренировочных запусков с использованием теоретических моделей плюс 2 миллиона активаций GPT-2.