Суперпозиція в нейронних мережах: моделі-іграшки, SAE та об’єднання ознак

Зберігання більшої кількості даних, ніж є місця

Уявіть нейронну мережу, чия прихована шар має лише два виміри, тож кожен вхідний даний представлений двома числами — точкою (x, y) у плоскій площині. Тепер припустимо, що мережа має відстежувати п’ять різних характеристик. Це здається неможливим. Два виміри мали б вміщувати дві характеристики — по одній на кожну осьу.

Рішенням є суперпозиція. Мережа може представляти більше характеристик, ніж має вимірів, зберігаючи їх у перекриваючих один одного напрямках у тому самому просторі. Замість того, щоб «вимір 1 містить характеристику A, а вимір 2 — характеристику B», кожна характеристика отримує власний напрямок, і кілька характеристик можуть існувати одночасно в одній парі вимірів. Відкритими залишаються питання про те, чому це працює, та як мережа потім розрізняє перекриваючі один одного характеристики.

Шар одночасно містить кілька активних характеристик, об’єднуючи їхні напрямки.

У наведеному вище рівнянні функція активації h є результатом роботи шару для одного вхідного даних — вектора з d чисел. У спрощеній моделі d дорівнює 5, а у малій версії GPT-2 на 8-му шарі це значення становить 768. Кожна ознака i має величину сили x_i, яка дорівнює нулю або більшій цій величині; загалом існує n ознак — 20 у спрощеній моделі та невідома кількість у GPT-2. Кожна ознака також має фіксоване напрямлення в d-вимірному просторі W_i, і всі ці напрямлення разом утворюють матрицю W розміром d × n, чия -та стовпець є W_i.

Простіше кажучи, кожна активна ознака спрямовує представлення у своєму власному напрямку. Шар зберігає лише кінцевий сумований вектор h, не маючи окремих полів для кожної окремої ознаки.

Щоб отримати дані однієї ознаки, необхідно обчислити скалярний добуток h на напрямлення цієї ознаки.

Перехід від першого рядка цього виведення до другого ґрунтується на тому, що скалярний добуток діє на суму. Скалярний добуток W_i та h дає по одному члену на кожну ознаку; член з j = i виокремлюється, тоді як сума по j ≠ i позначає всі інші. Перша частина — це скалярний добуток одиничного вектора на самого себе, що дорівнює 1, тож цей член саме дорівнює x_i — справжній ступінь впливу. Друга частина об’єднує всі інші ознаки, кожна з яких має вагу, що залежить від ступеня збігу їхнього напрямку з ознакою i.

Це одне рівняння лежить в основі всієї теми та розділяється на два випадки:

• Коли n ≤ d, кількість ознак не перевищує кількості вимірів, тож кожен напрямок може бути перпендикулярним до кожного іншого. Усі скалярні добутки W_i · W_j дорівнюють нулю, частина, пов’язана з перешкодами, зникає, і результат вимірювання є точним. Максимальна кількість ознак становить d.
• Коли n > d, це неможливо. У d вимірах максимум d векторів можуть бути взаємно перпендикулярними, тому якась пара обов’язково буде перетинатися, і частина, пов’язана з перешкодами, ніколи не дорівнюватиме нулю.

Суперпозиція означає свідоме прийняття другої умови: більше d ознак за рахунок певних перешкод.

Чому перешкоди є толерованими

Вплив взаємодії має значення лише тоді, коли інші характеристики увімкнені. Якщо характеристика j вимкнена, x_j дорівнює нулю, і її внесок зникає. Якщо кожна характеристика активується з ймовірністю p, очікувана кількість характеристик, що створюють взаємодію, становить приблизно (n − 1)p.

При n = 20 характеристиках та p = 0.001 очікується 19 × 0.001 = 0.019 характеристик-впливачів. Приблизно 98% вхідних даних не мають жодної іншої активної характеристики, тому результати вимірювань є точними. Взаємодія справжня, але трапляється рідко.

Високорозмірні простори також допомагають. Лише d напрямків можуть бути абсолютно ортогональними, але існує можливість для багатьох майже ортогональних напрямків. У випадкових одиничних векторах очікуване квадратне відповідність становить 1/d, тож типове відповідність дорівнює приблизно 1/√d.

У 768 вимірах GPT-2 це дорівнює 0,036, що відповідає куту близько 87,9°. Два випадково обрані напрямки вже майже перпендикулярні. Великі простори дозволяють певні похибки, яких не можуть допустити малі.

У справжніх мережах після вихідних даних додається функція ReLU, визначена як ReLU(z) = max(0, z): позитивні значення залишаються, а негативні стають нулем. Оскільки значення сил ніколи не є негативними, негативний термін впливу може опустити значення нижче нуля, а функція ReLU фіксує його на рівні 0, що виявляється правильним для характеристики, яка була неправильною. Тож негативний вплив є безневинним, а лише позитивний завдає шкоди.

Ігрова модель

Ця конфігурація ґрунтується на статті про ігрові моделі суперпозиції (Elhage та ін., 2022): беруться 20 характеристик, вони проходять через 5 вимірів, а потім знову отримуються.

У діаграмі показана вся модель, яка стискає 20 чисел до 5, а потім намагається відновити всі 20.

• x — це істинні значення, 20 параметрів, які генеруються.
• W — це матриця розміром 5 × 20, чия стовпець i відповідає напрямку W_i.
• h — це стисле форматування з 5 чисел.
• x̂ — це результат реконструкції.
• b містить 20 додаткових зсувів, які додаються перед функцією ReLU.
• Під час навчання мінімізується середньоквадратична різниця між істинними значеннями та їх реконструкцією.

Транспонована матриця Wᵀ — це та сама матриця, розташована догори дригом. У моделі немає окремої матриці для зчитування, і саме це робить стовпець i напрямком ознаки i та надає „геометрії ознак“ справжнього значення. Кількість елементів у W становить 5 × 20 = 100 чисел, плюс 20 у b, тобто загалом 120 параметрів, які можна навчати.

У ознаках немає жодних назв. Ознака 7 — це не „множина ознак“, а просто 7-й стовпець. Це особливість проектування, а не недолік. Оскільки жодної мови не вводиться, ніщо з отриманих результатів не може бути твердженням про мову, тому будь-яка закономірність має стосуватися стиснення розріджених сигналів, і саме тому така ж закономірність має проявлятися в реальній моделі.

Рідкісність є основним параметром. Кожна величина генерується незалежно: з ймовірністю S вона дорівнює нулю, а в інших випадках — рівномірно розподіляється від 0 до 1. Виконується десять спроб зі збільшенням значення S від 0 до 0,5, потім до 0,9 та далі до 0,999; проміжними значеннями є 0,95, 0,99 та 0,997, а нижній діапазон заповнюється значеннями 0,3, 0,7 та 0,8.

Архітектура складається з однієї матриці без глибини та без механізму уваги. W стискає дані під час вхіду та розпаковує їх під час виходу, з одним елементом ReLU в кінці. Називати h прихованим шаром — це перебільшення, адже це просто W помножене на x. Усі двадцять спроб разом завершуються приблизно за хвилину на процесорі.

Читання WᵀW

WᵀW — це не діагностичний показник, доданий пізніше. Він з’являється сам по собі, коли h = Wx підставляється у процес читання даних.

WᵀW — це таблиця 20 × 20, яка показує оператор, який модель насправді застосовує до істини, причому елементом у полі (i, j) є W_i · W_j. Одна діаграма демонструє всю схему рішення. Уздовж діагоналі видно, наскільки міцно зберігається кожна ознака: значення близьке до нуля означає, що модель від неї відмовилася. Поза діагоналею видно, які ознаки впливають одна на одну, а таблиця з нулями означає повну відсутність взаємного впливу. Ідеальним варіантом є матриця одиниць, а стан надкладення характерний для моделі, яка не може досягти цього ідеалу.

Ту саму модель показано у чотирьох рівнях розрідженості. Зліва є п’ять темних клітинок на діагоналі — п’ятнадцять ознак відкинуті, і немає кольору поза діагоналею, оскільки немає проявів взаємного впливу. Справа є дванадцять темних клітинок на діагоналі та розсіяний колір поза нею. Цей колір є ціною семи додаткових ознак.

Лінійний контроль — це той самий експеримент без ReLU, причому більше нічого не змінюється.

На кожному рівні розрідженості, навіть 0,999, зберігається рівно п’ять ознак, і це було так у всіх десяти спробах. Тож видалення нелінійності не просто послаблює ефект суперпозиції — воно його повністю усуває. Твердження змінюється з «ReLU допомагає» на «ReLU є передумовою», адже без можливості автоматичного усунення негативних впливів додаткові ознаки ніколи не компенсують себе.

Ліва панель показує зміну фази. Крива зі зростанням — це модель з ReLU, яка переходить від 5 ознак до 12, а плоска лінія — це лінійний контроль, який ніколи не змінюється. Середня панель показує вартість, де середня розмірність знижується з 1,0 до 0,38. Права панель показує закон збереження: загальна кількість ознак залишається 5 у всіх двадцяти спробах.

Що вимірює розмірність

Середня та права панелі використовують показник розмірності за окремою ознакою, тобто ступінь, у якій одна ознака має власну розмірність.

У верхній частині цього формулу вказується наскільки сильно зберігається ознака i, це значення піднімається у квадрат, а у нижній частині — її загальне квадратичне перекриття з усіма ознаками, включаючи її саму. Ознака, що знаходиться на власній осі, не має жодного перекриття, тому нижня частина дорівнює верхній, і D_i = 1. Якщо k ознак ділять одну ось, у нижній частині з’являється k однакових членів, і D_i = 1/k.

Якщо підсумувати значення для всіх ознак, кожен із двадцяти запусків дає результат в межах від 4,94 до 5,00 як для обох моделей, так і для будь-якого рівня розрідженості. При S = 0,9 дев’ять ознак зберігаються з розмірністю по 0,5556 кожна, а 5 ÷ 9 = 0,5556. Суперпозиція ніколи не збільшує пропускну здатність; вона розділяє фіксовану кількість на менші частини.

Чи доводить середнє значення 2/3 існування трикутника?

Середня розмірність центральної панелі становила 2/3, і це здавалося доказом того, що три ознаки утворили трикутник. Це не було так, і ця помилка виявилася найкориснішою частиною проекту.

Середнє значення D у розмірі 2/3 випливає при наявності трьох елементів, розташованих на відстані 120° один від одного, але воно також спостерігається при інших компонуваннях, оскільки D просто підсумовує квадрати значень перетину та не враховує геометрію, яка його створює. Пряме вимірювання кутів дало відповідь: із 30 спроб із 3 елементами у 2D у 29 випадках не утворювався трикутник. Типовий результат полягав у наявності одного елемента окремо та двох, які розташовувалися вздовж однієї осі у протилежних напрямках, з розмірностями 1,0, 0,5 та 0,5 та кутами 90°, 90° та 180°. Середнє значення залишається таким самим — 2/3, але форма повністю інша. Чи є це компонування справжнім оптимумом чи результатом способу врахування втрат, залишається невідомим.

Яку форму набувають елементи?

Щоб напрямки можна було намалювати на папері, модель зводиться до двох вимірів, а кількість ознак коливається від 3 до 6. Тоді на запитання «яка форма?» можна відповісти шляхом спостереження. Шість рівнів розрідженості × п’ять початкових значень × чотири кількості ознак дають 120 спроб.

Кожен напрямок ознаки зображується у вигляді стрілки на колі, причому рівень розрідженості зростає в міру переходу до наступних панелей. Стрілка довжиною нуль позначає ознаку, яка була видалена. При вищому рівні розрідженості з’являється більше стрілок, які рівномірно розташовуються, і саме це розташування дозволяє моделі вирішити задачу взаємного впливу: напрямки розміщуються якомога далі один від одного, щоб кожне парне перекриття зменшувалося.

Чи є це розташування надійним у міру збільшення кількості ознак?

Зовсім ні, і спад є значним. Для перевірки використовувалося 30 початкових значень на кожну кількість ознак, при тій самій налаштовці, але з різними випадковими початковими вагами, і підраховувалося, як часто спроби призводили до однакової форми.

Дігон — це два елементи, які мають спільну лінію та спрямовані в протилежні боки. При 3 елементах результат майже визначений, тоді як при 6 елементах можливі різні варіанти розташування. Чим більше елементів у просторі, тим більше майже еквівалентних рішень, тому кінцева геометрія більше залежить від початкових параметрів. Існує одне обмеження: усі варіанти є 2D, тому неможливо сказати, чи вплив залежить від кількості елементів чи від співвідношення елементів до вимірів. Щоб розрізнити це, потрібно було б провести аналіз зміни вимірів, що не було зроблено.

У діаграмі всі 120 варіантів сортуються за отриманими результатами. Висока смуга в кожній групі — це переможець, і вона зменшується зі збільшенням кількості елементів.

Чи може розріджений автоенкодер відновити початкові елементи?

Усе, що було досі, — це модель, яка записує ознаки у обмеженому просторі. Протилежна проблема є тією, якою цікавиться робота з інтерпретованістю: маючи лише h, необхідно відновити те, що було введено.

У діаграмі f — це широкий розріджений код, тут 40 чисел, майже всі дорівнюють нулю. Матриця декодера W_dec має як стовпці атоми, тобто оцінки автоенкодера щодо справжніх напрямків, і саме це є єдиним значущим результатом.

TopK зберігає k найбільших значень та ставить усе інше дорівнювати нулю (Gao et al., 2024). Альтернативою є штраф L1 для функції втрат, який сприяє виникненню розрідженості. TopK підходить для цієї задачі, оскільки він безпосередньо коригує розрідженість, тоді як вага штрафу, налаштована для однієї проблеми, нічого не говорить про іншу. Порівняння двох моделей при однаковій розрідженості є складним за допомогою L1 та простим за допомогою TopK. Складова зміщення декодера віднімається перед кодуванням та відновлюється після нього, тож атоми моделюють форму даних та не витрачаються на її зсув від початку координат.

Автоенкодер ніколи не бачить справжніх напрямків. Оцінка відбувається пізніше шляхом порівняння кожного справжнього напрямку з атомами двома способами, і різниця між цими двома результатами є кінцевим значенням.

Оцінка відновлення

Очевидна оцінка полягає у визначенні для кожної справжньої ознаки того, наскільки добре є найближчий знайдений автоенкодером еквівалент.

Кожна справжня ознака самостійно обирає свій найкращий атом, і ніщо не заважає двом ознакам обрати один і той самий атом. Припустимо, що автоенкодер з’єднав ознаки a та b у єдиний атом за допомогою їхньої суми. Цей атом розташовується посередині між ними; при куті між ознаками 36° він знаходиться на відстані 18° від кожної з них, що дає cos(18°) = 0,951. Обидві ознаки мають оцінку близько 0,95, тож результат виглядає чудово, незважаючи на те, що дві ознаки об’єдналися в одну. Об’єднаний атом справді добре відповідає обом ознакам.

Процес відновлення з використанням зіставлення виправляє цю ситуацію. Кожній справжній ознакі присвоюється окремий атом таким чином, щоб максимізувати загальну схожість, за допомогою функції scipy.optimize.linear_sum_assignment. Коли дві ознаки об’єднуються, лише одна отримує спільний атом, а інша змушена задовольнятися гіршим зіставленням, тож ефект об’єднання стає помітним. Різниця між двома оцінками вимірює ступінь об’єднання, адже кожна з оцінок окремо може її приховати.

Випадок, коли відновлення є неможливим за принципом

Лінійна алгебра показує, що невдача, яка виникає, не є помилкою автоенкодера. Візьмемо характеристики a та b, які завжди активуються одночасно з однаковою інтенсивністю, тож x_a = x_b для кожного вхідного даних. Вони потім додають до активації єдиний спільний член.

Жоден метод не може це скасувати, оскільки активації містять лише суму двох напрямків. Окремі значення W_a та W_b ніколи не є спостережуваними. Інформація не прихована; вона просто відсутня. Сильніший автоенкодер, додаткові обчислення чи інший критерій втрат не допоможуть її відновити. Це є проявом нейдентифікованості — обмеження даних, а не техніки.

Змініть одну деталь так, щоб обидві характеристики все ще завжди активувалися разом, але з силою, яка змінюється незалежно, і тоді ситуація зміниться. Зміна значення x_a при незмінному x_b розкриває W_a, що дозволяє відновити обидві напрямки. Тому твердження „Корелюючі характеристики руйнують розріджені автоенкодери“ є занадто грубим, щоб бути правдивим: спільна активація нешкідлива, фіксована сила є фатальною, і лише другий фактор є справжньою проблемою.

Результати на ігровій моделі

У тесті були перевірені рівень розрідженості, частота спільної активації та зв’язок сил у 15 умовах з по 3 початкові значення кожна, що дає 45 запусків із 20 справжніми характеристиками, 5 вимірами та 40 атомами.

У дванадцяти з п’ятнадцяти випадків спостерігається рівно 0% злиття. Лише три випадки, де поєднується повне спільне запалювання з повністю фіксованими значеннями сили, показують падіння на рівні 20%, 50% та 40%, тоді як напівспільне запалювання з повним з’єднанням сил залишається абсолютно чистим. Тут є крутий перепад, а не поступове зниження, і він знаходиться саме там, де пара перестає бути ідентифікованою.

Найгірший випадок показаний через чотири показники. Автоенкодер тут не зазнає невдачі. Він відновлює напрямок суми кожної злитої пари зі значеннями 0.878, а потім двічі — 1.000, у всіх трьох випадках з падінням. Те, що він знаходить, — це справжня структура, просто не та, яка позначена як істинний результат, оскільки відсутня необхідна відмінність у даних.

Репродукованість також не допомагає в цьому. Збіг результатів при різних початкових умовах залишається на рівні від 0,878 до 0,925 навіть у випадках злиття, оскільки процеси завжди призводять до однієї й тієї самої відповіді. Це свідчить про стабільну оптимізацію, але нічого не говорить про те, чи є відповідь правильною.

Злиті атоми розташовуються точно між двома характеристиками, які вони поглинули, що пояснює їхні високі оцінки за кожною з них.

Чи виживе це під час роботи з справжньою мовною моделлю?

Справедливою запереченням є те, що вміщення 20 характеристик у 5 вимірів є надзвичайно обмеженим, тому вони природно зливаються. У справжній мові з 768 вимірами цей тиск може зникнути, адже випадкові напрямки там вже знаходяться на відстані 87,9° один від одного. Однак тестування цього питання стикається з перешкодою, оскільки жоден з варіантів не може відповісти на нього окремо.

У таблиці вище наведено інформацію про те, що пропонує кожна налаштовуваність. Модель-імітація знає істинні дані, але не є реалістичною, тоді як справжня модель є реалістичною, але її справжні характеристики залишаються невідомими.

Синтетичне введення

Синтетичне введення поєднує ці два підходи. Беруться справжні активації GPT-2, додаються кілька характеристик, розроблених заздалегідь, потім тренується автоенкодер на цій суміші, не вказуючи, які саме характеристики були додані, і оцінюється він лише за ними. Цей метод працює як механізм контролю типу „спайк-ін“. Металошукач не можна тестувати на ділянці з невідомим вмістом, але якщо поховати кілька монет та перевірити, чи знайде їх пристрій, це спрацює, причому решта ділянки може залишатися невідомою.

У цій конфігурації h_real позначає справжню активацію з 768 чисел від моделі GPT-2 small на 8-му шарі під час обробки реального тексту. 24 напрямки v_k — це випадкові одиничні вектори, визначені заздалегідь, а їхні сили a_k знаходяться під контролем, включаючи вибір тих пар, які пов’язані між собою. Три умови мають однакові активації з чотирма парами кожна: пари, які активуються у незалежні моменти (контрольна група), пари, які завжди активуються разом із вільними силами, та пари, які завжди активуються разом із фіксованими силами. Лише остання група має порушитися.

GPT-2 small обробив понад 2 мільйони токенів, а залишковий потік після 8 шарів, приблизно посеред мережі, був збережений у вигляді 768-вимірних векторів. Це дало 2 мільйони векторів, приблизно 2,9 ГБ, протягом приблизно семи хвилин на GPU ноутбука. Позицію 0 було видалено, оскільки вона виступає як «щілина уваги» з нормою близько 3 100 порівняно з приблизно 128 у всіх інших місцях, що у приблизно 24 рази більше, і це б зіпсувало статистику.

Випадкова базова лінія

Кожен наведений результат — це найкраща відповідність серед великої кількості варіантів, і перемога «найкращого з багатьох» частково зумовлена удачею. Тому має існувати базовий рівень для того, які беззмістовні напрямки можуть отримати певні оцінки. Для однієї пари два випадкові одиничні напрямки у d вимірах мають очікуване квадратне відповідність у розмірі 1/d, тож типове значення становить 1/√768 = 0,036. У випадку «найкращого з багатьох» порівнюються тисячі кандидатів, і зберігається лише найкращий з них.

Теорія та вимірювання трохи відрізняються. При N = 2,543 атомах формула прогнозує значення 0,143, тоді як симуляція дає 0,126; при N = 31,295 формула прогнозує 0,164, на відміну від 0,145, отриманого за результатами симуляції. Формула дає приблизно на 15% завищені результати, тому для всіх базових оцінок використовуються дані симуляції. Що формула все ж таки правильно передбачає, — це форму кривої: базове значення зростає зі квадратного кореня логарифма розміру набору даних. Збільшення обсягу словника у дванадцять разів піднімає значення з 0,126 до 0,145, і більше — тож сам по собі розмір не забезпечує високого рейтингу.

Результат

Під час виконання експерименту використовувалося 1 мільйон токенів, 3,072 атома, параметр TopK з k = 32 та 3 насінини; оцінка здійснювалася лише за 24 характеристики.

Ця несправність відтворюється точно так само. Усі заблоковані пари злилися при будь-яких налаштуваннях, при цьому значення відновлення становили 0.416, 0.418 та 0.417 відповідно. Перехід до 768 вимірів реальної мови нічого не змінює, тож проблема не у браку простору; у даних бракує інформації, яка б розділила ці дві ознаки.

Це злиття, а не колапс. Спільний напрямок кожної пари було відновлено з коефіцієнтом косинуса 0.998, що дорівнює значенню у контрольній групі, що означає, що автоенкодер майже ідеально зафіксував справжню структуру та просто об’єднав дві ознаки в одну. Наївний показник міг би це пропустити, показавши 0.702 порівняно з 0.417 у контрольній групі, що здається посереднім показником, але не є тривожним, адже обидві ознаки можуть належати до одного об’єднаного елемента.

Ліва панель показує рівень відновлення за кожною умовою: заблокована смуга зменшується, тоді як інші залишаються незмінними. Середня частина демонструє, як кожна заблокована пара зливається під впливом кожного „насіння“. Права частина показує, як оцінка повертається до 0,998, що дорівнює значенню контрольної групи, коли спільний напрямок відповідає цілі.

Прямий пошук підозрілих пар для об’єднання

Окремий аудит дослідив оприлюднений автоенкодер OpenAI для GPT-2 з метою пошуку пар характеристик, які ніколи не зустрічаються окремо. Він охопив 1 024 найпоширеніші характеристики у 2 мільйонах токенів, що дає загалом 476 408 пар. Наведена вище алгебра дає два ознаки небезпеки: наявність зв’язку між парою та збіг їхніх значень.

• Лише 3 пари є майже нероздільними.
• У 17 403 парах значення сильно корелюють між собою.
• Жодна пара не відповідає обом умовам.
• У 200 пар з найсильнішим зв’язком медіанне значення кореляції становить лише 0,024.

Реальний текст демонструє безневинний тип співвідношення елементів: елементи, які з’являються разом, але їхні інтенсивності змінюються незалежно.

Діаграма розсіювання показує зону небезпеки — високі значення на обох осях, яка є абсолютно порожньою. Пари згруповані вздовж країв: або вони пов’язані, але мають незалежну інтенсивність, або їхня інтенсивність корелює, але вони не завжди з’являються разом, і ніколи не є одночасно.

У пошуку є сліпа зона, і саме тому існує експеримент з введенням даних. Після об’єднання двох ознак автоенкодером залишається лише один атом, і немає пари для виявлення, тож пошук пар просто проходить повз вже відбулеся об’єднання. Порожня зона небезпеки є позитивною ознакою для ознак, які залишилися окремо, та нічого не говорить про ті, які цього не зробили.

Чи знаходять два автоенкодери однакові ознаки?

Усі попередні автоенкодери використовували фальсифіковані активації, які містили 24 вміщені ознаки. Тож інший автоенкодер було навчено на чистих активаціях із 1 мільйоном токенів, 3 072 атомами, параметром TopK k = 32 та двома налаштуваннями „seed“, причому кожен етап тривав по чотири хвилини. Його порівняли з оприлюдненим словником OpenAI, який має 31 295 активних атомів та приблизно мільярд токенів для навчання, що значно більше.

Чи достатньо „маленький“ варіант здоровим?

Реконструкція оцінюється всередині самої моделі, а не у просторі активацій, оскільки квадратна похибка розглядає всі 768 напрямків як однаково важливі, на відміну від GPT-2. Реконструкція інтегрується у процес передавання даних, а тест перевіряє, наскільки погіршується прогнозування наступного токену.

На цьому графіку показано крос-ентропію – втрати від прогнозування моделі у одиницях nats – причому для „чистої“ моделі цей показник становить 3,302. Обидва варіанти початкових даних досягають однакових результатів: вони відновлюють 93,76% та 93,97% втрат, пояснюють 78,9% та 79,0% варіації, а також зберігають живими 2,543 та 2,597 з 3,072 атомів. Використаний словник дозволяє відновити 97,1% інформації. Малий словник є недостатньо навченим згідно зі стандартами галузі, але підходить для порівняння.

Цей графік демонструє середнє значення косинуса найкращого збігу, враховуючи лише живі атоми; кожен з них оцінюється відносно власного випадкового базового рівня.

Зліва кожен показник відображається відносно власного випадкового базового рівня, причому ці базові рівні відрізняються через різну кількість атомів. Справа ті самі числа показані у вигляді кутів. Стовпчики значно зменшуються, що є метою – адже косинус є більш „щедрим“, тоді як кут відображає справжні значення.

Обидва семені збігалися за кожним показником здоров’я, проте розійшлися у визначенні того, що таке функція: 93,76% проти 93,97% відновленої втрати, 78,9% проти 79,0% поясненої дисперсії та 2 543 проти 2 597 активних атомів. Їхні словники розташовані на відстані 38,6° один від одного, і жодна стандартна перевірка якості цього не помітила.

Чи є більший словник просто розділенням нашого?

Оприлюднений словник містить у 12 разів більше атомів. Зазвичай це пов’язано з розділенням функцій, коли додаткова ємність дозволяє одній грубій функції розділитися на більш дрібні, наприклад функція цитування перетворюється на відкриваючі лапки, позначення діалогу та лапки для наголосу. Якщо це так, мають справджуватися дві речі: оприлюднені атоми мають збиратися навколо функцій малого словника, а кожну функцію має бути можливо відновити як позитивну суміш сусідніх атомів, оскільки груба функція має поєднувати свої уточнення без скасування знаків.

У тесті q є одним із напрямків ознак з невеликого словника. Перший показник підраховує кількість атомів, які знаходяться на відстані косинуса 0,4 від нього, що дорівнює 66,4°, і це свідомо щедрі умови. Другий показник використовує 16 найближчих атомів як стовпці матриці B, підбирає найкращу суміш без дозволу на використання від’ємних коефіцієнтів та вказує частку q, яка пояснюється, причому R² = 1 означає ідеальне відтворення, а 0 — повну відсутність пояснення.

Обидва показники обчислюються двічі: один раз з реальними ознаками та один раз з 400 випадковими одиничними напрямками. Друге обчислення необхідне, тому що атоми, обрані за близькість до певного напрямку, будуть певною мірою підходити до нього, незалежно від його характеристик, що є упередженням у виборі. Значення має лише розбіжність між стовпцями.

Результат

Кожна умова використовувала 400 напрямків пошуку щодо 31 295 атомів, які були оприлюднені для аналізу. Кластерування виявилося вирішальним фактором: справжня ознака має близько шести оприлюднених атомів поблизу, тоді як у 400 випадкових напрямків не було жодного атома в радіусі 66°. Обидва словники, очевидно, вказують на одні й ті самі області.

Охоплення було лише частковим. Найближчі 16 оприлюднених атомів відтворюють 0,696 ознак, тоді як найкращий окремий атом — лише 0,495, що залишає близько 30% нез’ясованим. Ця частина може бути справжнім удосконаленням, якого бракує в оприлюдненому словнику, або шумом від недостатньо навчених ознак. Щоб розділити їх, знадобилась б обробка з потужністю 8×, 16× та 32×, що було спроєктовано, але не виконано.

У лівій панелі показано кількість звільнених атомів біля кожного запиту; реальні характеристики коливаються від приблизно однієї до п’ятнадцяти, а стовпець випадкових значень містить єдиний пік у нулі. У правій панелі порівнюється якість перебудови з використанням найкращого атома та з використанням найближчих шістнадцяти атомів.

Основні висновки

• RELU є обов’язковим: при його видаленні лінійний контроль зберігає рівно 5 характеристик незалежно від рівня розрідженості даних.
• Суперпозиція розділяє наявну ємність та ніколи не створює більше, оскільки загальна розмірність залишалась в межах від 4,94 до 5,00 у всіх 20 запусках.
• Пари, які неможливо розрізнити, зливаються навіть у 768-вимірних активаціях GPT-2, оскільки їхні окремі напрямки відсутні в даних.
• Простий показник відновлення може приховувати процес злиття, адже злитий атом добре відповідає обом характеристикам. Рівень відповідності при відновленні становить 0,702 порівняно з 0,417 у GPT-2.
• Відтворюваність нічого не говорить про істинність: сім’ята неодноразово давали одну й ту саму неправильну відповідь, що свідчить лише про те, що процес оптимізації є відтворюваним.

Виявилося, що розміщення однієї ознаки в одному вимірі було занадто нудним для нейронної мережі.

Експерименти ґрунтуються на статті з теоретичною моделлю для налаштувань та вимірювання вимірності, на попередніх дослідженнях моносемантичності та інтерпретованості розріджених автоенкодерів для алгоритму автоенкодера, а також на дослідженні масштабування 2024 року для формулювання TopK. Всього було проведено 185 тренувальних сеансів із використанням теоретичних моделей та 2 мільйони активацій GPT-2.

Пов’язана література

• Пошук відео та аудіо за змістом: створення багатомодальної системи RAG із використанням Gemini Embedding 2 — як єдиний простір ембеддингів для тексту, аудіо, відео та PDF-файлів замінив традиційні процеси транскрипції, включаючи розділення на частини, використання ChromaDB, розширення запитів, переурочування результатів та встановлення порогів.
• Переурочування результатів у системі RAG: cross-encoders проти оцінювачів на основі LLM та їхній час відгуку — як двоступеневий механізм переурочування виправляє порядок результатів у системі RAG, порівнюючи cross-encoders із оцінювачами на основі LLM, аналізуючи витрати часу, можливі проблеми та способи їх оцінки.