Суперпазіцыя ў нейрасетках: цацачныя мадэлі, SAE і зліццё прыкмет

Зберагчыце больш, чым ёсць месца

Уявіце сябе нейронную сетка, якойяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя

У вышэпісанай формуле актывацыя h — гэта выходны значэнне шару для адного вхіднага дадзенага, які ўтвараецца як вектар з d чысоў. У простаму модэлі d дороўна 5, а ў маленькай версіі GPT-2 на 8-му шарэ — 768. Кожны фічар i мае значэнне сілы x_i, якое можа быць нулем або большым, і ўсьго існуе n фічар; у простаму модэлі іх 20, а ў GPT-2 — невядома колькісць. Кожны фічар таксама мае фіксаваны направленні W_i у d-вымернай прасторы, і всі гэтыя направленні разам утвараюць матрыцу W розмерам d × n, чыя i-я ступеня ёсць W_i.

Простаю мовай, кожны актывацыяны фічар прымушвае рэпрэзентацыю рухацца па сваёму направленні. Шар зберагае толькі фінальны сумаваны вектар h, без окрэмага месца для кожнага фічара.

Ёсць кантрольнае значэнне фічара — трэба вычысліць скалярны добутак h на направленні гэтага фічара.

Ёнтранспонаванне першай лініі таго адвярджэння да другай выкарыстоўвае тое, што скалярны добутак распадаецца па суме. Скалярны добутак W_i і h дае адну частку на кожную характэрыстыку, пры чым частка з j = i вылучаецца, а сума па j ≠ i прадставляе ўсе іншыя. Першая частка — гэта скалярны добутак едынічнага вектара з самым сабой, які дорэчы 1, таму гэтая частка ўсё роўна x_i — адпаведная сіла. Другая частка сумуе ўсі іншыя характэрыстыкі, кожная з яых мае вагу, якая залежыць ад таго, насколькі ўсмеркі гэтых характэрыстык супадаюць з характэрыстыкай i.

Гэтае адно рэвануэнце керуе всім прэдметам, і яно дзеліцца на два случаі:

• Калі n ≤ d, колькасць характэрыстыкаў не перавышае колькасці вымераў, таму кожны напрамак можа стаць пад працоўным кутам да кожнага іншага. Усе скалярныя добуткі W_i · W_j равны нулю, напалоўкі перасягу знікае, і рэзультат віміроўвання ёсць точным. Максімальная колькасць характэрыстыкаў — d.
• Калі n > d, гэта немагчыма. У вымерах максымальна d вектараў можаць быць взаімна перпендыкулярнымі, таму якісь пары нехай і будуць перакрытыя, і напалоўкі перасягу ніколі не будуць равныя нулю.

Суперпошча значыць свяжчанне другага варыянту спецыяльна: больш d характэрыстыкаў, але за цэну певнага перасягу.

Чаму перасяг ёсць тольерабным

Паразітаванне мае значэнне толькі тады, калі іншыя функцыі ўвімкнутыя. Калі функцыя j выключана, x_j доравнае нулю, і ўзнесенне з ёё боку знікае. Калі кожная функцыя працюе з верыятнасцю p, адзінаковая колькасць функцый, якія паразітуюць, становіць прыблізна (n − 1)p.

Пры n = 20 функцыях і p = 0.001 адзінаковая колькасць паразітуючых функцый становіць 19 × 0.001 = 0.019. Адо 98% вхідных дадзеных не маюць жадных іншых актыўных функцый, таму вычыткі ўзніклі точныя. Паразітаванне існуе, але зустрычаецца рэдка.

Высака-вымерныя прасторы таксама дапамагаюць. Толькі d направленняя можу быць абсалютна ортагональнымі, але існуе меса для вельмі большай колькасці майжэ ортагональных направленняя. Адзінаковая квадратная вялічына выраўнавання ад калякатых едынічных вектароў становіць 1/d, таму тыпова вялічына выраўнавання доравнае прыблізна 1/√d.

У 768 выразнах GPT-2 гэта дае 0,036, тое ўзначае кут прыблізна 87,9°. Два направлення, выбраныя аднарозова, зусім недалекі да перпендыкулярнасты прыродна. Большы прасторы прабачаюць тое, чаго не можаюць маленькія.

У рэальных сетках пасля вычыткі додаецца функцыя ReLU, якая вызначаецца як ReLU(z) = max(0, z): паазытныя значэнні застаюцца, а негатывныя стаюць нулем. Паколькі значэнні сілы ніколі не бываюць негатывнымі, негатывны тэрмін перасягу прыводзіць вычытку ніжыней за нуль, і тады ReLU фіксуе яе на 0, што якраз правільна для характэрнай вялічыны, якая была некорэктная. Такім чынам негатывны перасяг не мае наследкав, а толькі паазытны можа нашкодзіць.

Мадэль-іграшка

Структура адпавядае статце «Toy Models of Superposition» (Elhage і іншыя, 2022): беруцца 20 характэрных вялічын, яны праходзяць праз 5 выразнаў і пасля таго зноў вычыляюцца.

У дыяграме паказана цэлая модэль, якая скаручвае 20 цыфр у 5 і пасля прабуея вярнуць усе 20.

• x — гэта правда, 20 параметраў, якія генеруюцца.
• W — гэта матрыца 5 × 20, чыя ступеня i ўтвараюць направлення W_i.
• h — гэта скаручаная форма з 5 цыфрамі.
• x̂ — гэта рэканструкцыя.
• b — гэта 20 дадатковых зсувоў, якія дадаюцца перад функцыяю ReLU.
• Адучэнне мінімізуе сярэжны квадрат пэрыходу межу правдай і яе рэканструкцыяй.

Транспонаваны матрыцы Wᵀ — гэта тая жа матрыца, але перакручаная на бок. У модэлі няма адзінай зусім аддзінай матрыцы для чытання, і самэ гэта прычына, чырвоная столбец i стае напраменнема характэрыстыкі i і надае «геаметрыі характэрыстыкаў» рэальнага значэння. Колькасць лічб у W станавіцца 5 × 20 = 100, плюс 20 у b, тое ўсьго 120 параметраў, якія можна трэнаваць.

Ніякія з характэрыстыкаў не маюць назвы. Характэрыстыка 7 — гэта не «множынная характэрыстыка»; гэта проста 7-й столбец. Гэта ўласная асоблівасць дызайну, а не недагэдзін. Калі няма ніякага мовнага супакоўвання, ніч гэта не можа быць заявай пра мову, таму любы патэрн павінен стосавацца стыснення розрозненых сігналаў, і самэ таму той самы патэрн павінен з’явіцца і ў рэальной модэлі.

Рэдкасць — галоўны параметр. Кожная вялічына вылучаецца незалежна: з верыятнасцю S — нуль, а інакш — равнамерна між 0 і 1. Выконуецца дзесяць прабавакоў, пры чым параметр S падыходзіць з 0 да 0,5, а потым да 0,999; пасёлкі 0,95, 0,99 і 0,997 знаходзяцца між гэтымі значэннямі, а ніжні дыяпазон заповнююць 0,3, 0,7 і 0,8.

Архітэктура складаецца з адной матрыцы без глыбі і без механізма атэнцыі. W скаручвае даны пад час ўведэння і раскаручвае ў выходзе, пры чым у канцы знаходзіцца адна функцыя ReLU. Называць h скрытым слоем — гэта перацэнка, адколькі ён проста ёсць рэзультатам прадзеяння W на x. Усе дваццаць прабавакоў разам завершаюцца прыблізна за хвіліну на процэсары.

Чытанне WᵀW

WᵀW — гэта не дыягностычны показнік, дадзены пазней. Ён з’яўляецца сама сабою, калі h = Wx падставляецца ў процэс чытання.

WᵀW — гэта 20 × 20 табліца, якая паказвае, які операцыі на самай справе прыменяе модэль, пры чым як элементы (i, j) выступаюць W_i · W_j. Одна картына паказвае весь рашэння. Даўжынай дыягоналі можна пабачыць, насколькі моцна кожны фічар зберагаецца, пры чым значэнне блізкое да нуля означае, што модэль яго адмовілася выкарыстоўваць. За межамі дыягоналі відна, якія фічары вплываюць адна на другую, а табліца з нулямі означае абсолютную відсутнасць пераслання. Ідэалам ёсць матрыца ідэнтычнасці, а суперпошчаццае стан модэлі, якая не можа дасягнуць ідэалу.

Тая ж модэль паказвана для чатырох рывняў розрэджання. Спадаў лева ёсць пяць тэмных клетак на дыягоналі, п’ятнаццаць фічар адмовіліся, і няма колеру за межамі дыягоналі, адколькі няма пераслання, якое можна было б паказаць. Спадаў права ёсць дванаццаць тэмных клетак на дыягоналі і розсеянны колер за межамі дыягоналі. Гэты колер — гэта цена семі дадатковых фічар.

Лінейны контроль — гэта і ж самая эксперыментальная схема, у которой была удалена функцыя ReLU, без іншых змян.

На кожным рэвэне рыхласці, нават 0.999, зберагаецца роўна пяць характэрыстыкаў, і гэта было так у всых дзесяці працоў. Таму удаленне нелінейнасці не проста слабяе эфект суперпозіцыі; яно яго знішчае. Тэза пераходзіць з «функцыя ReLU дапамагае» на «функцыя ReLU ёсць праблэматычныя умовы», адколі без можлівасці без працы пазбавіцца негатыўных пераскокіў дадатковыя характэрыстыкі ніколі не компенсуюць сябе.

Левыя панелі паказваюць змяну фазы. Крывая з спадам являе сабою мадэль з функцыяю ReLU, калі колькісць характэрыстыкаў зростае з 5 да 12, а роўная лінія — лінейны контроль, які ніколі не змініцца. Серэдняя панелі паказвае цэну, пры чым сярэдняя размернасць падыходзіць з 1.0 да 0.38. Правыя панелі паказваюць закон зберагання: ўсего характэрыстыкаў заўсёды застаецца 5 у всых двадцох працоў.

Што мерыць размернасць

Серэдній і правыя панелі выкарыстоўваюць выраз, які залежыць ад размернасці кожнай з атрыбутаў, тыям самым паказваючы, сколькі з ціяў размернасці прыпадае самам атрыбуту.

У верхней часты гэтага выразу паказана ступень сільнасці зберагання атрыбута i, якая вырахоўваецца як квадрат гэтай вялічыны, а ў ніжней часты — ўсёе квадратнае перакрыцэнне з усімі іншымі атрыбутамі, уключаючы сам атрыбут. Атрыбут, які знаходзіцца на сваёй сасцяве, не перакрываецца нічым, таму ніжняя часты равнае верхней, і D_i = 1. Калі k атрыбутаў дзеліць адну сасцяву, ніжняя часты складаецца з k роўных частак, і D_i = 1/k.

Якшо сумаваць значэнні для всіх атрыбутаў, кожны з двадцатых запускаў даходзіць да значэнняя межа 4,94 і 5,00, як для адных, так і для іншых модэляў, а таксама для разных рэгістрасцяў. Пры S = 0,9 дзевяць атрыбутаў зберагаюцца з размернасцю 0,5556 кожны, і 5 ÷ 9 = 0,5556. Суперпакоўкі ніколі не збільшаюць ўместнасць; яна проста дзеліць фіксаваную кантэнцыю на меншыя часткі.

Чы гэты сярэг 2/3 падтверджае наявнасць троекутніка?

Серэдняя панель мала сярэгную высоту 2/3, і гэта выглядала як доказ таго, што тры характэрыстыкі створылі троекутнік. Аднак гэта не было так, і гэта памылка віявілася найкорыстнейшай часткай праекту.

Серэднее значэнне D у роўна 2/3, калі элементы знаходзяцца на адстані 120° адзін ад другога, але гэта значэнне таксама прабывае для іншых распакоўкаў, таму што D проста сумуе квадраты перакрыцця і нічога не сказвае пра геаметрыю, якая яго стварае. Благодаржаючы прымітнаму вімераванню кутоў, было выявлена, што з 30 прымэроў з 3 элементамі у 2D 29 не стварылі троекутніка. Тыповы рэзультат выглядаў так: адзін элемент знаходзіўся сам, а два іншыя — на адной вектарной осі, але ў працупаказваных направленнях, з размернасцямі 1,0, 0,5 і 0,5 адпаведна, і кутамі 90°, 90° і 180°. Серэднее значэнне застаецца тым жа — 2/3, але форма ўсё ж аблічна іншая. Чы ўсё-такі такая распаковка ёсць справжнім оптамумам, чы ёй ўскладніла форму спосаб паводжэння з втратамі, застаецца нез’ясаваным.

У якую форму прыходзяць элементы?

Ёнкіяваць керавання на паперы, модэль скарочваецца да 2 вымяраў, а колькасць характэрыстыкаў зменшваецца з 3 да 6. Тады на запытанне «якія формы?» можна адпавесці, прыглядзячыся. Шасць розтрымкі × пяць насенняў × чатыры колькасці характэрыстыкаў дае 120 запускаў.

Кожны напрамак характэрыстыкі выглядае як стрэлка на коле, пры чым розтрымка зростае ў разных панелях. Стрэлка з нулявай дужынай пазначае скасаваную характэрыстыку. Пры вышэйшай розтрымцы з’яўляецца больш стрэлак, якія распадзяюцца роўнамерна, і самэ гэта расстоянне ўжо ўтварае адпаведзь модэлі на уравненне перасягання: напрамкі трэба размясціць якомога далей адзін ад другога, каб кожна парная перасяганне зменшылася.

Чы ўпорадак надзеяны, калі характэрыстыкі множыцца?

Зовсім не, і спад вельмі стрымны. У перагледзе было выкарыстоўвана 30 насенняў на кожную колькасць характэрыстыкаў, за тым жа прынцыпам, але з разнымі адбыточнымі пачатковымі вагамі, і післяльгавалася колькасць разоў, калі запускі даходзілі да той самай формы.

Дыгон — гэта два элемента, які раздзеляеееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееееее

Усё, што было до гэтаго, — гэта прыклад запісі характэрыстыкаў у мяркавы прастор. Адваротная проблема — гэта тая, якой прыдзельна работа з інтэрпрэтабельнасцю: за наявнасці толькі h неабходна восстановіць тое, што было введзена.

У дыяграме f — гэта шырокі розрэджаны код, у яком 40 чысоў, практычна всі з ніх равныя нулю. Матрыца дэкадэра W_dec мае як столбцы атомы, тыя самыя оцэнкі аўтокодэра справжніх направаў, і гэтыя едынія даныя, якія маюць значэнне.

TopK заставляе застацься k самых большых значэнняў і ставіць нуль усем прынцыповым (Gao і іншыя, 2024). Альтэрнатыва — штраф L1 на патынанне, які дазволяе стварыць рыхласць. TopK падходзіць для гэтай задачы, адколі ён безпасова рашырае рыхласць, тады калі вага штрафа, налаштаваная для адной задачы, нічога не сказвае пра іншую. Порэшанне двух модэляў з аднаковай рыхласцю ёсць складным з L1, а простым — з TopK. Склоннасць дэкадэра вычытаецца перад кодаваннем і восстанавліваецца пасля яго, таму атомы мадэлююць форму дадзеных і не вітрачаюцца на ўхіл яных ад пачатку.

Аутэнкодэр ніколі не бачыць справжніх направленняў. Оцэнка выконваецца пасля таго, калі кожна справжняя направлення паўставляецца у супрацоўку з атомамі двума способамі, і разлік між гэтымі двума ёсць рэзультатам.

Ацэнка вяснавання

Вочымаецкая ацэнка запытаецца, для кожнай справжней характэрнай вялічыны, насколькі хораша ўсё, што знайшаў аутэнкодэр.

Кожна справжня характэрыстыка сама выбірае для сябе найкрашчы атом, і нічога не заважае двум характэрыстыкам выбраць той самы атом. Падазрóў, што автокодэр з’яеднае характэрыстыкі a і b у адны атом па ўзмаху ўсіх іх значэнняў. Ён апыніцца на серэдзіне межы між імі; калі характэрыстыкі розташаваны на адзін 36°, ён будзе на адзін 18° ад кожной з іх, тады cos(18°) = 0,951. Обе характэрыстыкі паказваюць рэзультаты апоўнай 0,95, таму, нават пасля з’яеднання двух характэрыстык у адну, рэзультат застаецца чыста хорашым. З’яеднаны атом дэйсна добра падходзіць для обох характэрыстык.

Метод падабрання для восстановлення выправляе гэта. Кожной справжней характэрыстыцы надаецца адзін унікальны атом так, каб максымізаваць загальную схожасць, за дапамою scipy.optimize.linear_sum_assignment. Калі две характэрыстыкі з’яеднаюцца, толькі адна з яных отрымае спакушаны атом, а другая прымыкае да менш прыдатнага атома, тады з’яеднанне стае відным. Разлік між двума рэзультатамі паказвае ступень з’яеднання, адколі кожны з рэзультатаў сам по сабе можа маскаваць гэты факт.

Случак, калі вярнэнне ў пачатку немагчыма

Алгебраічныя вылічэнні паказваюць, што адмова не ў калекцыі дадзеных. Возьмімо характэрыстыкі a і b, якія завжды актывацуюцца разам з ідэнтычной сілой, таму x_a = x_b для кожных вхідных дадзеных. Яны тады дапамагаюць стварыць адну спяльную велічыну для актывацыі.

Няма ніякога способу, які мог бы гэта выправіць, адколі актывацыі несу толькі суму двух напрамоў. Отдзельныя W_a і W_b ніколі не ўможна спазірваць. Інфармацыя не ўтаіваецца; яна проста відсутня. Болей сільная калекцыя дадзеных, дадатковы вычысленні чы іншы показнік збытку не дапаможуць яе вярнуць. Гэта ўзнака неналежнасці да ідэнтычных станоў, ліміт дадзеных, а не тэхнікі.

Зменіце адзін даклэг, каб два фічуры як і раней завжды працавалі разам, але з сілайнамі, якія змінююцца незалежна, і тады карціна змініцца. Зміна значэння x_a, калі x_b застаецца незменным, адкрывае W_a, што дазволяе вярнуцца ў оба направленні. Таму тверджэнне «Кораляваныя фічуры разблокуюць спарсныя автоэнкодэры» занадта абагатлае, каб быць правдзей: адночасна праця фічураў нешкодна, а закрэпленыя сілайны ёсць фатальнымі, і толькі другі з гэтых фактара ёсць рэальной проблемай.

Рэзультаты на іграшковай модэлі

У сітцы былі пераглянуты показнікі спарснасці, частка адночаснай працы і зв’язак сілайнаў у 15 умовах, кожная з якіх мела 3 значэння насэння, тое ўсьго 45 запускаў з 20 справжнімі фічурамі, 5 вымірамі і 40 атамамі.

З адзіннадцатых умов паўтора адзінныя паказваюць абсолютна 0% злітчына. Толькі тры умовы, у якіх выконваецца цэлыя сумаванне з максымальным ступенем з’яўлення, паказваюць падышэнне на 20%, 50% і 40%, тады калі як половіна сумавання, так і максымальны ступень з’яўлення застаюцца незменнымі. Чыстата прыгода з’являецца тут, а не павольны падышэнне, і яна адбываецца самэ тады, калі пара перастае быць ідэнтыфікаванай.

Найгоршая умова паказваецца праз чатыры паметнікі. Аўтокодэр тут не выканаў помылку. Ён восстанавляе направленне сумы кожной злучанай пары з рэйтынгамі 0.878, а потым два разы 1.000 у трох умовах з падышэннем. Тое, што ён знайшоў, — гэта рэальная структура, толькі не тая, якая пазначана як правдзівая, таму што нехватка разліку няма ў дадзенах.

Рэпродукабільна спроможна таксама не выявляе гэтага прынцыпу. Збіг рэзультатаў праз разныя запускі застаецца на роўні 0,878–0,925 нават у тых случаях, калі адбываецца злучэнне, таму што запускі завжды даходзяць да аднаго і таго ж рэшэння. Гэта свідчыць пра стабільную оптымізацыю, але нічога не кажа пра тое, чы рэшэння ўсунэнае.

Злучаныя атомы знаходзяцца адносна точна межу двума характэрыстыкамі, якія яны перыявілі, што пояснюе ўзначныя балы, якія яны атрымліваюць па кожнай з іх.

Чы можа гэты прынцып выжыць у рэальным мовным модэлі?

Справядлівая працоўка гласіць, што размішчэнне 20 характэрыстык у 5 вымерах ёсць абсурдна недастатковым, таму яны па-прыроднаму злучаюцца. У рэальных мовных структурах з 768 вымерамі гэты тыск можа знікнуць, адколі вэлікія куты між вэлікімі напраменніма ўжо зусім спрацыяваюць у розмірэ 87,9°. Адпрацоўка гэтага пытання сталкаецца з пераканаўкамі, таму што жадна з настаўок сама па сабе не можа на яго даць адказ.

У вышэйшай таблыце паказана, калікі функцыі прысвячаны кожнам настройкам. Мадэль-тэатраўка знае правдзівыя даны, але не ўсёвыражэнна рэалістычная, тады як рэальная мадэль ўсёвыражэнна рэалістычная, але ўсе яе справжнія характэрыстыкі застаюцца невядомымі.

Сынтэтычная ін’екцыя

Сынтэтычная ін’екцыя спалюе прасоцэн між гэтымі двума падходамі. Беруцца рэальныя актывацыі GPT-2, додаюцца кілька загадзя запланаваных характэрыстык, на адной з гэтых сумешаных дадзейкоў трэнуецца аўтоэнкодэр, не адзначаючы, калікі з характэрыстык ўведзены штучна, і оцінюецца ён толькі на адной з гэтых прамаў. Гэта працуе падобна да методу кантролю з введаннем штучных дадзейкоў. Металаканнік нельга тэставаць у полі з невядомым вакуумам, але калі закопаць калькі і пераканацца, што ён іх знаходзіць, гэта будзе эфектыва, пры чым рэшта полі можа застацца невядомым.

У настройцы h_real паводліва справжня актывацыя з 768 чысламі ад GPT-2 small на 8-му шарэ пад час чытання рэальнага тэксту. 24 напраменні v_k — гэта адзінаковыя вектары, якія загадзя фіксуюцца як адзінаковыя, а значэнні a_k находзяцца пад кантролем, укладаючы ў сябе і выбір пар, якія будуць з’ѐеднаны. Тры умовы маюць аднаковыя актывацыі для чатырох пар кожная: пары, якія актывацуюцца ў незалежныя моменты (кантрольная група), пары, якія завжды актывацуюцца разам з вольнымі значэннямі сілы, і пары, якія завжды актывацуюцца разам з фіксаванымі значэннямі сілы. Толькі остання група должна перастаць працаваць.

GPT-2 small пераробіў 2 мільйоны токенав, а залішковы поток пасля 8-го шара, прыблізна на паўпаце сеткі, быў зберажаны як 768-вымірныя вектары. Гэта даў 2 мільйоны вектараў, апошнія 2,9 ГБ, прыблізна за семь хвілін на GPU ноутбука. Позыцыю 0 было адхілілі, так як яна выступае як «прыемнік увагі» з нормай блізкай да 3 100, на вядома большую за 24 разы — адпаведна 128, — што спантажавала б статыстыку.

Абычны базовы рывень

Кожны паказаны рэйтынг — гэта найкрашчая падобнасц з вялікага кола варыянтав, і перэмагае той, хто мае найлепшыя показнікі, часткова за рахунак удачы. Таму неабходнае ўстановіць базовы рывень для таго, якія беззначныя направленні моглі б зарабіць певныя балы. Для адной пары два абычныя елементарныя направленні в d-вымірнасці маюць серэдню квадратовую аліянсаванасць 1/d, таму тыповая значэнне становіць 1/√768 = 0,036. Для выбору найкрашчага з многа тысяч кандыдатаў паўтараюцца перакананні, і застаецца толькі найкрашчы варыянт.

Тэорыя і вылічэнні адлічваюцца незначна. Пры N = 2,543 атомаў формула праўдзівае 0,143, а сімуляцыя дае 0,126; пры N = 31,295 формула праўдзівае 0,164, тады як сімуляцыя паказвае 0,145. Формула дае значэнні прыблізна на 15% вышэ, таму ўсе базовыя показнікі тут вырахоўваюцца на адной з сімуляваных цыфр. Тое, што формула правільна вырахоўвае, — гэта форма: базовы показнік расце прыблізна пры квадратнай корэні з логарымаў велічыны купкі. Адной дыкшанні, якая ў 12 разоў большая, вістачае, каб паказнік зрас з 0,126 да 0,145, і больш нічога, таму сама велічына не дае высокага рэйтынгу.

Рэзультат

У выконанні было выкарыстана 1 мільйон токэнаў, 3,072 атомаў, параметр TopK з k = 32 і 3 сэмінгі; оцэнка была здзейснена толькі на 24 характэрыстыкі, якія былі выкарыстаны.

Абяранне воспавляецца абсалютна. Усе заблокаваныя пары з’яедналіся пад усіма сэмамі, пры чым рэзультаты вярнення складалі 0.416, 0.418 і 0.417. Перахадка да 768 вымераях рэальнага языка нічога не змініла, таму проблема не ў нехватце прастору; у дадзенах не хапае інфармацыі, якая могла бы разлучыць гэтыя два атрыбуты.

Гэта з’яеднанне, а не калэкцыя. Сумарны направленні кожной пары было вярнуто з косайнусам 0.998, што равнае значэнню для контрольнага варыянта, тое значыць, автоэнкодэр практычна ідэальна зафіксав рэальную структуру і проста з’ўязаў два атрыбуты ў адны. Наўмовітныя метрыкі бы гэта не пазналі, паказавшы 0.702 проты 0.417, што здаецца сярэднім па рэзультату, але не ўскладнюе сітуацыю, адколі оба атрыбуты можаць належаць да таго ж з’яеднанага элемента.

Левыя панелі паказваюць ступень вяснавання па кожнай умове: замкнутая стрэлка зменшаецца, а іншыя застаюцца незменнымі. Серэдняя панелі паказвае, як кожна замкнутая пара злучаецца пад кожным «семенем». Правая панелі паказвае, як рэйтынг вяртаецца да 0,998, тое сама цыфра, як і у контрольнай групы, калі сумарны направлення падпадае пад цялевы параметр.

Прамы пошук падозрэльных пар для злучэння

Адзін з аўдытав пераглядаў выданага автэнкодэра OpenAI для GPT-2, шукаючы пары характэрыстыкаў, якія ніколі не бачыцца окаліцо. У яго ўваходзілі 1 024 найчастэйшыя характэрыстыкі сярод 2 мільйона токэнаў, ўсьго 476 408 пар. Вышэўшая алгебрая паказвае два праметры небяпекі: пара ёсць зв’язанай і ўсі ўзлёты/спады характэрыстыкаў збігаюцца.

• Толькі 3 пары ў меру неразлучныя.
• У 17 403 парах усі ўзлёты/спады характэрыстыкаў сільна корэлююць.
• Жадная пара не падпадае пад обаяўленыя умовы.
• У 200 параў з найсільнейшым зв’язкам медыянная ступень корэляцыі узлётаў/спадоў становіць лішыя 0,024.

Рэальны тэкст дае благае выражэнне саўсамапраявлення: элементы, якія з’являюцца разам, але чыя інтэнсівнасці зміняюцца незалежна.

Дыяграма распылу паказвае квадрант апасцярожнасці — высокія значэнні на обох восьх, але ён цалкам порожні. Пары склапляюцца ўздоўж краяў: або ўзаемна зв’язаны, але незалежны па інтэнсівнасці, або корэлюючы па інтэнсівнасці, але не завжды разам, і ніколі абодва разам.

У пошуку ёсць слепая зона, і гэта прычына існавання эксперыменту з введэнням дадзеных. Пасля таго, як автоэнкодэр з’едынае два атрыбуты, застаецца толькі адзін атом, і няма пары для адкрыцця, таму пошук пар праходзіць працоўна повядома пра з’едыненне, якое вялісь вялікі час тады. Порожнія зона апасцярожнасці ёсць заспакойлівай для атрыбутаў, якія засталіся разлучаныя, і мовчазной для тых, якія не засталіся такімі.

Чы два автоэнкодэра знаходзяць тыя ж атрыбуты?

Усі ранейшыя автанкодэры выкарыстоўвалі спакаваныя актывацыі, якія мелі 24 дадзеныя-фічыры. Таму іншы автанкодэр быў натрэнаваны на чыстыя актывацыі з 1 мільйонам токэнаў, 3 072 атамамі, TopK k = 32 і двумя сэдамі; трэніраванне трывала по чатыры хвіліны. Яго паўставілі ў співставленне з выданым словнікам OpenAI, які мае 31 295 жывых атамаў і прыблізна мільярд токэнаў для трэніравання.

Чы гэты маленькі варыянт дастаткова здаровы?

Рэканструкцыя оцэнюецца внутрь модэлю, а не ў прасторэ актывацыяў, таму што квадратная памылка спрыяе равнамернаму ставленню да всіх 768 напрамоў, тады калі GPT-2 так не робіць. Рэканструкцыя адбываецца пад час праходжэння сігналу наперад, а тэст пераканальваецца, наскількі пагіршуецца прыцэнкі наступнага токэна.

У графіку паказана крос-ентропія, тыямо, спрабоўка прыкладзення модэлі ў едыніцах nats; чысты модэль паказвае значэнне 3.302. Оба варыянты сягаюць аднаковых рэзультатаў: яны вярнаюць 93.76% і 93.97% ад загальнага тыямо, адпаведна, і адпаведна пояснююць 78.9% і 79.0% варыябілінасу; кроме таго, у яных застаецца жывымі 2,543 і 2,597 з 3,072 атомаў. Выданыя словнікі вярнаюць 97.1% інфармацыі. Малы словнік не выкарыстоўваецца належным чынам па стандартам галузі, але ён падходзіць для парабярання.

У гэтым графіку паказана сярэдняя вялічына косай дзейнасці для найкрашчага падабення, пры чым лічыцца толькі колькасць жывых атомаў; кожны показнік ацэніваецца па адной рандамной базовай лініі.

Слева кожны показнік ацэніваецца па адной рандамной базовай лініі, пры чым базовыя лініі разніцяцца праз разную колькасць атомаў. Справа тыя ж цыфры паказаныя як кутоўнікі; ступкі значна зменшаюцца, і гэта самэ ўсё, калі ўважаць, што косая дзейнасць ёсць болей „жырадная“, тады калі кутоўнік ёсць болей „чыстым“.

Два сэмплы падабаліся па ўсіх паказніках стану, але не пагадваліся ў тым, што такое фіча: 93,76% проты 93,97% вярнутага апошньага розміру, 78,9% проты 79,0% адказанай дывергэнцыі, і 2 543 проты 2 597 жывых атомаў. Іхнія словнікі адстаялі адзін ад другога на 38,6°, і жадны стандартны контроль якосці гэтага не зафіксав.

Чы не проста большы словнік — гэта наш разбілены варыянт?

Выпусканы словнік мае у 12 разоў больш атомаў. Звычайная версія — гэта разбіленне фіч, калі дадатковая ўместнасць дазволяе аднай грубай фічы распадзіцца на болей тонкія, напрыклад, фіча цітаты ператвараецца на відкладзячыя і закрываючыя лапкі, атрыбуцыю дыялогу і апошнія лапкі. Якшто так, то павінны выпаловаць два ўмовы: выпусканыя атомы павінны кластэрувацца адносна фіч сяродньага словніка, і кожная фіча павінна магчыма быць перабудованай як позытыўная сумешчанасць атомаў з блізкай аблікі, таму што грубая фіча павінна аб’еднаваць сваія тонкія варыянты без знакавага анулювання.

У тэсце q — гэта адзін з напрамоў акцэнта з маленькага словніка. Першы показнік лічыць атомы, якія знаходзяцца на расстоянні косінуса 0,4 ад q (што дэўае 66,4°), і ўзначальна ёсць ўмерзкі. Другі показнік берае 16 найбліжэйшых атомаў як столбцы матрыцы B, падбірае найлепшую сумешчаную мадэль без дазволу на негатыўныя коефіцыенты і паказвае частку q, якая ўз’яснюецца; тут R² = 1 абначае ідэальную перабудову, а 0 — нічога.

Оба показніка вырахоўваны два разы: аднажды на рэальных акцэнтах, аднажды на 400 адышлых вялікіх напрамоў. Другі вырахунак неабходны, таму што атомы, выбраныя за тое, што знаходзяцца блізка да напрамоў, будуць якім-небудзь чынам падходзіць да яе, што ёсць падбірчым уперасценнем. Значэнне мае толькі разлік межаў столбцоў.

Рэзультат

Кожная з умов вікорыстоўвала 400 напрамоў запытанняў проты 31,295 атомаў, якія былі выпусканы для аналізу. Кластэруванне выступіла важлівым фактарам: справжняя характэрыстыка мае блізкая да сябе апошню 6 выпусканых атомаў, тады калі 400 абыяковых напрамоў не мелі жадных атомаў у радзі 66°. Два словнікі, як відно, паказваюць на аднаковыя рэгіяны.

Паверхневы аналіз быў толькі частковым. Найбліжэйшыя 16 выпусканых атомаў відтвораюць 0,696 часткі характэрыстыкаў, проты 0,495 — для найкрашчага атома, тое ўзостае апошнія 30% без пояснення. Што стосуецца гэтага залішку, то гэта можа быць справжняя дэталізацыя, якой бярэцца словнік выпусканых даных, а можа і шум ад недастаткова натрэнаваных характэрыстыкаў. Чым аддзеліць іх, патрэбна будзе перагляд з моцю 8×, 16× і 32×, што было спланавана, але не адбылася.

У левайму панелі паказана колькасць атомаў, які былі выданы поблізу кожнага запіту; рэальныя характэрыстыкі колічыцца прыблізна ад адной да пятнаццаці, а столбець з адзіным значэннем паказвае нуль. У правай панелі парабеліваецца якасць перабудовы на аднам лепшым атоме з якасцю перабудовы на найбліжэйшых шысцінадцатых атомах.

Галоўныя нараджэнні

• Неабходны ўжыццё ReLU: калі яго адключыць, лінейны кантроль заставае ровна 5 характэрыстык, незалежна ад розраўненасці дадзеных.
• Суперпоўшчанне дзелі існуючую ўстатку і ніколі не стварае большай, адтолькі ўсёвышка усіх вымера заставалася на роўні 4,94–5,00 у всіх 20 працоўках.
• Пары, якія нельга разлічыць, зліваюцца нават у 768-вымерных актываціях GPT-2, адтолькі ўхідныя направленні яных нямаў у дадзеных.
• Просты показнік вяснавання можа маскаваць працэс злівання, адтолькі атом, які быў зліваны, добра падходзіць да обох характэрыстык. У GPT-2 показнік вяснавання для зліваных атомаў станавіць 0,702 проты 0,417.
• Возможнасць парадарабаткі правды не паведамляе: сямена раз за разам дасягалі таго ж няправільнага адказу, што паказвае толькі тое, што оптымізацыя ўможліва парадарабаткі.

Як выявілася, размешчэнне аднаго атрыбуту ў аднай высоце было занадта нудным для нейронай сеткі.

Эксперыменты выкорыстоўваюць артыкул пра іграшковыя мадэлі для наладжэння і вімеры высоты, ранейшыя даследжэння монасэмантычнасці і інтэрпрэтабельнасці розрэджаных автоэнкодэраў для формулы автоэнкодэра, а таксама даследжэнне масштабавання 2024 года для формулы TopK. Яны включалі 185 тэставанняў на трэніраванні з іграшковымі мадэлямі плюс 2 мільйоны актывацыяў GPT-2.

Супаўзяныя матэрыялы

• Пошук відэа і аудыяна па значэнні: стварэнне мультымадальнага RAG са Gemini Embedding 2 — як адзін простор для імбеддынгу тэксту, аудыяна, відэа і PDF-файлаў заменіў традыцыйныя методы транскрыпцыі, з вікорыстаннем чанкавання, ChromaDB, расшырэння запытаванняў, перэранкавання і прагаў.
• Перэранкаванне ў RAG: cross-encoders проты LLM-суддзяў і ўплыв латэнцыі — як пераранкавальныя механізмы другага ўрадку выправляюць парадак кандыдатаў у RAG, паўстанавляючы ўпорадкаванне, з паўстановленням порэвання cross-encoders з LLM-суддзямі, аналізам вартасці латэнцыі, спосабаў абвалення і спосабаў іх ацэнкі.