Superposición en redes neuronales: modelos simplificados, SAEs y fusión de características

Almacenar más de lo que cabe

Imagínese una red neuronal cuya capa oculta tiene solo dos dimensiones, de modo que cada entrada se representa con dos números, un punto (x, y) en un plano plano. Ahora supongamos que la red debe seguir cinco características diferentes. Parece imposible. Dos dimensiones deberían albergar dos características, una por eje.

La superposición es la solución. Una red puede representar más características de las que tiene en dimensiones al almacenarlas en direcciones superpuestas dentro del mismo espacio. En lugar de que “la dimensión 1 albergue la característica A y la dimensión 2 albergue la característica B”, cada característica tiene su propia dirección, y varias características pueden estar presentes juntas en el mismo par de dimensiones. Las preguntas abiertas son por qué funciona esto y cómo la red distingue posteriormente las características superpuestas.

Una capa alberga varias características activas al mismo tiempo sumando sus direcciones.

En la ecuación anterior, la activación h es la salida de la capa para una entrada, un vector de d números. En el modelo simplificado d es 5, y en la capa 8 del GPT-2 pequeño es 768. Cada característica i tiene una intensidad x_i que puede ser cero o mayor, y en total hay n características: 20 en el modelo simplificado y un valor desconocido en el GPT-2. Cada característica también cuenta con una dirección unitaria fija W_i en el espacio de d dimensiones, y todas estas direcciones juntas forman una matriz d × n W cuya columna i es W_i.

En términos sencillos, cada característica activa empuja la representación a lo largo de su propia dirección. La capa solo almacena el vector sumado final h, sin un espacio separado para cada característica.

Para recuperar una característica específica, se calcula el producto escalar entre h y la dirección de dicha característica.

Para pasar de la primera línea de esa derivación a la segunda se utiliza el hecho de que el producto escalar se distribuye sobre una suma. Al multiplicar W_i por h se obtiene un término por cada característica; el término con j = i se extrae, mientras que la suma sobre j ≠ i representa al resto. La primera parte es un vector unitario multiplicado por sí mismo, cuyo resultado es 1, por lo que ese término es exactamente x_i, la verdadera fuerza. La segunda parte reúne todas las demás características, cada una ponderada según cuán similar sea su dirección a la de la característica i.

Esa única ecuación rige todo el tema y se divide en dos casos:

• Cuando n ≤ d, no hay más características que dimensiones, por lo que cada dirección puede estar en ángulo recto con todas las demás. Todos los productos escalar W_i · W_j son cero, la interferencia desaparece por completo y la lectura es exacta. El límite máximo es d características.
• Cuando n > d, eso es imposible. En d dimensiones como máximo d vectores pueden ser mutuamente perpendiculares, por lo que alguna pareja debe superponerse, y la interferencia nunca es cero.

La superposición implica aceptar deliberadamente el segundo compromiso: más de d características, a cambio de cierta interferencia.

Por qué la interferencia es tolerable

La interferencia solo importa cuando las demás características están activas. Si la característica j está desactivada, x_j es cero y su contribución desaparece. Si cada característica se activa con una probabilidad de p, el número esperado de características interferentes es aproximadamente (n − 1)p.

Con n = 20 características y p = 0.001, eso equivale a 19 × 0.001 = 0.019 interferentes esperados. Alrededor del 98% de las entradas no tienen ninguna otra característica activa, por lo que la lectura es exacta. La interferencia existe, pero rara vez se da.

Los espacios de alta dimensión ayudan aún más. Solo d direcciones pueden ser exactamente ortogonales, pero hay espacio para muchas otras que son casi ortogonales. Los vectores unitarios aleatorios tienen un alineamiento cuadrado esperado de 1/d, por lo que un alineamiento típico es aproximadamente 1/√d.

En las 768 dimensiones de GPT-2, eso equivale a 0.036, un ángulo de aproximadamente 87.9°. Dos direcciones seleccionadas al azar ya son casi perpendiculares por casualidad. Los espacios grandes permiten ciertas tolerancias que los pequeños no pueden.

Las redes actuales añaden una función ReLU después de la lectura, definida como ReLU(z) = max(0, z): los valores positivos se mantienen y los negativos se convierten en cero. Dado que las intensidades nunca son negativas, un término de interferencia negativo hace que la lectura baje por debajo de cero, y la función ReLU la fija en 0, lo cual resulta ser correcto para una característica que estaba incorrecta. Así, la interferencia negativa es inofensiva, y solo la positiva causa problemas.

El modelo simplificado

La configuración sigue el artículo sobre Modelos Simplificados de Superposición (Elhage et al., 2022): se toman 20 características, se fuerzan a pasar por 5 dimensiones y luego se solicita recuperarlas.

El diagrama muestra el modelo completo, que comprime 20 números en 5 y luego intenta recuperar los 20 originales.

• x representa la verdad, es decir, las 20 características generadas.
• W es una matriz de 5 × 20 cuya columna i corresponde a la dirección W_i.
• h es la forma comprimida de 5 números.
• x̂ representa la reconstrucción.
• b almacena 20 desplazamientos adicionales que se añaden antes de la función ReLU.
• El entrenamiento minimiza la diferencia cuadrática media entre la verdad y su reconstrucción.

La transpuesta Wᵀ es la misma matriz girada de lado. El modelo no cuenta con una matriz separada para la lectura, y eso es precisamente lo que hace que la columna i sea la dirección de la característica i y le da un significado real a “la geometría de las características”. La cantidad total es de 5 × 20 = 100 números en W más 20 en b, es decir, 120 parámetros entrenables.

Ninguna de las características tiene nombre. La característica 7 no es “la característica plural”; es simplemente la columna 7. Esto es una característica del diseño y no un defecto. Dado que no entra ningún lenguaje, nada de lo que sale puede ser una afirmación sobre el lenguaje; por lo tanto, cualquier patrón debe referirse a la compresión de señales dispersas, y esa es la razón por la cual el mismo patrón debería aparecer dentro de un modelo real.

La escasez es el parámetro principal. Cada valor de intensidad se genera de forma independiente: cero con probabilidad S y de forma uniforme entre 0 y 1 en los demás casos. Se realizan diez pruebas aumentando S desde 0 hasta 0.5 y de 0.9 a 0.999, con valores de 0.95, 0.99 y 0.997 en el intervalo intermedio, y 0.3, 0.7 y 0.8 para cubrir el rango inferior.

La arquitectura consiste en una sola matriz sin profundidad ni mecanismo de atención. W se utiliza para comprimir los datos al entrar y descomprimirlos al salir, con una función ReLU al final. Calificar a h como capa oculta es una exageración, ya que en realidad es simplemente W multiplicado por x. Las veinte pruebas en conjunto se completan en aproximadamente un minuto en una CPU.

Levantamiento de WᵀW

WᵀW no es un diagnóstico añadido posteriormente. Aparece por sí mismo cuando h = Wx se sustituye en el proceso de lectura.

WᵀW es una tabla de 20 × 20 que muestra al operador que el modelo aplica realmente a la verdad, con W_i · W_j como valor en la casilla (i, j). Una sola imagen revela toda la solución. A lo largo de la diagonal se puede observar cuán firmemente se almacena cada característica; un valor cercano a cero indica que el modelo la ha descartado. Fuera de la diagonal se aprecia qué características influyen unas en otras, y una tabla llena de ceros significa que no hay interferencia alguna. La matriz identidad es el ideal, y la superposición corresponde a un modelo que no logra alcanzar ese ideal.

El mismo modelo se muestra en cuatro niveles de dispersión. A la izquierda hay cinco celdas diagonales oscuras, quince características descartadas y ningún color fuera de la diagonal, ya que no hay interferencia que mostrar. A la derecha hay doce celdas diagonales oscuras y colores dispersos fuera de la diagonal; ese color representa el costo de las siete características adicionales.

El control lineal es el mismo experimento con la función ReLU eliminada y sin ningún otro cambio.

Exactamente cinco características se almacenan en cada nivel de esparsidad, incluso en 0.999, y esto se mantuvo en las diez pruebas realizadas. Por lo tanto, eliminar la no linealidad hace más que debilitar la superposición; la anula por completo. La afirmación pasa de “la ReLU ayuda” a “la ReLU es una condición previa”, ya que sin la eliminación automática de las interferencias negativas, las características adicionales nunca compensan sus costos.

El panel izquierdo muestra el cambio de fase. La curva ascendente corresponde al modelo con ReLU que pasa de 5 características a 12, mientras que la línea plana representa el control lineal que no cambia en absoluto. El panel central muestra el costo, con la dimensionalidad promedio disminuyendo de 1.0 a 0.38. El panel derecho muestra la ley de conservación, donde el total siempre es 5 en las veinte pruebas realizadas.

Qué mide la dimensionalidad

Los paneles central y derecho utilizan la dimensionalidad por característica, es decir, cuánta dimensión tiene una característica para sí misma.

La parte superior de esa fórmula representa cuán fuertemente se almacena la característica i, elevada al cuadrado, mientras que la parte inferior corresponde a su superposición al cuadrado total con todo, incluyéndose a sí misma. Una característica por sí sola en su propio eje no tiene nada que se superponga a ella, por lo que la parte inferior es igual a la superior y D_i = 1. Cuando k características comparten un eje, la parte inferior suma k términos iguales y D_i = 1/k.

Al sumar los valores de todas las características, cada uno de los veinte ejecutamientos arroja un resultado entre 4.94 y 5.00, tanto para los dos modelos como para todos los niveles de dispersión. Con S = 0.9, nueve características se almacenan con 0.5556 de dimensión cada una, y 5 ÷ 9 = 0.5556. La superposición nunca añade capacidad; simplemente divide una cantidad fija en partes más pequeñas.

¿Una media de 2/3 demuestra la existencia de un triángulo?

El panel central alcanzó una dimensionalidad media de 2/3, lo que parecía ser una prueba de que tres características formaban un triángulo. No era así, y el error resultó ser la parte más útil del proyecto.

Un promedio D de 2/3 se obtendría con tres características separadas por 120°, pero también se da en otros diseños, ya que D solo suma los cuadrados de la superposición y no dice nada sobre la geometría que la genera. Al medir los ángulos directamente se resolvió el problema: de 30 pruebas con 3 características en 2D, 29 no formaron triángulo. El resultado típico consistía en una característica por sí sola y dos que compartían un eje en direcciones opuestas, con dimensiones de 1.0, 0.5 y 0.5, y ángulos de 90°, 90° y 180°. El promedio sigue siendo 2/3, pero la forma es completamente diferente. Si este diseño es realmente el óptimo o es producto de cómo se pondera la pérdida sigue sin estar claro.

¿Qué forma adoptan las características?

Para que las direcciones puedan dibujarse en papel, el modelo se reduce a 2 dimensiones y la cantidad de características varía de 3 a 6. La pregunta “¿qué forma?” puede responderse entonces observando. Seis niveles de dispersión × cinco semillas × cuatro cantidades de características dan un total de 120 pruebas.

Cada dirección de característica aparece como una flecha en un círculo, siendo la dispersión mayor en los paneles correspondientes. Una flecha de longitud cero marca una característica eliminada. A mayor dispersión, aparecen más flechas distribuidas de manera uniforme, y ese espaciado es la forma en que el modelo resuelve la ecuación de interferencia: colocar las direcciones lo más separadas posible para que la superposición entre cada par disminuya.

¿Es fiable este arreglo a medida que las características se multiplican?

En absoluto, y la caída es pronunciada. La verificación utilizó 30 semillas por cantidad de características, con la misma configuración pero pesos iniciales aleatorios diferentes, y contó con qué frecuencia las pruebas arrojaban la misma forma.

Un digon se refiere a dos características que comparten una línea pero apuntan en direcciones opuestas. Con 3 características el resultado es casi forzado, mientras que con 6 las secuencias se distribuyen en varios diseños competidores. Al incluir más características en el espacio, se multiplican las soluciones casi equivalentes, por lo que la geometría final depende en mayor medida de la inicialización. Hay un límite: todas las secuencias son 2D, por lo que no se puede determinar si el efecto depende del número total de características o de la relación entre características y dimensiones. Diferenciarlos requeriría un análisis por dimensiones que no se realizó.

El gráfico ordena las 120 secuencias según los resultados obtenidos. La barra más alta de cada grupo es la ganadora, y esta disminuye a medida que aumenta el número de características.

¿Puede un autoencoder disperso leer nuevamente las características?

Hasta ahora todo se ha tratado de un modelo que escribe características en un espacio reducido. El problema inverso es el que interesa a los trabajos de interpretabilidad: dado únicamente h, recuperar lo que se introdujo originalmente.

En el diagrama, f representa el código denso y amplio, con 40 números aquí, casi todos iguales a cero. La matriz de decodificación W_dec tiene como columnas los átomos, es decir, las estimaciones del autoencoder de las direcciones reales, y esos son los únicos resultados que cuentan.

TopK conserva los k valores más grandes y pone cero al resto (Gao et al., 2024). La alternativa es una penalización L1 en la pérdida que permite que surja la esparsidad. TopK es adecuado para esta tarea ya que corrige directamente la esparsidad, mientras que un peso de penalización ajustado para un problema no dice nada sobre otro. Comparar dos modelos con un nivel de esparsidad similar resulta complicado con L1, pero sencillo con TopK. Se resta un sesgo del decodificador antes de la codificación y se vuelve a añadir posteriormente, de modo que los átomos modelan la forma de los datos y no se desperdician en su desplazamiento con respecto al origen.

El autoencoder nunca ve las direcciones reales. La evaluación se realiza después al comparar cada dirección real con los átomos de dos maneras, y la diferencia entre ambas es el resultado.

Evaluación de la recuperación

La puntuación obvia consiste en preguntarse, para cada característica real, qué tan buena es la opción más cercana que encontró el autoencoder.

Cada característica real elige por sí misma su mejor átomo, y nada impide que dos características elijan el mismo átomo. Supongamos que el autoencoder une las características a y b en un único átomo a lo largo de su suma. Este átomo queda a mitad de camino entre ellas; con las características separadas por 36°, está a 18° de cada una, lo que da cos(18°) = 0.951. Ambas características obtienen una puntuación de aproximadamente 0.95, por lo que el resultado parece excelente a pesar de que dos características se hayan convertido en una. Un átomo fusionado realmente coincide bien con ambas.

La recuperación mediante coincidencia lo soluciona. A cada característica real se le asigna un átomo distinto de manera que se maximice la similitud total, mediante scipy.optimize.linear_sum_assignment. Cuando dos características se fusionan, solo una recibe el átomo compartido y la otra queda asignada a una coincidencia menos adecuada, de modo que la fusión se hace evidente. La diferencia entre las dos puntuaciones mide el grado de fusión, ya que cualquiera de las puntuaciones por sí sola podría ocultarla.

Un caso en el que la recuperación es imposible en principio

Una ecuación algebraica demuestra que el fallo que se presenta no es culpa del autoencoder. Tomemos las características a y b que siempre se activan juntas con la misma intensidad, de modo que x_a = x_b para cada entrada. Estas contribuyen entonces con un único término compartido a la activación.

Ningún método puede revertir esto, ya que las activaciones solo contienen la suma de las dos direcciones. Los valores individuales de W_a y W_b nunca son observables. La información no está oculta; simplemente falta. Un autoencoder más potente, más recursos de cómputo o otro tipo de función de pérdida no lograrán recuperarla. Esto se denomina no identificabilidad, un límite de los datos y no de la técnica.

Al cambiar un solo detalle de modo que las dos características sigan activándose siempre juntas pero con fortalezas que varían de forma independiente, la situación se invierte. Al variar x_a mientras x_b permanece fijo, se pone de manifiesto W_a, lo que permite que ambas direcciones sean recuperables. Por lo tanto, la afirmación de que “las características correlacionadas dañan a los autoencoders dispersos” es demasiado simplista para ser cierta: la activación conjunta no es perjudicial, pero las fortalezas fijas sí son fatales, y solo esta última constituye un verdadero problema.

Resultados en el modelo de ejemplo

La matriz evaluó la dispersidad, la tasa de activación conjunta y el acoplamiento de fortalezas en 15 condiciones, cada una con 3 valores iniciales, lo que resultó en 45 ejecuciones con 20 características reales, 5 dimensiones y 40 átomos.

Duas de las quince condiciones muestran exactamente un 0% de fusión. Solo las tres que combinan co-quemado total con acoplamiento de fuerza total presentan fallos, en un 20%, 50% y 40%, mientras que el co-quemado parcial con acoplamiento de fuerza total permanece perfectamente limpio. Aquí hay un abismo en lugar de una pendiente, y se encuentra justo en el punto en que una pareja deja de ser identificable.

La peor condición se muestra a través de cuatro métricas. El autoencoder no falla en este caso. Recupera la dirección de la suma de cada pareja fusionada con puntuaciones de 0.878, y luego 1.000 dos veces, en las tres condiciones defectuosas. Lo que encontró es una estructura real, solo que no es la estructura etiquetada como verdad real, porque la distinción faltante no está presente en los datos.

Tampoco la reproducibilidad lo detecta. La concordancia entre diferentes ejecuciones se mantiene entre 0.878 y 0.925, incluso cuando ocurre la fusión, ya que las ejecuciones siempre llegan a la misma respuesta. Eso demuestra una optimización estable, pero no dice nada sobre si la respuesta es correcta.

Los átomos fusionados se ubican exactamente entre las dos características que absorbieron, lo que explica sus altas puntuaciones frente a cada una de ellas.

¿Sobrevive en un modelo de lenguaje real?

Una objeción razonable es que ajustar 20 características a 5 dimensiones es extremadamente limitado, por lo que naturalmente se fusionan. Con 768 dimensiones en un lenguaje real, la presión podría desaparecer, ya que las direcciones aleatorias ya están separadas por 87.9° por casualidad. Probar esto choca contra un muro, ya que ninguno de los escenarios por sí solo puede responder a la pregunta.

La tabla anterior muestra qué ofrece cada configuración. El modelo de prueba conoce la respuesta correcta pero no es realista, mientras que un modelo real es realista pero sus características reales son desconocidas.

Inyección sintética

La inyección sintética conecta ambos enfoques. Se toman las activaciones reales de GPT-2, se introducen unas pocas características diseñadas de antemano, se entrena un autoencoder con esa mezcla sin indicar cuáles son las características introducidas, y se evalúa únicamente en función de ellas. Funciona como un método de control por inserción de señales. Un detector de metales no puede probarse en un campo de contenido desconocido, pero enterrar unas monedas y verificar que las detecte funciona, sin que sea necesario conocer el contenido del resto del campo.

En la configuración, h_real representa una activación real de 768 números proveniente de GPT-2 small en la capa 8 mientras lee texto real. Las 24 direcciones v_k son vectores unitarios aleatorios fijados de antemano, y las intensidades a_k están bajo control, incluyendo qué pares se vinculan entre sí. Tres condiciones comparten las mismas activaciones con cuatro pares cada una: pares que se activan en momentos no relacionados (el grupo de control), pares que siempre se activan juntos con intensidades libres, y pares que siempre se activan juntos con intensidades fijas. Solo el último grupo debería fallar.

GPT-2 small procesó más de 2 millones de tokens, y el flujo residual después de la capa 8, aproximadamente a mitad del camino a través de la red, se guardó como vectores de 768 dimensiones. Eso generó 2 millones de vectores, alrededor de 2,9 GB, en aproximadamente siete minutos con una GPU de portátil. La posición 0 se descartó ya que actúa como un sumidero de atención con una norma cercana a 3,100, frente a unos 128 en todas las demás posiciones, aproximadamente 24 veces mayores, lo cual arruinaría las estadísticas.

La línea de base aleatoria

Cada puntuación reportada corresponde al mejor resultado de un gran conjunto de opciones, y el mejor entre muchos gana en parte por suerte. Por lo tanto, debe existir una línea de base para determinar qué direcciones sin sentido podrían obtener una puntuación. Para una sola pareja, dos direcciones unitarias aleatorias en d dimensiones tienen un alineamiento cuadrático esperado de 1/d; así, un valor típico es 1/√768 = 0,036. En el caso del mejor entre muchos, se comparan miles de candidatos y solo se mantiene el mejor.

La teoría y la medición difieren ligeramente. Con N = 2,543 átomos, la fórmula predice 0.143 mientras que la simulación da 0.126; con N = 31,295, la fórmula predice 0.164 frente a 0.145 en la simulación. La fórmula sobreestima en aproximadamente un 15%, por lo que todas las mediciones de referencia utilizan los valores de la simulación. Lo que sí acierta la fórmula es la forma, una línea base que aumenta con la raíz cuadrada del logaritmo del tamaño del conjunto. Un diccionario doce veces más grande eleva el valor de 0.126 a 0.145 y nada más, por lo que el tamaño por sí solo no garantiza una puntuación alta.

Resultado

La ejecución utilizó 1M de tokens, 3,072 átomos, TopK con k = 32 y 3 semillas, y se evaluó únicamente en función de las 24 características analizadas.

La falla se reproduce con precisión. Todas las parejas bloqueadas se fusionaron bajo todos los conjuntos de datos, con valores de recuperación correspondientes de 0.416, 0.418 y 0.417. Pasar a 768 dimensiones en un lenguaje real no cambia nada, por lo que el problema no radica en la falta de espacio; lo que falta en los datos es la información que permitiría separar las dos características.

Se trata de fusión y no de colapso. La dirección combinada de cada par se recuperó con un valor de coseno de 0.998, igual al del grupo de control, lo que significa que el autoencoder capturó la estructura real casi perfectamente y simplemente unió las dos características en una sola. La métrica ingenua lo habría pasado por alto, mostrando un valor de 0.702 frente a 0.417 en los valores correspondientes, lo cual parece mediocre pero no alarmante, ya que ambas características pueden atribuirse al mismo átomo fusionado.

El panel izquierdo muestra la recuperación por condición: la barra bloqueada se colapsa mientras las demás se mantienen estables. El panel central muestra cómo cada par bloqueado se fusiona bajo cada semilla. El panel derecho muestra cómo la puntuación vuelve a 0.998, al mismo nivel que el grupo de control, una vez que la dirección combinada coincide con el objetivo.

Búsqueda directa de sospechosos de fusión

Un examen independiente analizó un autoencoder de OpenAI publicado para GPT-2, en busca de pares de características que nunca se observan por separado. Se examinaron las 1,024 características más frecuentes en 2 millones de tokens, lo que arrojó un total de 476,408 pares. La algebra presentada anteriormente indica dos señales de peligro: que el par está vinculado y que sus intensidades son similares.

• Solo 3 pares son casi inseparables.
• En 17,403 pares, las intensidades presentan una fuerte correlación.
• Ningún par cumple ambas condiciones.
• Los 200 pares más estrechamente vinculados tienen una correlación de intensidad mediana de solo 0.024.

El texto real presenta un tipo benigno de coocurrencia: elementos que aparecen juntos pero cuyas intensidades varían de forma independiente.

El diagrama de dispersión muestra el cuadrante de peligro, con valores altos en ambos ejes, completamente vacío. Las parejas se agrupan a lo largo de los bordes: o están vinculadas pero con intensidades independientes, o son correlacionadas en intensidad pero no siempre aparecen juntas, y nunca ambas a la vez.

La búsqueda tiene un punto ciego, y esa es la razón de la existencia del experimento de inyección. Después de que un autoencoder fusiona dos características, solo queda un átomo y no hay ninguna pareja que detectar, por lo que la búsqueda de parejas pasa de largo por una fusión que ya ha tenido lugar. Una zona de peligro vacía resulta tranquilizadora en cuanto a las características que permanecieron separadas y silenciosa respecto a aquellas que no lo hicieron.

¿Encuentran dos autoencoders las mismas características?

Todos los autoencoders analizados hasta ahora presentaban activaciones manipuladas que contenían las 24 características introducidas artificialmente. Por lo tanto, se entrenó otro con activaciones limpias, utilizando 1 millón de tokens, 3,072 átomos, TopK k = 32 y dos semillas, durante cuatro minutos cada uno. Se comparó con el diccionario de OpenAI publicado, el cual cuenta con 31,295 átomos reales y aproximadamente mil millones de tokens de entrenamiento menos que este.

¿Es lo suficientemente sólido el modelo más pequeño?

La evaluación de la reconstrucción se realiza dentro del modelo y no en el espacio de activaciones, ya que el error cuadrático trata a las 768 direcciones de manera igualmente importante, algo que GPT-2 no hace. La reconstrucción se integra en el proceso de paso adelante, y las pruebas determinan hasta qué punto empeora la predicción del siguiente token.

El gráfico muestra la entropía cruzada, que representa la pérdida de predicción del modelo en nats; el modelo limpio presenta un valor de 3.302. Ambas variantes terminan en el mismo lugar, recuperando el 93.76% y el 93.97% de la pérdida, explicando el 78.9% y el 79.0% de la varianza, y manteniendo vivos 2,543 y 2,597 de los 3,072 átomos. El diccionario liberado recupera el 97.1%. El de tamaño reducido está subentrenado según los estándares del campo, pero es adecuado para una comparación.

Este gráfico muestra el valor promedio del coseno de mejor coincidencia, contando únicamente los átomos vivos, siendo cada valor evaluado en relación con su propia línea de base aleatoria.

A la izquierda, cada valor se muestra en comparación con su propia línea de base aleatoria, y estas líneas de base difieren debido a las diferencias en el tamaño de los conjuntos. A la derecha, los mismos números aparecen como ángulos. Las barras se reducen drásticamente, y ese es precisamente el objetivo, ya que el coseno es más generoso mientras que el ángulo es más preciso.

Las dos semillas coincidían en todos los indicadores de salud, pero discrepaban respecto a qué constituye una característica: 93.76% frente a 93.97% de pérdida recuperada, 78.9% frente a 79.0% de varianza explicada, y 2,543 frente a 2,597 átomos activos. Sus diccionarios estaban separados por 38.6°, y ninguna verificación estándar de calidad lo detectó.

¿El diccionario más grande es simplemente una división del nuestro?

El diccionario publicado contiene 12 veces más átomos. La explicación habitual es la división de características, en la que la capacidad adicional permite que una característica gruesa se divida en otras más detalladas, como por ejemplo una característica de comillas que se transforma en comillas iniciales, atribución de diálogos y comillas de énfasis. De ser así, deberían cumplirse dos condiciones: los átomos publicados deberían agruparse alrededor de las características del diccionario más pequeño, y cada característica debería poder reconstruirse como una mezcla positiva de átomos cercanos, ya que una característica gruesa debería combinar sus versiones refinadas sin cancelaciones con signo.

En la prueba, q representa una dirección de característica del pequeño diccionario. La primera medida cuenta los átomos liberados que se encuentran a un ángulo de coseno de 0.4 con respecto a ella, lo cual equivale a 66.4° y es deliberadamente generoso. La segunda toma los 16 átomos liberados más cercanos como columnas de una matriz B, ajusta la mejor mezcla sin permitir coeficientes negativos y reporta la fracción de q explicada, donde R² = 1 indica una reconstrucción perfecta y 0 significa nada.

Ambas medidas se ejecutan dos veces: una vez con las características reales y otra vez con 400 direcciones unitarias aleatorias. La segunda ejecución es necesaria porque los átomos seleccionados por estar cerca de una dirección se ajustarán de alguna manera a ella, independientemente de cuál sea, lo cual constituye un sesgo de selección. Solo la diferencia entre las columnas tiene significado.

Resultado

Cada condición utilizó 400 direcciones de consulta contra los 31,295 átomos publicados en tiempo real. El agrupamiento resultó decisivo: una característica real cuenta con alrededor de seis átomos publicados cercanos, mientras que las 400 direcciones aleatorias no presentaban ninguno dentro de un ángulo de 66°. Los dos diccionarios apuntan evidentemente a las mismas regiones.

La cobertura fue solo parcial. Los 16 átomos publicados más cercanos reconstruyen el 0,696 de las características, frente al 0,495 del mejor átomo individual, lo que deja aproximadamente un 30% sin explicar. Ese remanente podría ser un refinamiento real que falta en el diccionario publicado, o ruido proveniente de características subentrenadas. Separarlos requeriría realizar pruebas con capacidades de 8×, 16× y 32×, lo cual fue diseñado pero no ejecutado.

El panel izquierdo muestra la cantidad de átomos liberados cerca de cada consulta; las características reales van de aproximadamente uno a quince, mientras que la columna aleatoria presenta un único valor en cero. El panel derecho compara la calidad de reconstrucción obtenida con el mejor átomo individual con la obtenida con los dieciséis átomos más cercanos.

Principales hallazgos

• Es necesario utilizar ReLU: al eliminarlo, el control lineal mantiene exactamente 5 características independientemente del grado de dispersión.
• La superposición divide la capacidad existente y nunca crea más, ya que la dimensionalidad total se mantiene entre 4.94 y 5.00 en las 20 pruebas realizadas.
• Las parejas que no pueden distinguirse entre sí se fusionan incluso en las activaciones de GPT-2 de 768 dimensiones, ya que sus direcciones individuales no están presentes en los datos.
• Una simple puntuación de recuperación puede ocultar la fusión, ya que un átomo fusionado coincide bien con ambas características. La puntuación de recuperación en casos de coincidencia es de 0.702, frente a 0.417 en GPT-2.
• La reproducibilidad no dice nada sobre la verdad: las semillas llegaron repetidamente a la misma respuesta incorrecta, lo que solo demuestra que la optimización es reproducible.

Resulta que colocar una característica en una dimensión era demasiado aburrido para una red neuronal.

Los experimentos se basan en el artículo sobre modelos simplificados para la configuración y la medida de dimensionalidad, en estudios anteriores sobre monosemántica e interpretabilidad de autoencóderes dispersos para la receta del autoencóder, y en el estudio de escalabilidad de 2024 para la formulación TopK. En total, se realizaron 185 ejecuciones de entrenamiento con modelos simplificados más 2 millones de activaciones de GPT-2.

Leer más

• Búsqueda de video y audio por significado: Una implementación multimodal de RAG con Gemini Embedding 2 — Cómo un único espacio de embedding para texto, audio, video y PDFs reemplazó los pipelines de transcripción, con fragmentación, ChromaDB, expansión de consultas, reclasificación y umbrales.
• Reclasificación en RAG: Cross-Encoders frente a LLM Judges y su latencia — Cómo un reclasificador de segunda etapa corrige el orden de los resultados en RAG, comparando cross-encoders con LLM Judges, los costos de latencia, los modos de fallo y cómo evaluarlos.