Funcionan solos, fallan en grupo: fragilidad contextual en tokens que superan una prueba de copiado aislado.
Prueba de ocho modelos de peso abierto para identificar tokens que se copian correctamente de forma aislada pero son descartados o modificados en contexto, con verificaciones de la geometría de los embeddings, la preservación de la tarea y el uso de herramientas.
Repetir un token correctamente cuando está solo dice poco sobre si ese mismo token sobrevivirá dentro de un pasaje más largo. Este artículo analiza las entradas de vocabulario que superan una prueba de copiado aislado pero fallan al colocarse en contexto. Se probaron ocho modelos de peso variable de las familias Qwen y OLMo. Los IDs fijos de los tokens se incluyeron en bancos compartidos de secuencias aleatorias de palabras comunes; se registró la probabilidad del token esperado en su posición de copiado, y se examinaron a mano algunos de los fallos de decodificación detectados. Una pantalla basada en probabilidades identificó entre el 0,4 % y el 10,9 % de los tokens que superaban la prueba de aislamiento en al menos una décima parte de los contextos probados. Esas cifras muestran cuántos tokens detecta la pantalla, pero no indican cuántos causan errores de decodificación verificados.
Las puntuaciones de filtrado por token coinciden en gran medida entre las dos mitades del conjunto de contexto, con correlaciones que van de 0.82 a 0.95. Los ejemplos almacenados muestran eliminación, sustitución, truncamiento y traducción; algunos de ellos se generaron cuando la distribución de resultados estaba fuertemente concentrada. Una segunda pregunta es si la cercanía en el espacio de embedding a tokens defectuosos conocidos o filtrados por contexto permite identificar a este grupo. La proximidad entre el embedding de entrada y el de salida más eficaz alcanza un AUROC entre 0.744 y 0.881 en siete modelos, aunque las características estáticas superan a las baselines basadas en características superficiales solo en tres de ellos. En varias tareas de instrucciones y uso simulado de herramientas, los candidatos seleccionados se mantienen con menos frecuencia que los controles estables. Una prueba separada con nombres de entidades naturales no reveló ningún valor predictivo adicional más allá de los controles ya existentes. Lo que se obtiene es una descripción controlada de la susceptibilidad contextual entre los tokens que pasan una prueba de aislamiento, con evidencias sobre su reproducibilidad, sus asociaciones geométricas y sus efectos a nivel de tarea. Se aboga por una verificación contextual y se deja abierta tanto la posibilidad de descubrimiento prospectivo como la predicción de qué contexto provocará un fallo determinado.
Un token que se copia solo y desaparece en compañía de otros
Un modelo puede reproducir un token cuando se le pide que lo copie por sí solo, y luego reemplazar ese mismo token cuando aparece dentro de una secuencia más larga que debe copiarse. La discrepancia es relevante siempre que la identidad literal forme parte de la instrucción: citar un título, mantener un identificador intacto, devolver un elemento de una lista o incluir un nombre en una consulta de herramienta. Una respuesta fluida puede satisfacer la tarea en apariencia, aunque cambie el elemento exacto sobre el que se centra la tarea.
Un caso concreto proviene de OLMo-2-7B y del token according, con ID 4184. Al decodificar y reencodificar la cadena se obtiene nuevamente el mismo ID. En una prueba de repetición aislada, la continuación correcta tiene una probabilidad logarítmica de -0.001. Sin embargo, en la secuencia deliver rel behind according sent floor wrong, el modelo emite sent en la posición destinada a according y continúa con la palabra siguiente. La emisión incorrecta tiene una probabilidad que redondea a 1.000 y una entropía que redondea a 0.00 bits. En 48 contextos muestreados, las continuaciones registradas omiten according en 44 casos y lo reproducen, con una probabilidad cercana al 0.999, en los otros cuatro. El modelo, el ID del token y la instrucción de copiado permanecen constantes en todo momento, y solo cambian los elementos circundantes.
Los trabajos anteriores sobre tokens defectuosos abordan la imposibilidad de reproducir o manipular ciertas entradas de vocabulario, utilizando detección a partir de embeddings, clasificadores sobre activaciones, variación de prompts y evaluación multi-tarea (por ejemplo, Land y Bartolo, 2024; luego Li et al., 2024 y Zhang et al., 2024; y más recientemente Wu et al., 2026 junto con Tang et al., 2026). Aquí se plantea una pregunta más específica: una vez que un token supera una prueba de aislamiento determinada, ¿sigue siendo vulnerable cuando se copia dentro de un texto más largo, y ¿se puede medir esa debilidad de manera consistente?
El término “token frágil” se utiliza para esta clase de comportamiento condicional. La pertenencia a ella depende del modelo, del protocolo de copiado y de la distribución de los contextos. La etiqueta no afirma que la vulnerabilidad esté libre de contexto, ni supone que los fallos por prueba aislada y los fallos contextuales tengan una misma causa. Los experimentos principales emplean una pantalla de probabilidad para seleccionar candidatos para esta clase, y en todo momento dicha pantalla se mantiene separada de los errores de decodificación verificados.
Siguen tres contribuciones. Primero, se mide la población de tokens aislados en transición mediante bancos de contexto compartidos e IDs de token fijos, de modo que se puede comparar la susceptibilidad de los tokens entre diferentes contextos, ejecuciones independientes y configuraciones de modelo. Segundo, se prueban señales geométricas relacionadas con tokens defectuosos establecidos para ver si también permiten separar a los candidatos dentro de esta población, en comparación con características superficiales y conjuntos de referencia aleatorios. Tercero, el estudio investiga si los candidatos seleccionados sobreviven a instrucciones posteriores e interacciones simuladas con herramientas, y reporta un resultado claramente negativo para la predicción de nombres de entidades naturales.
El resultado amplía empíricamente la evaluación de los tokens con errores. No pretende inventar un método de detección de errores basado en embeddings, ni afirma que los trabajos anteriores hayan ignorado por completo el contexto. Lo que muestra es por qué un resultado de aislamiento debe considerarse como una condición de medición y no como un certificado general de que un token será copiado fielmente.
Ubicación de este trabajo entre los anteriores
Los informes iniciales describieron un comportamiento extraño del modelo con tokens específicos bajo diferentes prompts y relacionaron algunos de esos tokens con regiones inusuales del espacio de embeddings (Rumbelow y Watkins, 2023). Estudios posteriores desarrollaron detectores y procedimientos de evaluación sistemáticos, y proporcionan tanto el método como un punto de comparación para los tokens frágiles.
El marco Magikarp de Land y Bartolo (2024) utiliza indicadores derivados de embeddings para identificar candidatos de tokens subentrenados y luego los verifica mediante pruebas de comportamiento. Su análisis incluye prompts alternativos y ejemplos con listas de código copiado. Li et al. (2024) definen de manera amplia el comportamiento de fallos y prueban la repetición, la ortografía y la longitud; su GlitchHunter localiza las regiones problemáticas mediante un grafo de embeddings y un clustering iterativo. Por lo tanto, ni la generación geométrica de candidatos ni el uso del texto del prompt circundante son algo nuevo en este enfoque.
GlitchProber clasifica los tokens según las características de atención y MLP, y estudia formas de mitigar los problemas modificando las activaciones intermedias (Zhang et al., 2024). GlitchMiner aplica una optimización discreta guiada por la entropía, utilizando vecindades de embedding locales, y verifica a los candidatos bajo tres plantillas de repetición (Wu et al., 2026). Los experimentos de este estudio difieren en que congelan los pesos del modelo y evalúan la susceptibilidad contextual solo después de verificar el éxito en una prueba de aislamiento. Las emisiones erróneas con baja entropía influyen en esa evaluación, pero su mera existencia no demuestra que un detector guiado por la entropía omita el token en cada solicitud.
La comparación conductual más cercana es el trabajo de Tang et al. (2026). Su GlitchQuiz abarca ocho tareas, entre ellas la construcción de oraciones y párrafos, la repetición y el recuerdo en múltiples turnos. Muestran un token que pasa pruebas simples pero falla en otra tarea, y reconocen que pueden existir fallos que escapan a su evaluación completa. La contribución aquí consiste en la medición repetida de una única operación de copiado fija dentro de bancos de contexto compartidos en una población que pasa la prueba de aislamiento, seguida de análisis de reproducibilidad y predicción. Superar la prueba de aislamiento en estos experimentos no implica pasar GlitchQuiz, y no se afirma que la idea de que el fallo del token dependa de la tarea tenga prioridad alguna.
Los experimentos comparan directamente las etiquetas disponibles para Magikarp en tres configuraciones de modelo. No se trata de una repetición cara a cara de los cinco sistemas bajo un oráculo contextual compartido, por lo que no se hacen afirmaciones sobre el rendimiento comparativo ni la eficiencia de dichos sistemas.
La rareza es una explicación alternativa. Yu et al. (2022) analizan cómo los gradientes que actúan sobre las incrustaciones de tokens raros pueden provocar degeneración en las representaciones. Esto motiva la comparación con características superficiales relacionadas con la rareza, pero no resuelve el historial de entrenamiento ni el mecanismo causal de los tokens en cuestión. La característica token-ID utilizada aquí es solo un indicador del orden del vocabulario y no mide la frecuencia de preentrenamiento.
Configuración experimental
Modelos y muestras
Los principales experimentos de copiado abarcan ocho modelos de peso abierto en dos familias: un modelo OLMo-2 y siete modelos Qwen de tres generaciones. Un estudio de representación separado utiliza Pythia-1.4B y se considera un experimento auxiliar, por lo que las conclusiones del estudio de copiado con los ocho modelos no deben asumirse aplicables a Pythia ni a otras familias.
La muestreo se realiza de forma estratificada según el rango de ID de token dentro de cada vocabulario. Los modelos Qwen utilizan entre 4,200 y 8,400 IDs cada uno, mientras que OLMo-2-7B tiene una muestra inicial de 2,098 y una muestra de replicación de 6,273. Cada token muestreado se incluye en todos los contextos de su ejecución. Los contextos provienen de bancos de secuencias aleatorias de palabras comunes, siendo cada palabra apta por sí sola para la prueba de copiado. Las longitudes de las secuencias son 8, 16, 32 y 64, y el objetivo ocupa una posición intermedia aleatoria. Dichas secuencias son listas de palabras controladas y no prosa gramatical.
El tamaño del vocabulario se cuenta como filas de embeddings, y los dos modelos más grandes, Flash-Next y 235B, funcionan a partir de puntos de control FP8. El equipo OLMo (2025) y el equipo Qwen (2025a, 2025b, 2026a, 2026b) documentan estas familias de modelos. El tokenizador, la arquitectura, el entrenamiento, el enmarcado y la precisión varían entre configuraciones, por lo que la escala de modelos es en realidad un conjunto de réplicas y no permite aislar el efecto del número de parámetros.
Protocolo de copiado e identidad de tokens
Cada comando de copiado incluye dos demostraciones y luego una secuencia que contiene el objetivo a copiar. La sonda de aislamiento reutiliza ese mismo modelo con el objetivo como único texto. Los comandos se construyen a partir de IDs de tokens, lo que mantiene constante el ID del objetivo mientras todo lo demás cambia.
Esa elección separa el comportamiento del modelo de la re-tokenización. Añadir un espacio a una cadena de tokens decodificados puede cambiar la forma en que se segmenta antes de que el modelo la vea. Insertar IDs directamente evita esta confusión, pero también permite secuencias que un tokenizador normalmente no generaría a partir de una cadena común. Por lo tanto, la copia con ID exacto se distingue de la preservación de la cadena, y las afirmaciones sobre su uso en textos cotidianos son limitadas en consecuencia. El ejemplo canónico de according muestra que el efecto no se limita a cadenas no canónicas.
El profesor forzador proporciona el prefijo copiado esperado antes de que se lea la posición de salida del destino durante la distribución. Se denomina q0(t) a la probabilidad que el modelo asigna al ID de destino t en la sonda de aislamiento, y q(t,c) a la probabilidad en la posición de coincidencia dentro del contexto c. Un valor bajo indica un escaso apoyo para el token requerido, incluso después de un prefijo correcto. No permite saber qué haría una continuación libre una vez que se ha producido un error anterior.
Las configuraciones de Qwen3.8 colocan las instrucciones, las demostraciones y el texto final en el turno del usuario en el template de chat, inician el turno del asistente con Copy: y mantienen el modo de pensamiento desactivado. Todas las demás ejecuciones utilizan una secuencia raw de few-shot, y el encuadre nunca varía dentro de un mismo modelo. Esto es importante: bajo el formato raw, los modelos Qwen3.8 suelen comenzar una nueva línea y modifican la forma en que se tokenizan los espacios iniciales. De 2,000 pruebas con palabras comunes, 3 tienen éxito con el formato raw, mientras que el encuadre de chat funciona 1,921 veces en el modelo de 27B y 1,925 veces en Flash-Next.
Frágil comportamiento y la pantalla de probabilidad
Se define la predicción codiciosa del modelo en la posición de copia del objetivo, teniendo en cuenta el prefijo impuesto por el modelo maestro. La tasa empírica de error de copiado en un conjunto de contextos de m contextos corresponde entonces a la fracción en la que dicha predicción no coincide con el objetivo. Un token comportamentalmente frágil falla en la prueba aislada indicada y sigue cometiendo errores contextuales, mientras que una clase cuantitativa también establece un umbral para la tasa de error. El fracaso de toda una secuencia copiada representa un resultado diferente, ya que los errores pueden ocurrir antes o después de la posición del objetivo.
En su lugar, los experimentos agregados se ejecutan en una pantalla de probabilidad relacionada. La puerta de aislamiento principal permite el paso de tokens cuya probabilidad de aislamiento q0(t) supera 0.5, lo que hace que t sea el único resultado obtenido mediante el método codicioso. Esa condición es suficiente para un proceso codicioso aislado, aunque algunos procesos no cumplen con ella. Una puerta más estricta, aplicada en el análisis de sensibilidad de OLMo, exige que ln q0(t) sea superior a -0.1, o que q0(t) sea superior a aproximadamente 0.905.
Una celda es marcada por la pantalla contextual cuando ln q(t,c) es inferior a -0.5, lo que significa que q(t,c) está por debajo de aproximadamente 0.607. La puntuación de susceptibilidad de un token corresponde a la fracción de sus contextos que han sido marcados. Los candidatos que pasan la puerta obtienen una puntuación de 0.10 o más, los controles estables obtienen exactamente cero, y los tokens intermedios forman un grupo intermedio. Para conjuntos de 24 contextos, un candidato necesita al menos 3 celdas marcadas, y para conjuntos de 48, al menos 5.
La tasa de detección y la tasa de error no deben combinarse. Imagine un token con una probabilidad de 0.55, tanto por sí solo como en contexto: supera la barrera principal y también es marcado en el contexto, sin embargo su probabilidad no disminuye y su resultado obtenido mediante el método greedy es correcto. Por lo tanto, la prevalencia de detección reportada no constituye ni una estimación de la prevalencia conductual ni un límite superior para ella. La barrera estricta elimina esa superposición específica, pero una probabilidad contextual inferior a 0.607 aún no demuestra que el valor argmax esté equivocado. Los especímenes decodificados sirven para mostrar errores reales, y los resultados de probabilidad agregada siguen siendo etiquetados como mediciones de detección.
Clases de referencia y especímenes almacenados
Para OLMo-2-7B existe una referencia independiente de 442 tokens con errores verificados por Magikarp. Ninguno supera la principal barrera de aislamiento, y su puntuación contextual promedio en el banco inicial es de 0.993. Otros modelos carecen de tales etiquetas, por lo que sus conjuntos de referencia combinan un aislamiento deficiente con una puntuación contextual de 0.90 o más. Se necesita esta condición contextual porque un rendimiento de aislamiento débil podría deberse al formato de la instrucción y no a problemas persistentes de copiado.
Cada token inspeccionado aporta tres de sus celdas contextuales peores más una celda de control al almacén de ejemplos. Un registro contiene los IDs del contexto, la ranura de destino, la probabilidad del token esperado, los cinco IDs de salida más probables con sus probabilidades, la entropía y, si se realizó la generación, una continuación por método de codicia. Los campos de procedencia indican el modelo y la versión del punto de control, la precisión, los metadatos de la arquitectura y las versiones del software. Dichos registros permiten realizar estudios de caso. Dado que seleccionan las celdas peores, no pueden mostrar cómo se distribuye la confianza entre todos los errores contextuales.
Los fallos se clasifican de manera descriptiva en eliminación, sustitución, truncamiento y traducción, indicándose la conversión de escritura cuando ocurre. Para considerar algo como una eliminación se requiere evidencia de que el modelo pasa al siguiente texto, ya que una lectura aislada del token principal no puede revelar cómo se desarrolla toda la continuación. Una entropía inferior a 2 bits sirve únicamente como etiqueta para una distribución almacenada concentrada. No constituye una medida calibrada de la corrección de la tarea ni de si un modelo manifestará dudas.
¿Hasta qué punto son susceptibles las pasadas de aislamiento?
Prevalencia en el análisis
Con la puerta principal, las tasas de candidatos varían desde el 0.4% en Flash-Next, donde 15 de 4,047 tokens cumplen los requisitos, hasta el 10.9% en Qwen3-235B, con 684 de 6,277. El vocabulario muestreado, la puerta, la distribución del contexto y el umbral influyen en este rango, y no permite estimar ni la prevalencia en textos naturales ni la proporción de tokens que pueden repetirse de forma reiterada.
La puerta estricta hace que OLMo-2-7B tenga 14 candidatos de 873 tokens en el primer grupo (1.6%) y 29 de 1,888 en el grupo de replicación (1.5%). Su probabilidad de aislamiento está muy por encima del umbral contextual, por lo que sirven como verificación de la superposición entre los dos umbrales. La tasa de errores verificados en argmax aún debe medirse directamente.
Al limitar la comparación a los IDs compartidos entre modelos, se mantiene parte de la diferencia entre las configuraciones. Tomemos los 1,592 IDs que superan ambas pruebas en Qwen3-1.7B y Qwen3-235B: los candidatos representan el 2.0% de ellos en el primero y el 6.2% en el segundo. En cuanto a los 1,569 IDs compartidos por Qwen3-32B y Qwen3-235B, esa cifra es del 0.8% y el 4.3%, respectivamente. Esto reduce las diferencias en el muestreo, pero no permite distinguir entre la escala y la arquitectura, la precisión o el entrenamiento.
Reproducibilidad y el papel del contexto
Las puntuaciones por token de las dos mitades del contexto presentan una correlación de 0.82 a 0.95 en los ocho modelos. Una replicación más rigurosa con Qwen3-32B duplica la muestra y utiliza un banco de contexto nuevo. Las puntuaciones de los 4,200 IDs compartidos entonces muestran una correlación de 0.984, y 12 de los 15 candidatos originales siguen cumpliendo los requisitos. Volver a calcular las matrices almacenadas para Qwen3-32B y Qwen2.5-72B en otro hardware reproduce el 99.9% y el 99.6% de las celdas, con correlaciones de puntuación a nivel de token de 0.9999 y 0.9996, respectivamente.
La descomposición de la varianza de la primera matriz OLMo asigna el 95.2% al token, el 0.1% al contexto y el 4.7% al residual. En el grupo de puerta estricta, la distribución es del 71.7%, aproximadamente cero y el 28.2%. Esa gran disminución en la proporción correspondiente al token es importante: en toda la muestra, gran parte de la variación simplemente separa los tokens gravemente defectuosos de los fiables, mientras que una cantidad considerable de variación no explicada permanece dentro del grupo con puerta.
Todo esto respalda una susceptibilidad reproducible a nivel de token bajo la distribución muestreada, y no demuestra que el contexto desencadenante sea irrelevante. Un pequeño efecto principal del contexto significa que no existe un portador que sea difícil para todos los tokens, lo cual es compatible con una fuerte variación de token a contexto. En consonancia con ello, predecir las celdas OLMo no utilizadas a partir de la puntuación de un token en otro lugar arroja un AUROC de 0.94, frente a 0.56 según la dificultad que presentó el portador para otros tokens. Las características de similitud token-contexto no aportan nada.
La longitud es importante para ciertos grupos. En la muestra de OLMo con filtro estricto, las tasas de celdas marcadas son 0.005, 0.008, 0.008 y 0.008 en longitudes de 8, 16, 32 y 64. En los candidatos Qwen2.5-72B, los portadores más cortos marcan el 33 % de las celdas y los más largos el 52 %. Por lo tanto, el ranking de la susceptibilidad es más claro que las condiciones que causan un error específico.
Frente a las etiquetas de Magikarp publicadas
Al compararlos con los registros disponibles de Magikarp, ninguno de los candidatos en las tres comparaciones de modelos es un token de error verificado. La mayoría se consideran aceptables según ese procedimiento, y algunos se clasifican como indecodibles, lo cual no debe interpretarse como que están certificados como sanos. Algunos ya habían formado parte del conjunto de candidatos geométricos de Magikarp antes de que su verificación de comportamiento los rechazara. La comparación Qwen2.5-7B utiliza 294 candidatos y el resumen de la selección 296, ya que los dos análisis se basan en poblaciones diferentes.
Por lo tanto, la revisión contextual detecta comportamientos fuera de los conjuntos verificados de errores. Esto no demuestra que cada candidato contextual sea un verdadero error de copiado, ni que otros detectores los pasen por alto en sus propias tareas de evaluación. Cuantificar esa afirmación más amplia requiere una comparación con un oráculo común.
Errores demostrados y concentración
El caso according ya demuestra un error real de copia a pesar de un éxito aislado casi seguro, y otros casos almacenados muestran un comportamiento similar en diferentes lenguajes y configuraciones. La puntuación de un espécimen resume un token en todo su conjunto, mientras que la emisión mostrada es un caso seleccionado, por lo que ambos tienen un peso diferente como evidencia. Los espécimes son ilustrativos y no proporcionan ninguna frecuencia para ningún modo de fallo.
En las siete configuraciones de Qwen, la proporción de espécimes fallidos almacenados seleccionados con entropía inferior a 2 bits varía del 14 % al 74 %. Algunos errores ocurren bajo distribuciones altamente concentradas y otros bajo distribuciones difusas. Los registros respaldan la existencia de errores seguros, pero no respaldan ni la afirmación de que los errores contextuales suelen ser seguros ni la afirmación de que nunca van acompañados de incertidumbre.
Geometría de incrustación y predicción
Puntuaciones y su costo
El análisis geométrico determina si los candidatos se relacionan de manera medible con el conjunto de referencia de errores del modelo. Para un token t, se toma su fila e(t) en la matriz de incrustación de entrada o salida y se encuentran los cinco tokens de referencia con la mayor similitud coseno en ese espacio. La puntuación de proximidad resume la similitud con esos cinco. Una segunda puntuación proyecta la incrustación de entrada sobre la línea que va desde el promedio del vocabulario hasta el promedio de las incrustaciones de referencia de errores, de modo que la proximidad es local y la proyección global. Una vez existen el conjunto de referencia y las incrustaciones, ninguno de ellos necesita un proceso de procesamiento para un nuevo token. Sin embargo, la construcción de un conjunto de referencia sometido a pruebas de comportamiento sí requiere ejecuciones del modelo, y ese costo forma parte de cualquier proceso de comparación de descubrimiento desde el inicio hasta el final.
El análisis de predicción ajustado compara cuatro niveles de características:
- Parámetros de superficie: ID del token, longitud de los caracteres de la cadena decodificada, y si cuenta con un espacio al inicio, si es alfabética o si es ASCII.
- Estático: normas de fila y distancias de centroide para las representaciones de entrada y salida, similitudes de vecino más cercano, una puntuación propia de entrada-salida directa con margen frente a la competencia, y la proyección en dirección al error. La puntuación de proximidad de cinco vecinos no forma parte de esta categoría según la evaluación realizada.
- Dinámico: resúmenes de la representación de la posición objetivo en la mitad de los contextos, como su dispersión, norma y alineación con la fila de salida del objetivo.
- Comportamental: mediciones de copiado tomadas de esos mismos contextos.
Los niveles dinámico y de comportamiento se utilizan para predecir la etiqueta del candidato tal como aparece en la mitad restante de los contextos. Las ajustes se realizan mediante regresiones logísticas regularizadas con L2 fuera del conjunto de entrenamiento, en comparación con la línea de base superficial mediante bootstrap emparejado. Dado que ambos niveles requieren pasos hacia adelante, no se trata de filtros basados únicamente en pesos, y las etiquetas de la mitad del banco proporcionan conteos positivos, a diferencia de las del filtrado del banco completo.
Enlace a la clase de referencia de errores
La proximidad se midió por separado en los espacios de entrada y salida. Elegir el mejor de los dos espacios para cada modelo arroja AUROCs que van de 0.744 a 0.881 en las siete configuraciones con embeddings no vinculados. Se trata de una elección descriptiva, modelo por modelo, y no del rendimiento de una puntuación predefinida aplicada de la misma manera en todas partes. Los valores más bajos en Qwen3-1.7B se mantienen en el informe.
El espacio que transporta la señal depende del modelo. OLMo-2-7B obtiene una puntuación de 0.846 en proximidad de entrada y 0.528 en proximidad de salida, mientras que Qwen2.5-72B muestra lo contrario: 0.685 frente a 0.798. Una única dirección global no siempre es suficiente, ya que solo arroja 0.599 en Qwen2.5-72B, pero en Qwen3-32B alcanza 0.898, superando así ambas puntuaciones de proximidad. Por lo tanto, las asociaciones geométricas dependen del modelo, y no existe una forma universalmente válida.
Al reemplazar el conjunto de referencia con errores por un conjunto estable aleatorio del mismo tamaño, los valores promedio de AUROC oscilan entre 0.41 y 0.55 en diez extracciones. Por lo tanto, los conjuntos de referencia estables arbitrarios no reproducen el ranking reportado. La comparación no distingue entre la proximidad de los errores y otras explicaciones como la rareza, la densidad de incrustación local o la forma en que se eligió el conjunto de referencia. De hecho, una línea de base basada únicamente en el ID del token supera a ambos índices de proximidad tanto para Qwen2.5-72B como para Qwen3-235B.
No se puede juzgar el efecto del emparejamiento de pesos a partir de las cifras de Qwen3-1.7B, ya que ese modelo es la única configuración emparejada en el estudio, y sus índices de proximidad de entrada y salida difieren a pesar de que se describa como emparejado. Esa discrepancia impide una interpretación clara de su arquitectura.
Posición de los candidatos en una proyección
Los candidatos se encuentran más allá de las concentraciones visibles de la clase de referencia de errores. Las proyecciones UMAP de las filas de embeddings de salida bajo distancia coseno (McInnes et al., 2018) muestran puntos rojos de candidatos dispersos en grandes extensiones de la población de fondo gris en Qwen3-1.7B, Qwen3.8-27B y Qwen3-235B, mientras que los puntos negros de referencia permanecen relativamente agrupados. Qwen2.5-7B y OLMo-2-7B muestran candidatos tanto junto a los clústeres de referencia como entre los puntos grises. Los colores codifican las etiquetas de filtrado y de referencia, y no verifican cada punto trazado de forma independiente.
Li y colaboradores (2024) observan que los tokens de error tienden a agruparse en el espacio de embedding, y esa observación motiva el clustering iterativo de grafos en GlitchHunter. Las proyecciones aquí plantean una pregunta sobre su alcance: ¿se puede aplicar la geometría de una clase de referencia de error también a los candidatos contextuales que superan la condición de aislamiento? Los puntos rojos dispersos sugieren que los clusters de referencia visibles describen solo parcialmente a esta población condicional.
Tang y colaboradores (2026) también detectan agrupamiento, respaldándolo con comparaciones de distancias euclidianas y entropía realizadas en Llama2-7B-chat y Mistral2-7B-it, y lo relacionan con una pobre diferenciación en la capa de incrustación de entrada. Las proyecciones basadas en coseno de las incrustaciones de salida no prueban directamente ese aspecto. Los modelos no vinculados requieren una evaluación separada de las matrices de entrada y salida, y una proyección de salida dispersa no puede demostrar que las incrustaciones de entrada estén libres de la aglomeración reportada.
Esto coincide con los resultados de proximidad anteriores. Una población puede extenderse por varias regiones y, aun así, encontrarse cerca de los tokens de referencia a nivel local; por lo tanto, una puntuación de clasificación útil no necesita un clúster de candidatos separado. UMAP también distorsiona la densidad y puede crear separaciones artificiales (desarrolladores de UMAP, s.f.), por lo que los paneles no excluyen la posibilidad de realizar clustering en el espacio original. Una prueba directa compararía los vecindarios y la cobertura de fallos contextuales en el espacio original en los mismos puntos de control, con espacios de embedding coincidentes, métricas coincidentes, errores verificados de forma independiente y etiquetas de cada método de evaluación.
Valor más allá de las características superficiales
En las etiquetas de contexto parcial no procesadas, las características estáticas superan a la línea de base básica, mostrando un intervalo positivo en Qwen2.5-7B, OLMo-2-7B y Flash-Next; no presentan mejora en otros cinco modelos y un intervalo negativo en Qwen2.5-72B. Las características dinámicas las superan, con intervalos que excluyen cero, en cinco modelos: OLMo-2-7B, Qwen3.8-27B, Flash-Next, Qwen2.5-72B y Qwen3-235B. Esto vincula las representaciones contextuales con la susceptibilidad más allá de lo que capta la línea de base básica. No hace que un procedimiento basado en representaciones sea más económico que medir la copia directamente bajo los mismos contextos.
El nivel de comportamiento alcanza un AUROC de 0.945 a 1.000. Esto coincide con las correlaciones de división en mitades: observar un token en algunos contextos permite predecir su etiqueta de clasificación en otros contextos generados por el mismo proceso. Esto demuestra reproductibilidad, pero como las etiquetas y las características comparten una misma tarea de copiado y una distribución de contextos idéntica, el rendimiento en nuevas distribuciones de texto natural sigue sin medirse. Los objetivos son etiquetas de clasificación probabilística y no etiquetas de error argmax verificadas de forma independiente.
La preselección geométrica es plausible para decidir qué probar primero, pero nada aquí demuestra un descubrimiento de alta precisión con un presupuesto fijo. AUROC mide el ranking y no la precisión de la lista corta seleccionada. Para demostrar un descubrimiento práctico se necesitarían una puntuación y un conjunto de referencia fijados primero, candidatos que no se superpongan, un presupuesto para la verificación del conjunto, y una comparación con datos aleatorios, además de una selección basada en ID de tokens y detectores existentes evaluados según el mismo resultado de comportamiento.
Qué sobrevive en la generación y las tareas
Generación libre
Las sondas de generación libre verifican si un modelo mantiene un token proporcionado mientras lo describe o responde a él. La ejecución de OLMo solicita una identificación exacta además de una explicación y luego proporciona el prefijo Deje que lo piense cuidadosamente. Otras configuraciones colocan el token por sí solo en el turno del usuario del template de chat. La generación se detiene en 256 tokens. Debido a las diferencias en el enmarcado, los conteos no pueden considerarse como una comparación en una escala controlada.
Se necesitan dos medidas de reproducción. Una verifica si el ID de la semilla aparece en algún lugar entre los IDs generados, y la otra si la cadena de semilla decodificada aparece en algún lugar de la salida, incluso con una segmentación diferente. Ninguna de ellas demuestra una identificación correcta ni una reproducción fiel de la secuencia completa solicitada. En Qwen2.5-72B, ninguna de las 32 semillas de peor aislamiento vuelve a aparecer con su ID original, pero 12 sí lo hacen como cadenas, ya que una semilla como _ghost puede ser escrita con varios tokens de salida.
Con la generación disponible, la tasa de preservación de cadenas de los candidatos es inferior a la tasa de control en cuatro de cinco comparaciones, empatando en Qwen3-32B. Las tasas de Exact-ID son menos uniformes: en Qwen2.5-7B hay empate, mientras que en Qwen3-32B los candidatos aparecen 8 veces de 14 y los de control 7 veces de 14. Incluso un candidato puede volver a aparecer aunque haya sido identificado incorrectamente. La vulnerabilidad depende evidentemente de la tarea, y no existe una imposibilidad generalizada para emitir el token del candidato.
Las semillas seleccionadas como las 32 peores de forma aislada para las pruebas de generación independiente no deben confundirse con referencias a errores causados por el contexto. Las verificaciones forzadas por el “teacher” otorgan al token esperado una probabilidad de al menos 0.5 en el 71% de las 768 celdas de Flash-Next y solo en el 0.1% de las celdas de Qwen3-235B. Tal discrepancia es otra razón más para verificar el comportamiento de un conjunto de referencias en el contexto relevante.
La generación libre, las pruebas de tarea y las continuaciones de ejemplos no se ejecutaron en las dos mezclas FP8, ya que la pila de evaluación necesitaba aproximadamente siete segundos por token generado y los costos de cómputo se pagaban de forma personal. Por lo tanto, sus observaciones de token siguiente no deben considerarse como rastros de razonamiento generado. Tampoco se realizó la generación sin candidatos en Qwen2.5-72B.
Instrucciones que exigen una redacción exacta
Cinco plantillas de instrucción obligan al modelo a mantener la cadena objetivo intacta: nombrar una función de Python, citar el título de un documento, devolver un elemento de lista, corregir ortografía y resumir manteniendo los nombres propios. Diez tokens seleccionados por clase, modelo y tarea generan 50 episodios por clase, y los tokens se introducen por su ID a través de la plantilla de chat.
La métrica principal verifica si la respuesta contiene la cadena objetivo, un criterio deliberadamente más estricto que la corrección de la tarea. Ignora si el código es válido, si el nombre de una función es un identificador válido y si el resumen es fiel en otros aspectos. La tarea de ortografía también permite la normalización, por lo que su tasa depende de la redacción utilizada.
Los candidatos sobreviven con menos frecuencia que los controles en las cinco configuraciones. Los intervalos de episodio-bootstrap excluyen el valor cero en cuatro de ellas (OLMo-2-7B, Qwen3.8-27B y ambos modos de Qwen3-32B), siendo Qwen2.5-7B la excepción. La completación grosera se mantiene entre 0.96 y 1.00, mientras que la preservación de cadenas varía, por lo que un trabajo que parece terminado no demuestra nada. Cada token se repite entre tareas, lo que limita su independencia.
Las transcripciones hacen concreto ese vacío. OLMo-2-7B, al recibir la solicitud de una función llamada according, escribe sum_list, reescribe according como correct en el modelo de ortografía, y responde LocalizableString cuando el segundo elemento de la lista es NSLocalizedString. Qwen3-32B convierte realtà en reality en la tarea de ortografía. El formato de la tarea permanece en estas respuestas mientras el contenido designado cambia.
Herramientas simuladas
El experimento con la herramienta plantea cinco tareas relacionadas con un término objetivo: investigar una clave de configuración, redactar una nota de contexto, recomendar si adoptar una tecnología, explicar un término y verificar una versión. Se permiten hasta seis rondas con las funciones search, open_page y run_python, y diez tokens por clase, lo que da un total de 50 episodios por configuración.
El entorno está conectado al token proporcionado. Al buscar su cadena exacta se obtienen documentación, notas de versión y una página de problemas, mientras que cualquier otra búsqueda devuelve resultados irrelevantes y páginas genéricas. Esto verifica si el término objetivo llega realmente a una llamada a la herramienta y no simula fallos de recuperación en un motor de búsqueda real. Los modelos Qwen utilizan sus plantillas de herramientas nativas, mientras que OLMo emplea un protocolo textual, lo que dificulta aún más la comparación entre modelos.
En modo simple, Qwen3-32B mantiene los objetivos estables en el 96 % de las consultas iniciales y de las respuestas finales, los candidatos en el 74 % de las consultas iniciales y en el 68 % de las respuestas finales, y los objetivos de referencia por fallos en ninguno de los 50 episodios. Algunas respuestas continúan a partir de material genérico recuperado después de que el término desaparezca o cambie en la consulta inicial.
En Qwen3.8-27B, el contraste en las consultas iniciales es similar, mientras que el comportamiento en la completación es diferente. En modo simple, solo el 14 % de los episodios con fallos finalizan dentro del límite de rondas, en comparación con el 66 % de los controles estables y el 58 % de los candidatos; además, las llamadas a herramientas idénticas se repiten en el 28 %, 10 % y 14 % respectivamente. El modo de razonamiento modifica esas tasas así como la línea base estable. Por lo tanto, perder el objetivo puede terminar en una respuesta genérica completada o en el uso repetido de herramientas, dependiendo de la configuración.
Los datos no demuestran una invención generalizada de hechos específicos recuperados. Los números de versión fabricados aparecen solo entre 0.00 y 0.02 por clase y configuración, con celdas no nulas dispersas tanto en los grupos relacionados con errores como en los de control. El efecto más evidente es la pérdida del objetivo literal de una consulta o respuesta. Los conjuntos de tokens seleccionados, las plantillas repetidas y el entorno construido limitan la generalización a sistemas autónomos que realizan tareas naturales.
Un resultado negativo en nombres propios
Otro experimento utiliza materiales cotidianos: 1,255 identificadores de código reales y nombres propios aparecen en una tarea natural. Evaluar qué tan frágiles son sus tokens componentes no aporta beneficios para predecir un nombre de entidad incorrecto, una vez controlados la rareza, las puntuaciones de aislamiento de componentes y la probabilidad del modelo para toda la entidad. El AUROC cambia en -0.001, con un intervalo del 95% de -0.008 a +0.006.
Eso limita hasta qué punto los hallazgos sintéticos pueden aplicarse en la práctica. La evidencia no demuestra que la puntuación contextual explique los errores en los nombres de entidades naturales más allá de los predictores existentes, ni que la rareza cause alguno de estos resultados, ni que se haya descartado todo posible vínculo entre la fragilidad de los tokens y las alucinaciones. La conclusión lógica es que este experimento no revela ninguna capacidad predictiva adicional.
Análisis complementarios
Pares de tokens
Un experimento de copiado factorial busca determinar si los pares de tokens causan más daño que sus componentes por separado. Los portadores cuentan con dos espacios a distancias de 2, 4, 8, 16, 32, 64 y 128, cada uno con dos rellenos independientes. Cada par ordenado se prueba de cuatro maneras: con ambos objetivos presentes, con solo uno de ellos junto a un control, y con controles solos. El contraste de interacción es la puntuación conjunta menos las puntuaciones de cada objetivo individual más la puntuación del control.
El modelo utiliza un enfoque aditivo dentro de cada portador, estandariza los residuos, permuta los datos dentro de los portadores y aplica la corrección de Benjamini-Hochberg a un nivel de significancia de q = 0,05 (Benjamini y Hochberg, 1995). Su criterio de conteo determina la cantidad de pares rechazados en comparación con el percentil 95 obtenido a partir de veinte conjuntos de datos simulados en los que las interacciones son puramente aditivas. Ningún conjunto pasa la prueba: cada conjunto OLMo rechaza 1 de cada 4.032 pares, Qwen3-32B rechaza 13 de cada 1.190 y Qwen3-235B rechaza 1 de cada 2.256.
Eso no equivale a ninguna interacción. Las pruebas basadas en estadísticas máximas son significativas para los conjuntos OLMo y Qwen3-32B, mientras que Qwen3-235B presenta un valor p de 0.059. Los criterios analizan diferentes aspectos de la distribución de interacciones, por lo que ambos se incluyen en el informe. Los contrastes de tokens repetidos arrojan valores promedio positivos, lo que indica una facilitación en estos modelos, con +0.005 para OLMo a una separación de 2 y +0.018 a 128. Nada de esto demuestra aditividad universal, la ausencia de combinaciones dañinas raras ni un mecanismo basado en inducción, y los valores positivos pueden ocultar interacciones negativas en pares individuales.
En los conjuntos mixtos, cinco tokens de OLMo causan el 47% de los fallos en los modelos, mientras que cinco tokens de Qwen3-32B causan el 57%. Tal concentración hace que la susceptibilidad a nivel de token sea un resumen útil; sin embargo, los fallos que no se repiten en los elementos de relleno indican que dicho resumen no es independiente del contexto.
¿Sigue existiendo la identidad?
En el experimento Pythia-1.4B, 36 tokens de error verificados y 1,088 controles se colocan al final de ocho contextos cada uno (Biderman et al., 2023, describen el modelo). En cada capa, el modelo intenta coincidir el estado contextual de un token con su estado en otro contexto entre 1,124 candidatos, después de restar la componente compartida dentro de cada contexto. Los tokens de error coinciden perfectamente desde la capa de embedding hasta la capa 12, mientras que los controles coinciden entre 0.988 y 1.000. En la última capa, la precisión disminuye a 0.880 y 0.874. Por lo tanto, aún se puede recuperar mucha información sobre la identidad. Un ejemplo con lente logit también favorece continuar con un token de error, depress seguido de ant, en lugar de reproducir el token de entrada.
La recuperabilidad no es una localización causal del fallo. El experimento no puede demostrar que la copia utilice la información recuperable, que la identidad se preserve perfectamente o que solo la capa de salida sea la responsable; además, se refiere a tokens con errores de Pythia etiquetados de forma independiente y no a los candidatos de ocho modelos. Distinguir una lectura deficiente de una competencia dependiente del contexto requeriría intervenciones causales.
Qué respaldan las pruebas y hasta dónde llegan
El hallazgo central es una brecha reproducible entre el éxito en la copia aislada y la susceptibilidad contextual. Los bancos compartidos permiten estimar una tendencia por token sin tener que buscar un contexto adverso para cada uno de ellos. Los ejemplos decodificados demuestran que algunas discrepancias son errores de copia literales, y los experimentos de tarea muestran que algunos candidatos pierden su identidad fuera del modelo de copia. Las asociaciones de incrustación vinculan a este grupo de estudios con trabajos anteriores sobre tokens defectuosos, pero su valor añadido desigual descarta tratar la geometría como una explicación completa o como un detector validado.
Varios límites definen el alcance de este estudio.
- Una clase probabilística. Los candidatos se definen mediante un umbral de probabilidad, y la relación entre dicho umbral y el error real de decodificación es solo parcial. Los resultados obtenidos bajo criterios estrictos y mediante continuaciones analizadas refuerzan el caso, pero no sustituyen a un análisis de argmax a nivel poblacional; además, una mejor estimación de prevalencia debe tener en cuenta el resultado de aislamiento y la identidad del contenido contextual de cada celda.
- Portadores artificiales. Los portadores basados en listas de palabras son artificiales, y el enmarcamiento específico del modelo afecta lo que se mide. La inserción directa de identificadores determina con precisión la identidad del objetivo, pero puede generar entradas que un tokenizador no produciría. Las tareas con cadenas de texto ayudan en parte, y la prueba más sólida relacionada con entidades naturales arrojó un resultado negativo tras los controles existentes. Nada permite extrapolar la prevalencia al texto cotidiano ni tratar una puntuación como una propiedad de token sin contexto.
El siguiente paso más directo es corregir cuatro aspectos con antelación (prueba de aislamiento, puntuación del candidato, construcción de referencia y distribución de contexto) y luego probar con datos no relacionados. Informar sobre el error argmax en la posición objetivo, la precisión en la copia de secuencias completas y la preservación de cadenas exactas, además de las puntuaciones de probabilidad, vincularía la sensibilidad del proceso de selección con los fallos que las personas pueden observar. Las afirmaciones sobre un descubrimiento se verían mejor respaldadas por la precisión y el recuerdo dentro de un presupuesto de verificación fijo que por el AUROC retrospectivo por sí solo.
Qué se necesita para una reproducción
Para una reproducción se necesitan revisiones del modelo y del tokenizador, los IDs de tokens muestreados, IDs de contexto completos con espacios de inserción, estructuración de los prompts, umbrales, precisión numérica y código de puntuación, además de matrices específicas para cada ejecución y metadatos del entorno. Los pesos nunca se modifican. La figura de proyección también requiere IDs graficados, máscaras de clase, preprocesamiento de embeddings, parámetros y semillas de UMAP, y la cobertura de generación está limitada a las configuraciones reportadas explícitamente.
El número de candidatos difiere entre los análisis. El resumen de la selección indica 296, 418 y 684 para Qwen2.5-7B, Qwen2.5-72B y Qwen3-235B, un apéndice muestra 294, 417 y 682, y cada análisis mantiene sus propios números. Las cifras de predicción de half-bank difieren aún más, ya que sus etiquetas utilizan otros contextos. Para cerrar exactamente las brechas restantes se necesitan los manifiestos de tokens y las máscaras de exclusión.
El protocolo registrado fue modificado en el transcurso del proceso: la puerta de aislamiento, el tamaño de la muestra, el filtro de semillas imprimibles y la puntuación a nivel de cadena cambiaron todos. La toma de muestras sigue los conteos de filas de incrustación, por lo que el relleno disminuye la superposición de IDs entre las muestras de Qwen2.5 y Qwen3, y la escala de IDs coincidentes dentro de Qwen2.5 nunca se probó. Estas decisiones forman parte de la especificación experimental y limitan la lectura entre modelos diferentes.
Plantillas de prompt y pruebas
Las etiquetas cortas utilizadas anteriormente omiten los sufijos de instrucción y cuantización. Las revisiones exactas de los puntos de control y los tokenizadores, los cambios en el cargador y las versiones del entorno deben incluirse en los manifiestos de ejecución.
La plantilla de copiado comienza con una instrucción breve:
Repeat the text exactly.
Siguen dos pares de demostración y el espacio de texto final. El prefijo copiado final es impuesto por el profesor y la probabilidad objetivo se lee en su posición de copia. Las frases entre corchetes en la plantilla original describen inserciones experimentales y no son texto de prompt literal:
Text: apple pie is goodCopy: apple pie is goodText: the quick brown foxCopy: the quick brown foxText: <context containing the target ID>Copy: <teacher-forced expected prefix>
Para el aislamiento, el espacio de texto final solo contiene el ID de destino. Con Qwen3.8, la instrucción, las demostraciones y el texto final forman parte de la turno del usuario; el marcador de copia inicia el turno del asistente y la función de razonamiento está desactivada. Los delimitadores tokenizados forman parte de la especificación de ejecución, ya que una cadena de prompt decodificada no determina por completo la secuencia de IDs.
El prompt de identificación de OLMo pregunta cuál es el token, con el fin de identificarlo con precisión y luego explicar paso a paso su significado:
What is this token? Identify it exactly, then explain step by step what it means: <target ID>
El prefijo del asistente es Permítanme pensar cuidadosamente en esto. Las pruebas con tokens simples separados colocan al usuario en su turno dentro del plantilla de cada modelo, y las configuraciones de tipo “normal” y “de reflexión” se consideran distintas. Una reproducción es cualquier aparición en la salida, evaluada por su ID exacto y por la cadena decodificada por separado, y no requiere una explicación correcta.
Mayor análisis y detalles geométricos
El tamaño de los conjuntos de referencia varía según el modelo: 36 tokens en Flash-Next, 442 en OLMo-2-7B, 100 en la mayoría de los modelos Qwen y 50 en Qwen3.8-27B. Un diagnóstico adicional cuenta cuántos de los 100 tokens de aislamiento peores también alcanzan una puntuación contextual de 0.90 o más; esta cifra va de 36 en Flash-Next hasta 78 en Qwen3-32B. Dado que estas cifras provienen de pasos de selección diferentes, no pueden por sí solas reconstruir cada conjunto de referencia, por lo que la máscara completa de la clase negativa debe incluirse en cualquier reproducción.
En OLMo, una puntuación de dirección proveniente de un referencia etiquetada de forma independiente y otra de un referencia sin etiquetas filtrada por contexto ambas alcanzan un AUROC de 0.879, mientras que los 100 tokens de aislamiento peores sin filtrar alcanzan 0.642. Por lo tanto, la construcción de las referencias es una parte empírica del método, y no un detalle intercambiable.
El análisis de predicción de OLMo con filtro estricto presenta 28 etiquetas positivas de tipo half-bank. Las características estáticas alcanzan un AUROC de 0.911, frente a 0.711 para las características de superficie, lo que representa un aumento de +0.202 con un intervalo de +0.096 a +0.320; no obstante, se trata de un análisis de sensibilidad realizado en una población diferente sometida al filtro. Las pequeñas discrepancias entre las diferencias de bootstrap y los AUROCs redondeados restados no pueden resolverse a partir de los resúmenes disponibles.
Las cifras de entropía para los especímenes defectuosos almacenados provienen de las celdas peores seleccionadas, y no de una muestra aleatoria de indicadores o errores; estas cifras describen la distribución en la posición objetivo. No existe un resumen correspondiente para OLMo.
Protocolos de generación y tareas en detalle
En la generación en modo simple, Qwen3-1.7B cuenta con 31 candidatos y Qwen3-32B con 14 tras el filtrado por semilla; además, la ejecución de candidatos con OLMo utiliza un enmarcado de tokens simples, distinto al experimento de identificación por instrucciones. En esa ejecución basada en instrucciones, ningún token con error verificado se reproduce mediante la identificación, mientras que sí lo hacen 17 controles y 11 candidatos, cada uno de ellos de un total de 32; por lo tanto, el cambio en el prompt modifica estas cifras y corresponde a su interpretación.
Las trayectorias no muestran aumento de entropía en comparación con los controles: la brecha de entropía entre glitch-minus-control comienza en +0.27 bits (paso 8) y termina en -0.29 bits (paso 255). El coseno entre pares en el estado final, centrado, tiende a cero en ambos grupos, por lo que no hay señales de un atractor de estado final compartido. Las semillas de peor aislamiento se seleccionan según el rendimiento de aislamiento con un filtro de cadena imprimible y no necesariamente pertenecen a la clase de referencia geométrica. Donde se registraron cadenas, la muestra es pequeña: ocho semillas y ocho controles, en Qwen3-1.7B y en la ejecución de OLMo.
En cada plantilla de instrucción simple, el marcador de posición recibe el ID del token objetivo y no una cadena interpolada y re-tokenizada. Las cinco plantillas son:
- Nombre de la función: escribir una función en Python cuyo nombre sea exactamente el del token que devuelva la suma de una lista de números, solo código.
- Cita del título: cite el título de un documento entre comillas dobles y no escriba nada más; el título servirá como nota sobre el token y asuntos relacionados.
- Recuperación de la lista: en una lista numerada de faroles, tokens, puertos y brújulas, nombre únicamente el segundo elemento.
- Corrección ortográfica: corrija errores en una oración sobre la presentación del formulario del token antes del viernes, o devuélvalo sin cambios.
- Resumen: resuma una reunión del comité en la que el token presentó un presupuesto sin modificaciones, manteniendo los nombres propios tal como están escritos.
Algunas plantillas exigen nombres exactos y la tarea de ortografía permite correcciones, por lo que es importante comparar tarea por tarea. Cada celda se basa en diez episodios por clase.
Las asignaciones de la herramienta solicitan:
- Configuración: un diagnóstico, en dos o tres oraciones, de por qué un servicio ignora una clave de configuración establecida a través de una variable de entorno, mediante búsqueda en documentación, lectura de páginas y una verificación rápida.
- Contexto: una nota de menos de 80 palabras dirigida a quienes están iniciando, con una definición, dos hechos y una página de referencia.
- Adopción: una recomendación sobre si adoptar, probar o evitar dicho token, con dos razones obtenidas mediante herramientas.
- Significado: una explicación para un lector hispanohablante sobre qué significa el término y de dónde proviene, junto con una oración de ejemplo.
- Lanzamiento: una respuesta sí o no, con una oración de justificación, sobre si la versión más reciente modificó la configuración predeterminada.
En el entorno de prueba, una consulta que contiene la cadena objetivo devuelve tres resultados útiles: documentación, notas de lanzamiento para la versión 2.4.1 y un problema abierto; mientras que otras consultas generan páginas genéricas. Las páginas se abren normalmente y la verificación de la biblioteca indica una versión específica. Se trata de configuraciones experimentales que no dicen nada sobre bibliotecas reales relacionadas con las cadenas analizadas. Una ejecución finaliza si se obtiene una respuesta definitiva en seis rondas; se repite si se produce una llamada idéntica; y se considera fabricación de versión si se indica una versión sin soporte de herramientas. Una ronda puede contener varias llamadas.
Los objetivos de tipo Glitch sobreviven a la primera consulta con un valor de 0.02 en ambos modos de Qwen3.8-27B y con 0.00 en las otras cuatro configuraciones; además, sobreviven en la respuesta final con 0.02 en el modo estándar de Qwen3.8-27B y con 0.00 en los demás casos. Estas tasas miden la inclusión léxica y no evalúan la exactitud.
Leer más
- Notas prácticas: ¿Qué es la generación aumentada con recuperación de evidencia (RAG)? Un enfoque práctico — Guía paso a paso de las Notas prácticas: ¿Qué es la generación aumentada con recuperación de evidencia (RAG)? Un enfoque práctico: contratos, verificaciones y espacios para código listo para usar para los equipos que implementan este patrón.
- Reclasificación en RAG: Encoders transversales vs jueces de LLM y su latencia — Cómo un reclasificador de segunda etapa corrige el orden de los resultados en RAG, comparando encoders transversales con jueces de LLM, los costos de latencia, los modos de fallo y cómo evaluarlos.