Tokens frágiles y sustitución silenciosa: una explicación geométrica de algunas alucinaciones
Algunas alucinaciones provienen de tokens dañados o frágiles que son reemplazados por vecinos cercanos antes de que comience el razonamiento. Ejemplos, tasas por modelo y una prueba sencilla.
Fuentes: Hallucinations Related to Glitch and Fragile Tokens
Los usuarios de modelos de código abierto, entre ellos Qwen3.8, informan menos alucinaciones, un mejor seguimiento de instrucciones y una mayor fiabilidad en la ejecución de tareas. No parece existir ninguna métrica publicada que permita aislar las tasas de alucinaciones entre las diferentes generaciones de modelos. Una cosa destaca en la mayoría de las discusiones: rara vez proponen algún mecanismo geométrico. La alucinación tiende a ser considerada como una propiedad difusa que mejora con más entrenamiento, y no como un conjunto de modos de fallo separados que puedan medirse y atribuirse uno por uno.
Al menos un modo de fallo de este tipo puede encontrarse y cuantificarse con antelación.
Una alucinación que se puede verificar directamente
OLMo-2-7B recibió una lista de cuatro elementos y se le pidió que indicara el segundo elemento, respondiendo únicamente con dicho elemento. La lista contenía “lantern”, una palabra en ruso que significa “qué”, “harbor” y “compass”. El modelo respondió con bort, una palabra en ruso que significa aproximadamente “lado” o “costado”.
Nada en la instrucción incluía esa palabra, que es simplemente un término en ruso sin relación alguna con la lista. Fue respondida sin vacilar a una pregunta que solo requería un conteo básico. Qwen3.8-27B recibió la misma tarea con otra palabra en ruso en la segunda posición y respondió “oxtend”, una palabra que no existe en ningún idioma, aparte de lo que parece ser un fármaco en pruebas clínicas. Probablemente eso no era lo que el modelo quería decir, pero en una tarea que requiere toma de decisiones autónomas podría tener consecuencias desastrosas.
Esto es una alucinación en su sentido más estricto: una afirmación segura, específica y falsa sobre información que el modelo podría haber verificado a partir de sus propios datos de entrada. Y a diferencia de la mayoría de las alucinaciones, se puede identificar el origen del error.
Este patrón no se limita a las solicitudes relacionadas con juguetes. En una petición de corrección ortográfica sobre cómo presentar un formulario antes del viernes, el nombre del formulario había sido reemplazado por un carácter chino poco común: Qwen2.5-7B respondió que la ortografía correcta era waiver y no :numel. Ambas palabras eran inventadas: “:numel” nunca apareció en la entrada, y “waiver” tampoco apareció en ningún lugar. En otra prueba, el mismo modelo recibió un verbo hebreo que significa “indicar” y se le preguntó su significado; en lugar de eso, explicó una palabra china que significa “señalador”. A Qwen3-1.7B se le mostró una sílaba coreana inusual, la copió correctamente en la pantalla y luego la denominó un carácter chino que significa completo o abundante.
En ninguno de estos casos el modelo duda, se echa atrás o pide aclaraciones. Las respuestas son fluidas y detalladas, pero nunca abordan la pregunta planteada.
Lo que comparten los casos
La imagen habitual de la alucinación muestra a un modelo que va más allá de los límites de sus conocimientos e inventa algo para llenar ese vacío. Eso sí ocurre, pero no es lo que sucede aquí.
En cada ejemplo, el modelo interpretó mal su entrada y luego razonó correctamente a partir de esa interpretación errónea. No hubo fabricación de información ni límite en los conocimientos. Al modelo se le preguntó sobre un elemento, recibió otro distinto y respondió de manera sensata ante él. Desde el exterior, este comportamiento no se puede distinguir de la invención. Internamente, el modelo no registra ningún error, lo que explica por qué su salida no contiene incertidumbre alguna.
La explicación propuesta es que una pequeña parte del vocabulario de cada modelo está compuesta por tokens dañados. Algunos ni siquiera pueden reproducirse por sí solos, como los tokens defectuosos encontrados tras el descubrimiento de SolidGoldMagikarp en GPT-2. Otros parecen estar bien por separado, pero fallan dentro de oraciones normales, y las mediciones recientes se centran en este segundo tipo. Ante un token frágil o dañado, el modelo no solo genera ruido; tiende hacia una completación segura y con baja variabilidad: un vecino cercano, una forma abreviada o una traducción. Un token chino para “query” aparece como “QUERY” en inglés. “Realtà” en italiano se convierte en “réalité” en francés. Una forma truncada en ruso de “chairman” se transforma en “Przewodniczacy” en polaco, que resulta ser una traducción correcta.
La sustitución por vecino cercano como mecanismo
Al procesar una completación, el modelo puede toparse con un token frágil o dañado a lo largo de su trayectoria de embedding. La lectura posterior lo resuelve reemplazándolo por un vecino válido, y todas las transformaciones siguientes se realizan como si el usuario hubiera escrito ese vecino. La sustitución no es un error del que el modelo se recupere; se convierte en la entrada sobre la cual el modelo razona.
Cada eslabón de la cadena merece ser explicado en detalle, ya que cada uno representa algo que el modelo hace correctamente:
- Un token dañado afecta el proceso de completación.
- Un token sustituido entra en la secuencia, indistinguible de cualquier cosa que haya escrito el usuario.
- Cada paso posterior se calcula a partir de ese sustituto.
- Nada se marca como problema, ya que desde el punto de vista del modelo no ocurrió nada incorrecto.
Una alucinación resulta convincente porque es fluida, segura y específica, y en este caso todas estas tres características provienen directamente de la geometría de los embeddings.
En el caso de la pregunta de lista, esto genera una respuesta como “bort”, que en última instancia no es más que una curiosidad. Las consecuencias para los sistemas agentes son mayores. A Qwen3-32B se le asignó una tarea de investigación y un conjunto de herramientas para ello. Inició una búsqueda, pero la consulta eliminó o modificó tokens, por lo que los resultados fueron irrelevantes; el agente luego citó con confianza esas referencias irrelevantes. En cincuenta pruebas, los tokens en cuestión no aparecieron ni en la búsqueda ni en la respuesta, mientras que los tokens estables sin vecinos frágiles aparecieron en ambos casos en aproximadamente el 96 por ciento de las ocasiones.
También se ven afectadas las palabras cotidianas
Si el efecto se limitara a cadenas poco comunes extraídas, su importancia práctica sería escasa. Sin embargo, se extiende a palabras comunes.
Se toman los tokens conocidos como defectuosos en un modelo y se califica cada otro token según cuán cerca se encuentra de esa región del embedding de salida. Esta calificación permite predecir qué tokens que parecen normales fallarán en oraciones comunes, con un AUC entre 0.72 y 0.83 en seis de los ocho modelos analizados. Una región de referencia aleatoria del mismo tamaño arroja valores entre 0.41 y 0.55.
Los tokens frágiles no necesitan aparecer en absoluto en el prompt; basta con sus vecinos más cercanos. El ejemplo más claro es la palabra en inglés “according”. En OLMo-2-7B se reproduce sola con una probabilidad del 0.999, pero falla en 44 de 48 oraciones comunes. Al darle una oración sobre la presentación del formulario “according” antes del viernes y pedirle que corrija la ortografía, el modelo devolvió una versión con “correct” en su lugar, eliminando una palabra inglesa común y tapando así el error.
¿Qué porcentaje del vocabulario está en riesgo?
La medida corresponde a la proporción de tokens que, de lo contrario, serían correctos, pero fallan al menos en uno de diez contextos diferentes:
Al medir de esta manera, Qwen3.8-Flash-Next alcanza el 0.4 por ciento y Qwen3-32B el 0.9. Qwen3.8-27B llega al 1.5, Qwen3-1.7B al 2.4 y OLMo-2-7B al 2.7. Los modelos más antiguos y de mayor tamaño son mucho peores, con Qwen2.5-7B en el 7.0 por ciento, Qwen2.5-72B en el 10.5 por ciento y Qwen3-235B en el 10.9 por ciento.
Eso representa una diferencia de unas veinticinco veces. Un modelo tiene aproximadamente 1 de cada 250 tokens expuestos, mientras que otro lo tiene 1 de cada 10.
El tamaño del vocabulario no es la explicación. Tomemos únicamente los IDs de tokens presentes tanto en Qwen3-32B como en Qwen3-235B y consideremos que son limpios según cada uno de ellos. Con ese mismo conjunto, el modelo de 235B falla en el 4.3 por ciento de los casos y el modelo de 32B en el 0.8 por ciento, lo que supone una diferencia de cinco veces.
Un mapa del espacio de incrustación hace visible el contraste: cada punto representa un token, y los tokens que el modelo trata de manera similar se encuentran cerca unos de otros. Los tokens afectados están marcados en rojo. El modelo más limpio del conjunto, Qwen3.8-Flash-Next, tiene quince de ellos, mientras que Qwen3-235B cuenta con 682.
La hipótesis
Esta familia de alucinaciones no proviene de una brecha de conocimiento. Un token cae dentro de una región dañada del espacio de incrustación y es reemplazado antes de que comience cualquier razonamiento, por lo que el modelo responde a una pregunta que nadie hizo. La tasa de error debería reflejar cuánto del vocabulario se encuentra en esa región, y las cifras anteriores demuestran que esa proporción varía en más de diez veces entre los modelos actuales.
Si eso es cierto, la menor cantidad de alucinaciones observada en los modelos más recientes podría reflejar un vocabulario más limpio y una geometría de embedding más sólida, y no un conocimiento superior. Qwen3.8 ocupa las dos últimas posiciones en la lista. Todavía no se han publicado métricas de alucinaciones que permitan aislar estas generaciones, por lo que esta idea sigue sin estar verificada.
Otra medición que apunta en la misma dirección
PhantomBench, creado por Haeji Jung y Hila Gonen, reúne más de 60,000 términos y entidades inventadas y las utiliza para probar 21 modelos. Las tasas promedio de fallo al evitar alucinaciones alcanzan el 86.7 por ciento, incluidos los modelos de vanguardia.
Lo que estudia, el comportamiento con entidades que no existen, es funcionalmente similar a cuando se enfrenta a un token dañado. Los autores indican que las respuestas a conceptos inexistentes siguen a las respuestas a aquellos poco comunes, y que los tokens dañados pertenecen a ese grupo de casos raros. También señalan que el modelo más grande de cada familia muestra un aumento repentino en las alucinaciones, siendo Qwen3-32B y Llama 3-70B peores que sus versiones más pequeñas. Las mediciones de los tokens también demuestran que los modelos más grandes son los más afectados. No obstante, los conjuntos de modelos de los dos estudios se superponen en tan poca medida que no permiten establecer una correlación.
Un experimento que podría resolverlo
Parte de esto es especulación, aunque las mediciones de los tokens hacen que sea valioso realizar pruebas adicionales. La prueba es sencilla: se ejecuta un modelo mediante una prueba de alucinaciones dos veces, primero con los prompts estándar y luego sustituyendo cada token afectado por un sinónimo estable. Una tasa más baja en la segunda ejecución indica cuán grande es el efecto. Una tasa sin cambios significaría que el vínculo propuesto no existe.
Referencia: el artículo PhantomBench de Jung y Gonen, arXiv:2606.11105.
Leer más
- Funcionan solos, fallan en grupo: fragilidad contextual en tokens que pasan una prueba de copiado aislado — Se analizan ocho modelos de peso abierto en busca de tokens que se copian correctamente por sí solos pero se alteran o dejan de funcionar en contexto, con verificaciones de la geometría de los embeddings, la preservación de tareas y el uso de herramientas.
- Elegir un modelo de embedding para RAG: comparación de MTEB, BGE, Voyage y OpenAI — Cómo encajan los embeddings en un pipeline RAG, cómo leer el ranking de MTEB, notas sobre seis modelos en producción, un pipeline de Milvus en cinco pasos y un marco de toma de decisiones práctico.
- Un chatbot de portafolio diseñado para decir “No lo sé” en lugar de adivinar — Cómo mantiene la honestidad un chatbot de portafolio: un dial de honestidad bloqueado, cinco notas manuscritas en el prompt en lugar de usar RAG, y una línea de rechazo fija que también funciona como detector de errores.