Explicación de la profundidad recurrente: Transformadores en bucle y razonamiento oculto
Cómo razonan los transformadores de profundidad recurrente (en bucle) en el estado oculto, por qué los laboratorios los desean, lo que demuestran ocho años de artículos académicos, y qué implica esto para la IA local y la supervisión.
La mayoría de los modelos de razonamiento actuales solo pueden llevar un pensamiento secuencial adelante escribiéndolo como tokens, y por eso las transcripciones de tipo cadena de pensamiento se convirtieron en la principal forma de monitorear lo que hace un modelo. Ocurren cambios recurrentes en profundidad: el modelo vuelve a ejecutar parte de su propia pila de capas sobre su estado oculto antes de emitir cualquier cosa, por lo que parte del “pensamiento” nunca se convierte en texto. Este artículo explica cómo funciona este mecanismo, por qué es tan atractivo desde el punto de vista económico, qué investigaciones publicadas ya lo demuestran y qué probablemente significará para los modelos abiertos que se ejecutan en su propio hardware y para quienes dependen de la lectura del razonamiento de un modelo.
Un patrón familiar: mecanismo oculto, replicación abierta
La historia del modelo de razonamiento ya se ha desarrollado una vez. Cuando OpenAI lanzó o1 en 2024, el modelo deliberaba antes de responder, pero su razonamiento quedaba oculto y truncado, y la empresa declaró abiertamente que ese ocultamiento era intencional. Muchos observadores supusieron que la técnica subyacente permanecería como propiedad privada durante años. Sin embargo, poco más de un año después, DeepSeek publicó R1 con pesos abiertos y rastros de razonamiento visibles, y la comunidad open source reprodujo rápidamente este enfoque una vez que las especificaciones se hicieron públicas.
La estructura recurrente es sencilla: un laboratorio cerrado lanza una funcionalidad, mantiene el mecanismo opaco, y la investigación abierta lo reproduce posteriormente y lo publica libremente. La versión reciente sigue el mismo patrón, con una diferencia importante: ya existen implementaciones abiertas con pesos publicados antes incluso de que se confirme la versión cerrada.
Qué está confirmado sobre Astra y qué no
OpenAI lanzó Astra el 2 de septiembre de 2026. Es esencial separar las afirmaciones, ya que la parte interesante es precisamente la que no es oficial.
Confirmado por OpenAI
- Astra es el primer modelo al que la empresa calificó como “Crítico” en términos de ciberseguridad.
- Otorgó un 100% en ExploitBench, una prueba en la que los modelos detectan y explotan vulnerabilidades reales de software.
- Venía equipado con monitores de cadena de razonamiento que observaban su proceso de deducción escrito.
Informado pero no confirmado
El 1 de septiembre, The Information informó que Astra utiliza estructuras recurrentes de profundidad, es decir, bucles internos de razonamiento. OpenAI ni lo ha confirmado ni lo ha negado. Se trata del relato más fiable disponible, basado en informes verificables y no en rumores, pero no debe considerarse como un hecho establecido.
Reclamado pero no verificable
El científico principal Jakub Pachocki declaró públicamente que la profundidad del grafo de cálculo de Astra está “dentro de un factor de dos con respecto a GPT-4”. Si es cierto, eso significaría que los bucles son deliberadamente poco profundos y que el razonamiento del modelo es solo ligeramente más opaco que el de un modelo convencional de un solo paso. La cifra real no ha sido publicada, por lo que los externos no pueden verificar este límite; hay que aceptarlo por fe.
Especulación pura
Las sugerencias de que Astra es en realidad el supuesto “GPT-6” no están respaldadas. Nadie fuera de la empresa lo sabe.
Por qué la pregunta sobre el monitoreo es tan relevante
En julio de 2025, cuarenta y un investigadores de OpenAI, DeepMind, Anthropic y el UK AI Security Institute firmaron conjuntamente un documento de posición sobre la supervisión del proceso de razonamiento. En él se advertía específicamente que las arquitecturas de razonamiento latente, que procesan información en vectores en lugar de palabras, podrían cerrar la ventana de monitoreo de la que depende gran parte de las prácticas actuales de seguridad. Pachocki estaba entre los firmantes. Si la información es correcta, un laboratorio ya ha distribuido el tipo de arquitectura que su propio científico jefe había señalado como un riesgo para la supervisión. Para una visión más amplia de cómo se compara Astra con otros agentes de vanguardia, consulte nuestra comparación de Astra, Flash, Fable y Mythos.
Cómo funciona la profundidad recurrente
Un transformador estándar hace pasar cada token a través de su pila de capas exactamente una vez. Si el modelo necesita más cálculos en secuencia para resolver un problema, la única opción que tiene es generar más tokens: cada paso de razonamiento visible representa otra pasada forward, y cada paso es texto legible.
Un modelo recurrente de profundidad divide la pila en tres partes. Un preludio incrusta la entrada en un estado latente, se aplica repetidamente un bloque central a dicho estado, y una coda mapea el estado final a la salida. El diagrama a continuación contrasta estas dos estructuras; observe que el bloque central en bucle reutiliza los mismos pesos en cada pasada y que todas las repeticiones finalizan antes de que se genere cualquier palabra.
Standard: token → L1 → L2 → ... → L96 → out
(one pass; "extra thinking" = more visible words)
Astra: token → PRELUDE → [ CORE × R ] → CODA → out
↑
the same block of layers, re-run on the
model's own hidden state, R times -
before a single word is written
Escrito como una fórmula, una iteración es h_next = f(h_current), y f representa siempre el mismo grupo compartido de capas. Las pasos dos a R no introducen nuevos parámetros; simplemente aplican nuevamente los mismos pesos a un estado que sigue evolucionando. Un modelo mental útil es el de un borrador que se revisa varias veces en privado, entregándose únicamente la versión final.
La consecuencia crucial es esta: cada iteración después de la primera tiene lugar íntegramente en el espacio vectorial, y los vectores no dejan rastro alguno. Nada sobre esas pasos intermedios se registra en ningún lugar que un monitor pueda leer.
El recuento de iteraciones R también es una configuración durante la ejecución y no corresponde a un modelo diferente. El mismo punto de control puede funcionar con R=1 en una versión económica y con R=20 en una versión premium. Desde el exterior, solo se ven un prompt y una respuesta; es invisible cuántas pasadas internas tuvieron lugar entre ellos, a menos que el proveedor se lo indique.
Por qué los laboratorios lo desean: el costo de pensar en voz alta
Dejemos de lado la seguridad por un momento, ya que el argumento económico es lo suficientemente sólido por sí mismo.
El razonamiento por cadena de pensamientos funciona como un telégrafo que cobra por palabra. Cada token de razonamiento se genera de forma secuencial, cada token posterior toma en cuenta al anterior y ocupa espacio en la caché KV durante el resto de la solicitud. Los proveedores terminan cobrando a los clientes, al precio por token, por el trabajo interno que realiza el modelo.
Los bucles latentes permiten realizar cálculos en secuencia sin emitir tokens adicionales. No existe costo por generación de pensamiento, no hay aumento en la longitud del contexto ni presión adicional en la memoria caché. A escala de miles de millones de solicitudes de razonamiento al día, hacer que el razonamiento sea interno es una decisión tanto estratégica como arquitectónica. También se adapta perfectamente a un sistema de precios por niveles: el mismo punto de control, aplicado más veces, responde a preguntas más difíciles a un precio mayor, y la etiqueta “pensamiento” cubre esa diferencia.
Dos formas de adquirir capacidad: amplia o profunda
Si ejecutas la inferencia localmente, el equilibrio es diferente. Actualmente existen dos estrategias distintas que consumen recursos diferentes.
El enfoque que han adoptado la mayoría de los modelos más abiertos es recurrir a una arquitectura amplia basada en la mezcla de expertos. Por ejemplo, Flash-Next de Qwen mantiene 512 expertos disponibles y activa solo alrededor del 2% de ellos por token. Se trata de un cálculo paralelo limitado por la memoria; se ha reportado que en una MacBook de 64 GB puede procesar aproximadamente 30 tokens por segundo.
Usar memoria de mayor ancho cuesta más, y la memoria se ha convertido en un componente escaso y caro. En el momento de redactar este texto, los precios reportados para un kit DDR5 de 64 GB pasaron de un promedio de unos 191 dólares en agosto de 2025 a aproximadamente 1,118 dólares un año después, lo que representa un aumento de unos 485%, superior al de la mayoría de los otros componentes de PC, incluidas las GPUs. La causa radica en la infraestructura de IA: los fabricantes de memoria están orientando su producción hacia memorias de alta anchura de banda para aceleradores en centros de datos, las empresas a gran escala reservan capacidad con años de antelación, y se espera que la escasez persista hasta 2027. Considere estas cifras como una instantánea y consulte los datos del mercado actual antes de confiar en ellas.
La profundidad recurrente, en cambio, va profundo: se ejecutan las mismas capas R veces. Esto consume tiempo. En hardware local, cada bucle adicional reduce la velocidad de decodificación; con R=4, un modelo que antes decodificaba a 30 tokens por segundo caería a unos 7. Un modelo con bucles en una laptop no falla de forma visible, simplemente se ralentiza a medida que aumenta la profundidad.
Esto explica su atractivo. Los bucles extraen más cálculos de cada byte de pesos que debe ser recuperado de la memoria, y el ancho de banda de la memoria es el recurso limitante. Las unidades aritméticas que ejecutan los pasos adicionales suelen estar ociosas entre las consultas a la memoria. Los modelos amplios consumen el recurso por el que todos compiten; los modelos profundos consumen uno que los clientes de centros de datos nunca ven detallado. Sin embargo, en tu propia máquina lo percibes directamente como un número menor de tokens por segundo.
El camino de la investigación: ocho años de artículos abiertos
Ninguna de las ideas subyacentes es un secreto. El mecanismo central se ha publicado en la literatura académica desde 2018, y leer estos artículos le brindará una mejor comprensión de los modelos en bucle que cualquier anuncio de producto.
Profundidad con compartición de pesos (2018–2019)
- Universal Transformer (Dehghani et al., 2018). El bucle original: aplicar repetidamente las mismas capas con parámetros compartidos. Superó a los transformers del mismo tamaño en GLUE utilizando aproximadamente una cuarta parte de las operaciones FLOPs, y fue ampliamente citado, aunque nadie lo implementó a gran escala.
- ALBERT (2019). Utilizó la compartición de capas como técnica de compresión, demostrando que reutilizar la profundidad es más económico que adquirir capas únicas adicionales.
Razonamiento en el espacio latente (2024–2025)
- Coco (Meta, diciembre de 2024). Su título, “Entrenar LLMs para razonar en un espacio latente continuo”, describe la idea: el razonamiento intermedio permanece en vectores ocultos, y solo la conclusión se convierte en texto. En tareas de planificación superó al método chain-of-thought al generar menos pasos visibles, lo que representa un desafío directo a la suposición de que más razonamiento escrito implica un mejor razonamiento.
- Huginn (Geiping et al., febrero de 2025), “Escalar el cálculo en tiempo de prueba mediante razonamiento latente”. Un modelo de 3.5 mil millones de parámetros entrenado con 800 mil millones de tokens. Al mantener fijos los pesos y los datos y cambiar únicamente el número de iteraciones de r=1 a r=32, ARC-E pasó de 34.9 a 69.9, con mejoras en el razonamiento equivalentes al rendimiento de un modelo de 50 mil millones de parámetros.
Pesos abiertos y escalado (2025–2026)
- Ouro / LoopLM (ByteDance, octubre de 2025). Es la opción más relevante desde el punto de vista práctico, ya que los pesos se publican en Hugging Face. La familia incluye modelos con 1,4 mil millones y 2,6 mil millones de parámetros entrenados con 7,7 billones de tokens, y se dice que igualan a modelos de vanguardia con hasta 12 mil millones de parámetros. Experimentos controlados atribuyeron las mejoras a la manipulación del conocimiento en lugar de a una mayor capacidad cognitiva: los bucles no almacenan más hechos, sino que los utilizan de manera más eficaz. El equipo también descubrió que las trazas de razonamiento de LoopLM coincidían más estrechamente con sus respuestas finales que las trazas basadas en el método de cadena de pensamiento.
En conjunto, el mecanismo, las pruebas de los benchmarks, una fórmula para escalar y una herramienta de medición han estado disponibles públicamente desde hace algún tiempo. Lo nuevo es su implementación en entornos avanzados, no la idea en sí.
Qué probablemente significa esto para los modelos abiertos y la inferencia local
Lo que sigue son predicciones, no hechos, pero cada una se deriva de la investigación mencionada anteriormente.
Es probable que esté cerca un lanzamiento con bucles abiertos
La receta de escalado que funciona es la arquitectura de mezcla de expertos en bucle, y las principales familias de modelos abiertos, como Qwen y DeepSeek, ya son arquitecturas de mezcla de expertos. Agregar un núcleo recurrente a un modelo MoE existente representa un cambio incremental en lugar de una rediseño, por lo que es razonable esperar una versión abierta con un núcleo recurrente dentro de una o dos generaciones de modelos, probablemente comercializada bajo la idea de pensar por más tiempo en lugar de ser más grande.
Archivos más pequeños con la misma capacidad
La inferencia local ha estado dominada por el tamaño de los archivos: archivos de pesos enormes, límites de memoria y la necesidad de transferir manualmente las capas especializadas solo para que el modelo quepa. Si un modelo de 1,4 mil millones de parámetros puede competir realmente con modelos densos de 12 mil millones, eso significa que basta con descargar aproximadamente 3 GB en lugar de 24 GB. Un modelo así puede ajustarse con LoRA en hardware de consumo, liberando memoria para contextos más extensos. La capacidad por byte se inclinaría a favor de quienes cuentan con una sola GPU o una laptop. Si está comparando modelos locales con APIs alojadas por razones de resiliencia, nuestro artículo sobre el riesgo de dependencia en el acceso a la IA aborda este equilibrio más amplio.
El hardware de edge es adecuado para los modelos en bucle
Los bucles consumen capacidad de procesamiento en lugar de ancho de banda de memoria, y dispositivos como las máquinas Apple Silicon cuentan con suficiente capacidad de procesamiento en relación con su ancho de banda. Ese equilibrio no era adecuado para la última generación de cargas de trabajo de inferencia, pero sí lo es para esta. Los modelos con bucles también son favorables a la optimización del kernel: hay menos operaciones distintas, y los pesos permanecen en la caché a lo largo de las iteraciones. Lo que falta es el software. Entornos como llama.cpp y MLX necesitarán un soporte explícito para la profundidad recurrente y la salida temprana adaptativa antes de que los usuarios locales puedan beneficiarse.
La profundidad podría convertirse en una configuración para el usuario
Con la recursión por token, un modelo pequeño puede utilizar el poder de cómputo de un modelo grande solo donde sea necesario: de forma rápida para textos rutinarios y con mayor profundidad para pasos complejos. Al igual que hoy en día ajustas la temperatura de muestreo (consulta nuestra guía sobre temperatura, top-k y top-p), podrías acabar eligiendo un límite de profundidad por solicitud. Los resultados de las llamadas a herramientas indican lo mismo: los agentes que planifican, llaman a herramientas y rastrean el estado se benefician más de una mayor profundidad, que es exactamente lo que necesita un asistente local de programación.
Los modelos abiertos podrían invertir el compromiso de transparencia
La herramienta opaque-serial-depth es de acceso público. Un proveedor cerrado puede utilizar bucles con un valor R no revelado, pero cualquiera que cuente con pesos abiertos puede medir directamente la profundidad de razonamiento oculta de un modelo. Por lo tanto, la adopción abierta no necesita repetir el problema de opacidad; el número que los laboratorios cerrados ocultan puede convertirse en una propiedad medible y publicada de un modelo abierto. Los hallazgos de Ouro también advierten contra asumir que el razonamiento latente es intrínsecamente menos fiable: sus huellas registran las respuestas finales con mayor precisión que el método convencional de cadena de pensamiento.
La verdadera pregunta abierta no es si los modelos abiertos adoptarán bucles, ya que los pesos de Ouro y Huginn ya están disponibles. Se trata de si la comunidad asociará los bucles con esa práctica que los laboratorios cerrados se han negado a adoptar: publicar el número de bucles.
Cuando la profundidad recurrente no es la herramienta adecuada
- Si necesita un razonamiento auditable, por ejemplo en flujos de trabajo regulados, la cadena de pensamientos visible sigue siendo más fácil de inspeccionar que cualquier proceso latente.
- Si la latencia es más importante que la precisión en un dispositivo local, cada bucle adicional reduce directamente el rendimiento.
- Si su tiempo de ejecución de inferencia no cuenta con soporte para núcleos recurrentes o salida adaptativa, aún no podrá aprovechar las mejoras en eficiencia.
Conclusión
Durante aproximadamente una década de modelado de lenguaje, el razonamiento adicional tuvo que expresarse en texto, y la supervisión se centró en leer ese texto. La profundidad recurrente elimina esa vinculación: un modelo puede realizar cálculos en serie significativos sin generar ninguna palabra. La ventana de monitoreo sigue existiendo, pero ya no muestra necesariamente todo.
El historial de investigación es alentador en un aspecto. Las técnicas detrás de los modelos en bucle, junto con los pesos abiertos y una herramienta para medir la profundidad oculta, ya son de dominio público. Los laboratorios cerrados pueden tomar la delantera, pero el ecosistema abierto puede establecer la norma.
- La profundidad recurrente reutiliza un bloque central de capas R veces en el estado oculto, lo que permite cálculos en secuencia sin necesidad de tokens o parámetros adicionales.
- Intercambia memoria por tiempo, lo que la hace atractiva para los centros de datos y para el hardware local con gran capacidad de cálculo pero ancho de banda limitado.
- Universal Transformers, Coconut, Huginn, Mixture-of-Recursions, Ouro y looped MoE documentan conjuntamente el mecanismo y su escalabilidad.
- Los informes que indican que Astra lo utiliza siguen sin confirmarse; considere el número de bucles como una pregunta que debe hacerle a cualquier proveedor.
Lecturas relacionadas
- ReAct explicado: Cómo los agentes de IA combinan el razonamiento con acciones del mundo real — Aprenda cómo el marco ReAct integra el razonamiento y el uso de herramientas para potenciar a los agentes de IA, y cómo difiere de los modelos Chain-of-Thought, RL y de razonamiento.
- Por qué una descarga de modelo de 17 GB no significa 17 GB de memoria para ejecutarlo — Aprenda cómo los parámetros activos, los parámetros totales, el crecimiento del caché KV y el esfuerzo de razonamiento determinan el costo real de memoria y procesamiento para ejecutar un modelo de lenguaje localmente.