La AGI es un problema de aprendizaje, no un problema de almacenamiento.

Una transcripción que replanteó la pregunta

Recientemente comenzó a circular una transcripción de una llamada con inversores de cuatro horas, en la que supuestamente participó el fundador de DeepSeek, Liang Wenfeng. En ella señala qué carece la IA actual: no es la creatividad ni el razonamiento. Según la transcripción, la verdadera deficiencia es que la IA no puede seguir aprendiendo de la misma manera que lo hacen las personas, y un modelo no debería considerarse de próxima generación hasta que eso cambie.

El plan que supuestamente presentó comienza con el razonamiento basado en secuencias lógicas, pasa por los agentes, luego al aprendizaje continuo, seguido de un “punto de singularidad” y finalmente por la inteligencia encarnada.

Esa idea cuenta con un argumento independiente que proviene de una dirección diferente.

La inteligencia no es un recurso acumulable

Cada lanzamiento de un nuevo modelo de lenguaje desata la misma discusión: puntajes en pruebas de referencia, capacidad de razonamiento, longitud del contexto, cantidad de parámetros y cuán más inteligente parece en comparación con su predecesor. La inteligencia se mide casi exclusivamente por lo que ya sabe un modelo. Ese podría ser el criterio equivocado.

Las personas no son inteligentes por la cantidad de información que almacenan en su cerebro. Si el almacenamiento fuera la medida, un libro de texto médico superaría a un médico.

Imagínese a una persona a la que le preguntan sobre un campo del cual no sabe nada. La respuesta no aparece de inmediato. Primero se da cuenta de que no sabe lo suficiente. Luego busca información, compara fuentes, lee, cuestiona lo que encuentra, va construyendo su conocimiento poco a poco hasta llegar finalmente a una respuesta. Semanas después, sin volver a revisar ese tema, muchos detalles ya se han olvidado. Necesitar ese conocimiento de nuevo implica repetir el proceso. La inteligencia no desaparece con los hechos olvidados, porque la capacidad de aprender permanece intacta.

Una persona no es una AGI, e incluso la inteligencia general humana olvida constantemente. Las habilidades que no se utilizan durante mucho tiempo se desvanecen y deben recuperarse mediante un nuevo entrenamiento en ese tema. Eso no es un defecto de la inteligencia; es así como funciona el aprendizaje en todos los sistemas inteligentes observados, incluidos nosotros mismos.

Cómo difieren los modelos de lenguaje

Los modelos de hoy funcionan de manera diferente. Primero se realiza un entrenamiento previo a gran escala, seguido por fases de ajuste detalladamente planificadas; a partir de ahí, los parámetros permanecen prácticamente fijos hasta que comienza el siguiente ciclo de entrenamiento. Si ocurre algo nuevo en el mundo, el modelo no tiene forma de decidir estudiarlo. Los ingenieros, investigadores y los pipelines de datos toman esa decisión mientras el modelo permanece inactivo. En efecto, la inteligencia se ha tratado como un problema de almacenamiento cuando en realidad es uno de aprendizaje.

Olvido catastrófico

El aprendizaje automático enfrenta un obstáculo persistente llamado olvido catastrófico. Al ajustar un modelo con datos nuevos, a menudo pierde parte de sus conocimientos anteriores, ya que los mismos parámetros que sustentaban las habilidades previas se modifican para incorporar nuevas capacidades. La causa radica en el diseño mismo. Un modelo tipo transformer mantiene lo que sabe en las mismas matrices de pesos fijas que utiliza para razonar, por lo que modificar una afecta a la otra. Se han invertido años de investigación en atenuar este efecto, pero sigue sin estar claro si reescribir una y otra vez la misma representación compartida sea realmente una estrategia sensata.

No es solo una corazonada de un fundador

La preocupación no se limita a un solo fundador. Demis Hassabis, director de DeepMind, expresó algo muy similar en público este año. Enumeró la consistencia, la fiabilidad a largo plazo y la adaptabilidad similar a la humana, junto con el aprendizaje continuo dentro de ese grupo, como los factores que siguen obstaculizando el progreso, y no culpó a la falta de recursos computacionales. Su punto de vista contrasta con el de Anthropic, donde Dario Amodei ha hablado de algo similar a un país lleno de investigadores brillantes que viven en un centro de datos, al cual se podría llegar en gran medida extendiendo los métodos actuales de escalado.

Ambas afirmaciones pueden ser ciertas al mismo tiempo. El escalado sigue dando resultados, y el aprendizaje continuo sigue siendo el único problema que nadie ha resuelto por completo. Juntos demuestran que esta idea no es marginal. Se alinea con una verdadera línea de fractura en la forma en que los laboratorios más grandes describen el trabajo que aún queda por hacer.

Aprender del cerebro

El cerebro humano no parece reescribirse cada vez que adquiere un nuevo hecho. Cuenta con varios sistemas que interactúan entre sí: la memoria de trabajo para el razonamiento inmediato, las memorias a largo plazo que se forman a lo largo de los años, habilidades que se vuelven automáticas mediante la repetición y memorias que se desvanecen cuando dejan de ser útiles. Aprender no es una sola operación; es un ecosistema de procesos.

Una analogía útil dice que el cerebro contiene algo similar a RAM y algo similar a ROM, que son sistemas separados. La memoria de trabajo desempeña el papel de RAM: rápida, de corta duración y sobrescrita constantemente. El conocimiento a largo plazo cumple la función de ROM: más lento para ser almacenado, pero estable una vez guardado. Para que la IA general se asemeje a la inteligencia humana, esa división probablemente debe diseñarse desde el principio y no dejarse en manos de un único conjunto enorme de pesos que se encargue de ambas tareas. El cerebro no tiene por qué ser el único modelo a seguir, pero separar el razonamiento de la memoria también resuelve problemas prácticos de ingeniería.

Un modelo que detecta sus propias lagunas

Imagínese un modelo de razonamiento que detecte constantemente sus puntos débiles. En lugar de esperar meses para realizar un entrenamiento, identifica aquello sobre lo que no está seguro, recopila información fiable, la verifica, crea una pequeña cantidad de datos de entrenamiento nuevos y propone un ligero cambio en sí mismo. Luego verifica si ese cambio realmente ayuda sin perjudicar sus capacidades actuales, y finalmente lo acepta o rechaza. Cualquier cambio aceptado se mantiene lo suficientemente pequeño como para poder revertirlo si pruebas posteriores revelan un error.

Una versión mecánica podría funcionar de la siguiente manera:

1. El modelo crea por sí mismo un conjunto de datos diminuto, investigando un tema en la web o reflexionando sobre los puntos en los que ya tropieza.

Se ajusta ligeramente una copia de sí mismo en ese pequeño conjunto. Se trata de un ligero ajuste de los pesos y no de un reentrenamiento completo. Ese ajuste probablemente afectará ligeramente el rendimiento anterior en algún aspecto, por lo que es inevitable cierto olvido parcial; el objetivo es mantener ese costo lo suficientemente bajo como para que el rendimiento general no disminuya.

La copia ajustada se compara con el original sin modificar en casos no vistos durante la actualización.

Si la copia realmente mejora, se mantiene y se sigue con otro pequeño paso, siendo la tasa de aprendizaje quien controla el avance tal como ocurre durante el entrenamiento. De lo contrario, se descarta y se reinicia el ciclo.

El peligro evidente

El peligro radica en la entrada de datos defectuosos y la salida de resultados igualmente defectuosos. Entrenar con datos generados automáticamente puede hacer que un modelo refuerce sus propios errores, y los pequeños errores pueden acumularse a lo largo de muchos pasos, aunque cada uno parezca inofensivo. Una medida parcial de protección es permitir que el modelo revise su propio conjunto de datos antes del entrenamiento, evaluando sus propios ejemplos con instrucciones específicas y conservando solo los buenos, en lugar de aceptar todo lo que genera. Sin embargo, eso no constituye una solución real. Simplemente reexpresa el problema de la autoevaluación del cual depende toda la idea, pero de una forma más reducida y directa.

¿Qué hay de nuevo aquí y qué no?

La afirmación de que el aprendizaje continuo es la pieza que falta no es nada nueva. Liang lo expresó hace días, Hassabis ha hablado de versiones de ello en público y los investigadores estudian el olvido catastrófico desde hace años. Lo que escasea en el ámbito público es una forma concreta de lograrlo. La hoja de ruta de Liang se limita a una frase que indica que un modelo que aprende continuamente puede crear su propia versión siguiente, señalando el destino pero dejando en blanco el mecanismo.

El ciclo mencionado anteriormente, con un conjunto de datos pequeño, un ajuste fino limitado, validación contra el modelo original congelado y la opción de conservar o descartar, es un intento por cerrar esa brecha. Puede que no sea correcto, e incluso puede que no sea original a nivel de implementación, ya que casi con certeza alguien en algún laboratorio ya está probando una versión similar. Es lo suficientemente concreto como para ser erróneo de manera específica y verificable, y una idea que se pueda demostrar como incorrecta es mejor que una demasiado vaga como para probarla.

El resultado no sería un modelo que reescriba constantemente su identidad. Sería un modelo que evoluciona gradualmente a través de miles de correcciones validadas.

Preguntas difíciles que surgen

Este enfoque plantea de inmediato preguntas complejas:

• ¿Cómo verifica el sistema que su propio aprendizaje es correcto?
• ¿Cómo evita reforzar sus propias concepciones erróneas?
• ¿Es el olvido un evento binario, en el que un hecho está presente o ausente, o es un gradiente que se atenúa un poco más con cada actualización no relacionada?
• ¿Cuánto conocimiento debería volverse permanente y cuánto debería permanecer externo?
• ¿Cuándo debe la información almacenarse en memoria y cuándo debería recuperarse simplemente de fuentes confiables según sea necesario?

Estas son más difíciles que la propuesta original, y no existen respuestas inmediatas. Son precisamente las preguntas que merecen ser investigadas.

Las piezas ya existen

Ya existen muchos ingredientes, como sistemas de recuperación, métodos de aprendizaje continuo, generación de datos sintéticos, agentes autónomos, ajuste fino eficiente en términos de parámetros y modelos de razonamiento cada vez más potentes. Lo que parece faltar no es otra ley de escalamiento, sino un marco que permita que estos componentes trabajen juntos dentro de un sistema que siga aprendiendo durante toda su vida útil.

Tal vez la AGI no llegue porque un único modelo alcance un tamaño inimaginable, sino que aparecerá una vez que la IA deje de ser estática. La inteligencia podría depender menos de la recopilación de parámetros y más de la creación de sistemas con buen juicio para saber cuándo dudar de sí mismos, buscar nueva información, revisar creencias y admitir que no están seguros.

No se sabe si este es el camino hacia la AGI, y la historia podría demostrar que esa intuición está equivocada. Hay una idea que aún merece ser tomada en serio: los sistemas más inteligentes que conocemos, la propia mente humana, no son extraordinarios porque nunca olvidan. Son extraordinarios porque nunca dejan de aprender.