El ajuste fino se ha vuelto económico, pero los agentes aún necesitan un mecanismo para los pesos.

Cada noche, el cerebro ejecuta silenciosamente un proceso por lotes. Los episodios dispersos del día permanecen en el hipocampo, y durante el sueño se reproducen y se escriben selectivamente en el córtex. Los investigadores han observado este proceso de reproducción en ratas horas después de que se les quitara el laberinto. A la mañana siguiente, existen habilidades que solo se adquirieron el día anterior, y el propio proceso de entrenamiento nunca se ve.

Hace algún tiempo, Andrej Karpathy señaló la fase que falta en estos agentes: no hay paso de destilación, ni sueño. Aproximadamente dieciocho meses después, el campo está desarrollando una. Un artículo de 2026 incluso llevó por título “Los modelos de lenguaje necesitan dormir” y describe cómo se integran los recuerdos del modelo en el contexto en pesos de experto recién añadidos durante una fase de sueño explícita.

Por lo tanto, la división entre vigilia y sueño ha pasado de ser una metáfora a un diagrama arquitectónico, lo cual es tanto una buena noticia como una trampa. La consolidación se ha vuelto lo suficientemente económica como para incluirla en un cronograma, y por eso la ingeniería interesante se ha desplazado a otro lugar: al filtro que selecciona de entre diez mil las pocas lecciones que merecen integrarse como pesos.

De esto surgen cuatro habilidades. Primero, separar el bucle rápido (contexto, manejado por solicitud) del bucle lento (pesos, modificados con cada lanzamiento), asignando un costo a cada uno. Segundo, convertir al agente ya en producción en un autodidacta privilegiado, sin necesidad de un modelo más grande. Tercero, calificar cada lección según cuatro criterios de promoción antes de que cualquier gradiente la afecte. Cuarto, detectar los fallos que ocultan las demostraciones de una sola ronda ejecutando el bucle tres veces. El único requisito de ingreso es haber lanzado algo que invoque una API de LLM.

Dos bucles con relojes diferentes

La primera mitad de la historia trata sobre cómo el agente completa una tarea y registra lo que ha aprendido en un manual de procedimientos, un archivo de texto plano con lecciones que se vuelven a leer al inicio de cada solicitud, de modo que la siguiente ejecución comience partiendo de donde terminó la anterior. La segunda mitad corresponde a la consolidación: un proceso offline separado que reproduce las huellas almacenadas, decide cuáles son estables y lo suficientemente valiosas como para utilizarlas en el entrenamiento, y solo escribe ese contenido en los parámetros.

Una encuesta sobre memorización de 2026 denomina a este proceso el ciclo Acumular-Internalizar. Primero se acumulan explícitamente los datos, tanto en la memoria como en los manuales de procedimientos, donde una lección puede ser inspeccionada y editada fácilmente. Luego se internaliza el resto estable en los parámetros, donde se vuelve rápido, generalizable y gratuito en el momento de realizar inferencias. En pocas palabras, el agente trabaja todo el día a partir de un cuaderno de notas, y algo distinto, más tarde y de forma separada, decide qué páginas merecen ser memorizadas.

El proceso nocturno consta de tres pasos: reproducir, seleccionar y destilar. Solo el paso intermedio implica juicio, y es el que más importa.

• El reloj rápido marca el tiempo cuando se solicita la acción. El contexto y la memoria se adaptan según cada conversación, y los cambios son reversibles y económicos.
• El reloj lento marca el tiempo en el momento de la publicación. La consolidación actualiza los pesos cada pocas semanas, tras un control e a un costo real.

Las configuraciones adecuadas utilizan ambos relojes y mantienen un registro de dónde se encuentra cada lección. Las malas configuraciones o bien nunca avanzan el reloj lento y pagan un costo cada vez mayor por el contexto, o bien conectan directamente el reloj rápido a los pesos, lo que provoca contaminaciones prematuras.

El mejor profesor es el propio agente, que posee la guía de operaciones

La destilación clásica entrena al estudiante para que imite los resultados del profesor. El problema radica en el origen de los datos: el estudiante aprende de las trayectorias pulidas del profesor y nunca ve los estados caóticos que generan sus propios errores. Su primer error lo lleva a un lugar que el conjunto de entrenamiento nunca ha visitado.

La destilación on-policy corrige este enfoque. Las muestras provienen del propio comportamiento del estudiante, y un profesor califica o guía esos resultados, de modo que la señal de corrección se aplica a la distribución de errores real del estudiante. Se trata de retroalimentación detallada sobre los propios errores, y no de un resumen de los éxitos de otra persona.

Lo que lo hace práctico es que el “profesor” no necesita ser un modelo más avanzado. Puede ser el mismo modelo con una ventaja injusta: la guía contextual, las lecciones ya aprendidas y la información posterior sobre un episodio que ya ha terminado. Un sistema de investigación llamado SEED funciona exactamente sobre este principio. Convierte las trayectorias completas del agente en habilidades expresadas en lenguaje sencillo, y luego integra las indicaciones que esas habilidades contienen directamente en la política, sin necesidad de prompts de habilidad ni búsquedas en memoria durante la inferencia. La lección se convierte así en comportamiento.

Imagínese al “profesor” como el estudiante que lleva una mochila. La destilación es el proceso de quitar la mochila sin perder lo que había dentro.

Una versión reducida puede completarse en una tarde. Elija cincuenta tareas que el agente ya maneja, congele la guía para que deje de cambiar y configure ambos lados:

# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()

tries = [bare.run(t) for t in tasks]

Luego, que el profesor evalúe los intentos del estudiante y que este se entrene con esa evaluación. Así se resume toda la destilación on-policy en pocas líneas:

graded = [teach.grade(x) for x in tries]
finetune(bare, graded)   # one round only
# now serve it with NO playbook

La ejecución genera tres números que vale la pena registrar. En una prueba realizada en junio con un conjunto de cincuenta tareas de una cola de soporte, el estudiante sin guía tuvo el 61 % de sus respuestas aceptadas, el estudiante que utilizó la guía alcanzó el 79 %, y el modelo internalizado, ejecutado sin ninguna guía, obtuvo un 77 %.

Dieciséis de los dieciocho puntos obtenidos con la guía se mantuvieron, y cada solicitud disminuyó de 4,270 tokens a 910. La “mochila” ya no es necesaria, y un arrendamiento se convierte en propiedad. La primera ejecución hace parecer que el problema está resuelto.

Un gradiente es un compromiso

La industria se resistió a las actualizaciones de pesos durante unos tres años, y esa resistencia era razonable. El contexto puede diferirse, auditarse y eliminarse en una tarde. Una actualización de pesos, en cambio, es opaca, compleja y solo puede anularse volviendo a un punto de control, lo que descarta todo lo que el modelo aprendió desde ese momento.

El olvido catastrófico es la forma típica de este riesgo: regresiones en capacidades que nadie medía y que se descubren posteriormente por parte de un cliente. La alineación de seguridad también necesita ser verificada nuevamente después de cada actualización, ya que las propiedades confirmadas en el modelo base no se transfieren automáticamente a una versión ajustada.

Una comparación útil es la de una rama de características que se integra en la principal, donde aplican la recurrencia, la revisión, el seguimiento del origen y una vía de reversión. Sin embargo, esta comparación falla en un aspecto costoso: revertir en Git es un proceso preciso, mientras que volver a aplicar los pesos anteriores es algo total o nulo; por lo tanto, una sola fusión defectuosa anula todo lo que se ha implementado después del punto de control.

Cuatro criterios determinan qué casos se consideran exitosos:

• La lección se repitió en suficientes episodios distintos como para parecer un patrón y no un accidente.
• Permaneció en la guía de procedimientos sin ser nunca contradicha.
• Muestra el valor medido para cerrar la brecha en comparación con una línea de referencia que realmente se ejecutó.
• Cuenta con un rastro de origen claro, por lo que se pueden identificar los elementos que lo generaron.

Todo lo que no pasa estas verificaciones permanece en el contexto, donde un error conlleva un costo en tokens y no en puntos de control. Por regla general, los pesos almacenan el residuo y el contexto almacena la tasa de abandono.

Las cuatro etapas se ejecutan en secuencia, y dicha secuencia forma parte del diseño: una lección que falla en la primera etapa nunca consume una revisión en la cuarta. Una etapa que selecciona a más de un pequeño número de candidatos no constituye una verdadera etapa.

Según una encuesta de junio de 2026 sobre agentes de auto-mejora, la decisión recae en el mecanismo de control y no en el modelo. Es este mecanismo el que selecciona las huellas que merecen convertirse en señales de entrenamiento, extrae la supervisión de ellas, mantiene las condiciones bajo las cuales fueron válidas y determina si una experiencia determinada es adecuada incluso para el aprendizaje basado en parámetros.

Una vez que existen dos rutas posibles, algo por encima de ellas debe elegir qué proceso de mejora se activará, en qué momento y dentro de qué límites presupuestarios, así como en cuanto a los criterios de evidencia y las condiciones de reversión. Esa capa de control es el verdadero resultado a obtener. Al tomar una decisión, primero revise la columna de reversión, ya que las rutas que se pueden deshacer con una simple eliminación merecen aproximadamente nueve de cada diez elecciones.

La primera ronda funciona; la tercera falla

Un resultado novedoso debería ralentizar a todos. El artículo “Rethinking Continual Experience Internalization” indica que una sola ronda de transformación de la experiencia en pesos funciona bien, mientras que repetir el ciclo de autoevolución hace que el rendimiento colapse.

Los autores atribuyen este colapso a tres factores: la forma en que se representa la experiencia, la manera en que dicha representación influye en lo que supervisa el “profesor”, y la distribución de las trayectorias que permiten la transferencia de conocimientos. La victoria en una sola prueba fue solo una demostración. Lo realmente necesario es mantener la estabilidad a lo largo de las rondas, y nadie lo ha logrado aún.

La prueba inicial en la cola de soporte siguió exactamente el rumbo que indicaba el artículo. La segunda ronda arrojó un 74%, ligeramente por debajo del 77% de la primera ronda, lo cual se pudo descartar fácilmente como un error aleatorio. La tercera ronda obtuvo un 58%, por debajo del nivel básico de los estudiantes con los que comenzó el experimento, y el modelo empeoró silenciosamente en dos categorías de tickets que no estaban presentes en el conjunto de evaluación. La diferencia a recordar es la brecha entre la primera y la tercera ronda, ya que solo la primera alcanza los niveles mencionados en la mayoría de los informes.

Existe un segundo límite. El RL agente implica aplicar el aprendizaje por refuerzo a ejecuciones completas de agentes a múltiples pasos, con recompensas provenientes de resultados que la máquina puede verificar. Esto resulta útil cuando la verificación es económica, como en el caso del código, las matemáticas y el trabajo estructurado. La mayoría de las tareas reales de agentes generan señales poco claras, tardías o susceptibles de ser explotadas. El artículo “Early Experience” lo afirma abiertamente: muchos entornos reales no cuentan con recompensas verificables, y aquellos que sí las tienen suelen requerir pruebas extensas y costosas. La solución propuesta es aprender a partir de las interacciones iniciales del agente sin recompensa externa, tratando las consecuencias de las acciones como supervisión.

La propiedad también conlleva costos adicionales. Cada variante consolidada se convierte en un artefacto independiente, que necesita un conjunto de pruebas de regresión, una nueva evaluación de seguridad y un espacio propio para su ejecución; además, las variantes por cliente multiplican toda esta lista según la cantidad de usuarios.

Una visión realista para mediados de 2026: el aprendizaje basado en parámetros ya se ha puesto en uso en fases iniciales para agentes de programación y uso de herramientas, cuyas recompensas son verificables, y sigue siendo de nivel de investigación cuando las recompensas son inciertas. El enfoque basado en contexto ofrece una refutación válida. Cuando una lección encaja en las directrices y funciones de recuperación, integrarla en los pesos acelera el proceso y mejora la calidad, pero a costa de la posibilidad de auditoría; para muchos productos, este es un intercambio deficiente.

Construye la solución antes de que sea necesaria

Un modelo congelado sigue siendo una elección de diseño deliberada, aunque con una complicación. Los modelos de vanguardia actuales también se entrenan como agentes, mediante aprendizaje por refuerzo en entornos ejecutables para el uso de herramientas a largo plazo. El artefacto congelado alquilado a través de una API es cada vez más el resultado de los mismos ciclos descritos aquí, por lo que la era de la experiencia llega primero como un cambio en la forma en que se crean los modelos subyacentes.

Un primer paso práctico es instrumentar adecuadamente el bucle de acumulación. Luego, realice una auditoría sencilla: abra el manual del mes pasado y cuente las entradas que aparecieron en cinco o más episodios separados sin ser contradichas. Una sola revisión de este tipo convirtió cuarenta y tres entradas en seis candidatas, y solo una recibió aprobación.

Esa única entrada es el primer gradiente. El resto son datos irrelevantes que deben permanecer en su contexto, ya que un error cuesta tokens y no un punto de control. La pregunta clave es: ¿qué lección del manual se ha repetido con suficiente frecuencia, sin contradicciones, como para ser aprobada para su publicación?

Leer más

• Elegir un marco de agentes según la forma de la carga de trabajo: seis ejes y una ruta de decisión — Elija LangGraph, CrewAI, AutoGen, Temporal o ninguno probando seis ejes de carga de trabajo: determinismo, vida útil, idempotencia, registro de auditoría, velocidad del equipo y costo por decisión.
• Muchas manos, una pluma: siete reglas para orquestar agentes de IA — Cuando un flujo de trabajo es mejor que un agente, por qué los orquestadores no deben poseer las herramientas, cómo registrar los resultados de los subagentes y escribir las condiciones de terminación, con ejemplos en Python para cada caso.

Ajuste fino de un modelo de visión en Apple Silicon con MLX y Ollama — Reduce las alucinaciones al interpretar gráficos ajustando finamente Qwen2-VL con MLX LoRA en una Mac, luego conviértelo a formato GGUF y sírvelo a través de Ollama en una aplicación RAG existente.