Entrenamiento de agentes de IA empresariales: elección entre SFT, DPO, GRPO y RAG

Imagínese a un analista haciendo una pregunta a un agente empresarial hace diez días: ¿por qué disminuyeron las ventas en Norteamérica el último trimestre? El sistema preguntó qué significaba “último trimestre” y decidió que se refería al Q2 del año fiscal 2026. Asignó a Norteamérica la jerarquía regional aprobada, generó consultas SQL vinculadas al usuario, probó varias hipótesis y entregó un informe con referencias.

Hoy el analista hace una pregunta similar. El agente todavía recuerda el alcance correcto, pero emite JSON mal formado, dedica párrafos enteros a explicar una hipótesis que ya falló y cita con total confianza una nota financiera preliminar.

En este punto, muchos equipos deciden que el modelo necesita ajustes. A veces eso es correcto. Con frecuencia, en realidad están a punto de entrenar algo incorrecto.

Identifique qué salió mal. Un mapeo de regiones es un hecho, una nota financiera corresponde al conocimiento regulado, y un esquema SQL es una interfaz que está en constante cambio; por lo tanto, los tres existen en la memoria, en los procesos de recuperación y en los contratos de las herramientas. En cambio, los pesos deberían reflejar hábitos más estables: realizar llamadas a herramientas válidas, seguir el protocolo de evidencia, recuperarse tras un resultado vacío, preferir conclusiones respaldadas por citas y negarse a responder cuando la evidencia a disposición del agente es insuficiente.

Esa división sustenta toda adaptación empresarial:

Los hechos que cambian van a la recuperación de información, el contexto duradero a la memoria, las acciones a las herramientas, y el comportamiento repetible al entrenamiento.

Una actualización de modelo no es simplemente el resultado de un cuaderno de notas. Se trata de un lanzamiento regulado, y su rastro de evidencia comienza antes del primer paso del optimizador y debe sobrevivir a una reversión en producción.

Lo que sigue analiza la típica caja de herramientas posterior al entrenamiento desde la perspectiva de un agente empresarial, un objetivo muy diferente al de un modelo de referencia. Temas abordados:

• decidir si un defecto debe clasificarse entre los prompts, la recuperación de información, la memoria, las herramientas o los pesos;
• construir una capa de datos que sea legal y resistente a la contaminación;
• escoger entre continuar con el preentrenamiento, el ajuste fino supervisado, LoRA, QLoRA, DoRA y el ajuste fino completo;
• adaptar DPO, IPO, KTO, ORPO y SimPO a la estructura de los datos de preferencias;
• diferenciar los problemas que resuelven PPO, GRPO, DAPO, GSPO, RLOO y el entrenamiento con recompensas verificables;
• utilizar la destilación maestro-alumno para convertir capacidades avanzadas en soluciones viables desde el punto de vista económico;
• registrar, evaluar, probar con versiones de prueba, monitorear y revertir adaptadores como componentes de producción.

Un único caso en curso abarca todo lo siguiente: INV-22041, una investigación de ventas con múltiples agentes para el inquilino acme-eu. Está compuesto por cuatro etapas lógicas (Enriquecimiento, Suficiencia de datos, Prueba de hipótesis e Informe). Cada etapa cuenta con herramientas y subprocesos propios, pero el contrato de capacitación permanece visible en cada límite de etapa.

Cuándo la capacitación es la solución adecuada

Recurre a la capacitación cuando el cambio deseado se repite, puede medirse y es lo suficientemente estable como para quedar incorporado en los parámetros del sistema, y cuando aplicarlo en otro lugar resultaría más costoso. Por lo general, es el primer paso incorrecto cuando lo que cambia es una política, un catálogo, el nombre de un cliente, el precio actual, un permiso o un esquema de herramientas que podría gestionarse mediante una restricción.

Elige la capa menos irreversible que permita solucionar el defecto:

1. Un prompt o paquete del sistema gestiona el comportamiento explícito que el modelo base ya sigue de manera fiable.
2. RAG se encarga del conocimiento empresarial actual que debe poder atribuirse a una fuente concreta.
3. Memoria almacena las preferencias indicadas por el usuario, las asociaciones duraderas y los resultados aprobados anteriormente.
4. Controles de herramientas y esquemas brindan determinismo, autorización y control sobre los efectos secundarios.
5. SFT o PEFT se enfoca en la estructura recurrente de las respuestas, la gramática de las herramientas, los patrones de recuperación y el estilo del dominio.
6. Optimización de preferencias se aplica cuando varias salidas son válidas pero una es consistentemente mejor.
7. Aprendizaje por refuerzo se utiliza cuando el éxito solo puede evaluarse tras una secuencia de decisiones.

Ejecuta INV-22041 siguiendo el mismo procedimiento. Saber que “América del Norte” corresponde al nodo de región aprobado NA_01 es una tarea que debe gestionarse mediante memoria controlada o metadatos. Vincular tenant_id, utilizar la capa semántica de solo lectura y devolver JSON tipado en cada solicitud SQL forma parte del contrato de ejecución así como del comportamiento de las herramientas entrenables. Preferir una explicación breve y citada en lugar de una historia persuasiva pero sin citaciones es un objetivo excelente para el entrenamiento de preferencias.

Un error frecuente: realizar ajustes finos con los documentos empresariales más recientes. El modelo puede memorizar declaraciones obsoletas o restringidas, perdiendo al mismo tiempo la información de origen, los derechos de eliminación y las semánticas de autorización.

Elige el método según la supervisión que dispongas

Los equipos suelen comenzar con el nombre de un algoritmo. En cambio, debes empezar con las pruebas reales que tienes a tu disposición.

• Con indicaciones asociadas a respuestas de calidad óptima o rastros de herramientas eficaces, utilice SFT.
• Con respuestas seleccionadas y rechazadas, recurra a métodos de clase DPO.
• Con etiquetas independientes que indiquen si las salidas son deseables o no, y sin asociaciones, KTO es la opción adecuada.
• Si un evaluador determinista puede calificar cada resultado (validez de SQL, respuesta exacta, pruebas unitarias, verificaciones de políticas), la optimización basada en recompensas verificables como GRPO o RLVR es la solución adecuada.
• Cuando la calidad es subjetiva y no puede reducirse a una regla en la que todos confíen, el modelo clásico de recompensas junto con la configuración PPO sigue siendo relevante.

Nada de esto es cuestión de ideología. Cada elección refleja lo que sus datos pueden demostrar.

Una invariante de lanzamiento que vale la pena mantener

Para cada ejemplo de entrenamiento, registre una tupla que contenga el ID del ejemplo y su origen, las razones por las cuales se otorgó el consentimiento y con qué finalidad, a qué inquilino pertenece, la versión de la política, el hash de la transformación aplicada, el grupo al que fue asignado, y qué versión de etiquetador o calificador lo generó. Después del despliegue, dicha tupla permite responder a las preguntas difíciles: ¿De dónde proviene un comportamiento determinado? ¿Estaba autorizado el ejemplo? ¿Podría filtrarse entre inquilinos? ¿Qué transformación lo generó? ¿Apareció también en la evaluación?

El plano de datos empresarial

La mayoría de los fallos posteriores al entrenamiento comienzan antes de que este tenga lugar. Un objetivo bien definido no puede salvar ejemplos que estén contaminados, no autorizados o mal especificados.

El origen precede al preprocesamiento

Cada fuente bruta necesita un propietario, un método de recolección, una base de licencia o consentimiento, un propósito permitido, una regla de retención, una zona geográfica, una clase de sensibilidad e un identificador de linaje. No descarte esos metadatos cuando los documentos o rastros se conviertan en ejemplos de entrenamiento. El ejemplo final debe seguir siendo rastreable hasta las fuentes originales y a cada transformación aplicada.

Privacidad, secretos y minimización de datos

La redacción es necesaria, pero aún no es suficiente. Un conjunto de datos puede no tener nombres evidentes y, sin embargo, contener lógica empresarial confidencial, identificadores raros, valores específicos de clientes o secretos recuperables. Tenga en cuenta los siguientes puntos:

• realice búsquedas de PII y secretos tanto antes como después de la transformación;
• mantenga a los usuarios aislados mediante muestreo, almacenamiento y evaluación;
• filtre según el propósito y no solo según el acceso;
• Verificar la presencia de duplicados cercanos en los conjuntos de prueba y los corpora protegidos;
• Registrar la línea de destrucción de datos para que una solicitud de derechos llegue a los datos brutos, ejemplos derivados, puntos de control, adaptadores, cachés y artefactos de evaluación.

La contaminación puede medirse

Funciona una métrica operativa sencilla: la tasa de contaminación es el número de elementos de evaluación contaminados dividido entre el número total de elementos de evaluación. Por “contaminados” se entienden los duplicados exactos, los duplicados cercanos, las paráfrasis que contienen la respuesta y los ejemplos sintéticos derivados de los elementos de evaluación. En el caso de una evaluación que define un lanzamiento, el objetivo es cero.

Las etiquetas humanas requieren un contrato

Un conjunto de datos de preferencias sin rúbrica se convierte en un conjunto de datos basado en los gustos del anotador. Para la fase de informes, una rúbrica útil los clasifica en orden:

1. Conformidad con la autorización y la privacidad;
2. soporte fáctico y citas correctas;
3. validez estadística;
4. incertidumbre calibrada;
5. completitud;
6. concisión y estilo.

El grado de acuerdo debe medirse. Para dos evaluadores, el kappa de Cohen es el acuerdo observado menos el acuerdo esperado por casualidad, dividido entre uno menos el acuerdo por casualidad. La parte observada corresponde a la proporción de etiquetas en las que los evaluadores coinciden, mientras que la parte por casualidad proviene de las frecuencias de etiquetas de cada evaluador. Un kappa bajo indica que la rúbrica, los ejemplos o la formación de los evaluadores necesitan correcciones, y más iteraciones no solucionarán una señal débil.

Así es un registro de entrenamiento en producción

El artefacto útil no es simplemente un par de instrucciones y respuesta. Es un registro que permite realizar uniones de gobernanza y uniones de evaluación:

{
  "example_id": "inv22041-sft-01842",
  "tenant_scope": "synthetic-enterprise",
  "purpose": "tool_format_and_recovery",
  "messages": [
    {"role": "user", "content": "Why are sales down in the last quarter?"},
    {"role": "assistant", "content": "I will use the previously approved Q2 FY2026 scope and test the cited hypotheses."}
  ],
  "tool_trace": {
    "name": "query_semantic_layer",
    "arguments": {"tenant_id": "acme-eu", "region_id": "NA_01", "period": "FY2026-Q2"}
  },
  "source_ids": ["memory:m-492", "schema:v17", "policy:p-31"],
  "transform_hash": "sha256:…",
  "split": "train"
}

Los valores se crean intencionadamente. El diseño no: un único objeto contiene el contenido junto con quien lo autorizó, de dónde proviene y cómo se identifica en la evaluación.

SFT, preentrenamiento continuo y entrenamiento intermedio

La gente agrupa estas técnicas bajo el término “ajuste fino”, pero cada una optimiza una distribución de datos diferente.

Ajuste fino supervisado

SFT hace que el modelo imite una respuesta o trayectoria objetivo. La pérdida es una suma negativa sobre las posiciones: una máscara multiplicada por la probabilidad logarítmica que el modelo asigna al token objetivo, teniendo en cuenta la entrada y los tokens objetivo anteriores. En esa fórmula, x es el contexto de entrada, yₜ es el token objetivo en la posición t, la máscara mₜ se activa (1) para los tokens que están bajo supervisión y se desactiva (0) para el prompt, el relleno y cualquier elemento excluido, y θ representa los parámetros entrenables.

Los tokens de sistema, usuario, resultado de herramienta y relleno proporcionan contexto sin generar gradientes. Solo los tokens objetivo del asistente seleccionado contribuyen a la pérdida bajo supervisión.

La máscara es importante. Si los tokens de usuario y sistema se incluyen por error, el modelo aprende a reproducir la conversación en lugar de responderla.

Qué hace realmente el objetivo de entropía cruzada

En cada posición supervisada, el modelo genera un logit por cada token del vocabulario, y una función softmax convierte esos logits en probabilidades. En la función softmax, la probabilidad de un token es su logit exponenciado dividido por la suma de los logits exponenciados de todo el vocabulario, de modo que los resultados son positivos y suman uno.

Luego, la entropía cruzada cobra al modelo según el log negativo de la probabilidad que asignó al token correcto. Un token correcto con una probabilidad del 0.8 cuesta aproximadamente 0.223. Con una probabilidad del 0.01, cuesta aproximadamente 4.605. Por lo tanto, los errores cometidos con certeza generan gradientes mucho mayores que las predicciones que ya son correctas.

Una consecuencia es de gran importancia en las empresas. Un conjunto modesto de ejemplos de herramientas de alta calidad puede corregir de manera efectiva un defecto de formato sistemático, siempre y cuando el objetivo sea claro e inequívoco. Cuando dos ejemplos presentan solicitudes semánticamente idénticas acompañadas de esquemas de herramienta contradictorios, la pérdida genera predicciones incompatibles.

La pérdida de secuencia, la pérdida de tokens y la importancia empresarial difieren

La pérdida de secuencia se calcula normalmente promediando los tokens supervisados, es decir, la suma de las pérdidas de tokens enmascarados dividida entre el número total de tokens supervisados. Dado que un informe de 500 tokens genera aproximadamente cincuenta veces más pérdidas de tokens que un rechazo de 10 tokens, un conjunto de datos con cantidades iguales de ambos tipos aún puede verse dominado por los informes durante el proceso de optimización.

Cuando la corrección de rechazos, la vinculación con el inquilino o la selección de herramientas tienen importancia comercial, los ejemplos por sí solos no reflejan esa importancia. Las opciones son:

• equilibrar lotes según la clase de comportamiento;
• dar mayor peso a los ejemplos o a los tokens seleccionados;
• acortar los objetivos demasiado detallados;
• sobre-muestrear casos límite poco frecuentes;
• separar la calidad de generación de las verificaciones contractuales en la evaluación.

Cualquier tipo de ponderación debe ser explícita. Un muestreador que nadie registró forma parte del objetivo, aunque la ecuación de pérdida nunca lo mencione.

Forzamiento por parte del instructor y sesgo de exposición

Bajo el SFT, cada token se predice después de los tokens objetivo correctos anteriores. En tiempo de ejecución, el modelo lee en cambio lo que él mismo generó, por lo que un pequeño error puede llevarlo a un estado que el entrenamiento nunca mostró.

En el caso de un agente, esa brecha se manifiesta como fallos en cadena de las herramientas:

1. El modelo emite un identificador de entidad que está ligeramente incorrecto.
2. La herramienta devuelve un resultado vacío.
3. El modelo nunca ha visto ese estado.
4. Invierte un resultado y no corrige la consulta.

Incluya trayectorias de recuperación junto con las demostraciones perfectas. La destilación on-policy y el aprendizaje por refuerzo abordan más directamente el mismo cambio de distribución posteriormente.

Enmascarar correctamente las conversaciones con herramientas

Una transcripción realista contiene la política del sistema, el lenguaje del usuario, el razonamiento del asistente, los argumentos de la herramienta, los resultados de la herramienta y una respuesta final. Decida qué tokens deben enseñar el comportamiento:

• Los tokens del sistema y del usuario suelen recibir un máscara de 0;
• Las llamadas a herramientas del asistente suelen recibir un máscara de 1;
• La salida bruta de la herramienta generalmente recibe un máscara de 0, ya que se trata de una observación del entorno y no de un lenguaje que el asistente deba imitar;

El análisis del asistente o el razonamiento oculto sigue las reglas del proveedor del modelo y la política de despliegue;

la respuesta final recibe el valor de máscara 1.

Si se supervisa accidentalmente la salida de la herramienta, el modelo podría aprender a fabricar resultados de la base de datos. Si se excluyen accidentalmente los argumentos de la herramienta, el estilo de los informes puede mejorar mientras la fiabilidad de la herramienta permanece exactamente igual.

Empaquetado sin fugas entre ejemplos

Supongamos que los ejemplos A, B y C utilizan 700, 900 y 1,100 tokens respectivamente. Colóquelos cada uno en su propia secuencia de 4,096 tokens; en promedio, solo alrededor del 22% de las posiciones asignadas se utilizan. El empaquetado aumenta la tasa de utilización, aunque una secuencia combinada necesita medidas de protección:

• se debe respetar la forma en que el modelo maneja las posiciones;
• todo aquello que no debería ser aprendido (rellenos, roles excluidos) recibe la etiqueta de ignorar del marco, generalmente −100;
• La atención no debería transferirse de un ejemplo a otro si el método los trata como independientes;
• Las solicitudes de depuración y eliminación siguen necesitando que los metadatos de cada ejemplo sean recuperables.

Un error frecuente: activar packing=True y asumir que el valor por defecto de la biblioteca se adapta al template de chat, a la implementación de la atención y a la política de pérdida. Revise un lote visualmente: entradas decodificadas, etiquetas, máscaras, límites de los ejemplos y conteos de tokens supervisados.

Para un agente empresarial, los ejemplos de SFT más valiosos son aquellos con argumentos de herramienta válidos, comportamiento de aclaración, rechazos estructurados, recuperación ante resultados vacíos, gramática de citación y transferencias entre agentes. Incluya casos límite negativos en la evaluación incluso cuando los datos de entrenamiento solo contengan respuestas deseadas.

Preentrenamiento continuo

El preentrenamiento continuo aplica el objetivo de token siguiente simple al texto del dominio. Úsalo cuando el modelo base nunca ha estado expuesto realmente al vocabulario, la notación o la variedad general de texto de un campo específico. Enseñarle una política operativa de forma precisa es algo que hace muy mal.

El olvido catastrófico representa el riesgo principal aquí: la perplejidad en el dominio específico disminuye, mientras que el modelo tiene dificultades para seguir instrucciones generales, manejar otros idiomas, mantenerse seguro o utilizar herramientas. Mantén los datos de reproducción a mano y establece límites mínimos para sus capacidades generales.

Mezclar datos del dominio con datos de reproducción

Denomínese a la nueva distribución de dominios D_domain y D_replay una muestra de las capacidades que deben conservarse. Un objetivo de mezcla simple suma una pérdida esperada ponderada en los datos del dominio a una pérdida esperada ponderada en los datos de reproducción. Ninguno de estos pesos es una constante universal; un modelo local altamente especializado puede aceptar un peso mayor para el dominio, mientras que un modelo base empresarial compartido suele requerir un término de preservación más fuerte.

Observe al menos tres curvas por separado: la pérdida de validación del dominio, la pérdida de validación de la reproducción y las evaluaciones de comportamiento posteriores. Una pérdida combinada más baja puede ocultar que la curva de reproducción está empeorando, por lo que las condiciones de detención deben incluir no solo la convergencia del dominio sino también umbrales de preservación.

La tasa de aprendizaje determina el radio de impacto

El preentrenamiento continuo modifica muchos más parámetros que un pequeño adaptador, y una tasa de aprendizaje adecuada para un adaptador puede dañar un modelo base denso. Utilice planes de entrenamiento conservadores, haga checkpoints con frecuencia y evalúe los checkpoints intermedios, ya que el paso final del optimizador no es necesariamente el mejor checkpoint para entornos empresariales.

La cantidad de tokens también influye en el cambio efectivo. Una tasa de aprendizaje muy baja aplicada a miles de millones de tokens puede provocar cambios mayores en el modelo que una tasa más alta aplicada a un conjunto pequeño y seleccionado, por lo que registre el total de tokens y pasos del optimizador, y no solo el conteo de épocas.

Entrenamiento intermedio

El entrenamiento intermedio se sitúa entre el preentrenamiento amplio y el postentrenamiento final. Los registros curados de contexto largo, razonamiento, multimodal o de agente modifican las capacidades antes de que se produzca la alineación. En el caso de INV-22041, esto podría significar registros de investigación extensos en los que el agente ve un resultado SQL vacío, se pregunta si el problema radica en la resolución temporal o en el mapeo semántico, corrige la consulta, actualiza su conjunto de hipótesis y escribe un registro compacto de pruebas.

El empaquetado coloca varias secuencias cortas en una sola ventana de contexto, lo que mejora la utilización, pero los ejemplos requieren entonces límites de atención y pérdida adecuados. Un empaquetador deficiente permite que el ejemplo de un cliente afecte al de otro sin ninguna advertencia.

SFT o entrenamiento intermedio: un diagnóstico

Pregúntese si el comportamiento deseado puede mostrarse con una pareja de entrada-salida bastante corta.

• Si es posible, comience con SFT.
• El entrenamiento intermedio resulta útil cuando la tarea depende de que el modelo evalúe cuán organizados están los documentos, avance a través de estados multietapa o maneje una combinación de contexto distinta a la que ha visto anteriormente.
• Si la información faltante cambia con regularidad, ninguno de estos enfoques sirve, y la recuperación o el uso de herramientas es la solución.

Para INV-22041, un JSON SQL válido constituye un objetivo de entrenamiento SFT. Las trayectorias largas cuidadosamente seleccionadas pueden ayudar al agente a recuperarse en una investigación de 30 pasos con varias hipótesis fallidas. La cifra de ventas de hoy sigue siendo un dato en tiempo real.

Ajuste eficiente en términos de parámetros: LoRA, QLoRA, DoRA y ajuste por prefijo

El ajuste fino eficiente en términos de parámetros debería ser la opción predeterminada en las empresas, ya que mantiene un modelo base compartido aparte de pequeños cambios versionados en el comportamiento.

LoRA

LoRA congela una matriz de pesos W y aprende una actualización de rango bajo. La matriz adaptada es igual a W más el producto de dos matrices pequeñas B y A, escalado por alfa dividido entre el rango r.

Supongamos que W mapea 4096 entradas a 4096 salidas y que el rango es 16. La matriz densa contiene entonces aproximadamente 16,8 millones de parámetros, mientras que las dos matrices LoRA tienen solo 131,072 parámetros entrenables para esa proyección (16 × 4096 más 4096 × 16). Eso representa alrededor del 0,78% de la matriz densa.

Tres configuraciones definen las capacidades del adaptador: el rango establece su capacidad, alfa dividido entre el rango escala la actualización, y los módulos objetivo determinan dónde puede adaptarse el modelo. Los tres forman parte de la identidad del modelo y deben registrarse.

Por qué un rango bajo puede ser suficiente

Una actualización densa permite que cada dirección de entrada-salida cambie por separado. LoRA parte de la idea de que la actualización específica para una tarea reside en un subespacio intrínseco mucho más pequeño. En lugar de aprender valores de d_out × d_in, solo aprende r(dᵢ + dₒ), donde dᵢ representa la anchura de la entrada y dₒ la anchura de la salida.

Para una proyección cuadrada de 4096 por 4096 con rango 16, las cifras son:

• una actualización densa requeriría 16,777,216 parámetros;
• la actualización LoRA necesita 131,072;
• la fracción entrenable es 0.0078125, o el 0.78125 %.

Esos valores describen una sola proyección. Un adaptador real está dirigido a muchas proyecciones a lo largo de numerosas capas, por lo que se deben contar los parámetros entrenables del modelo implementado y no hacer extrapolaciones a partir de una sola matriz.

El término de escalamiento no es meramente estético

Con alpha en 32 y rango 16, el multiplicador de LoRA es 2. Al aumentar el rango a 64 mientras alpha se mantiene en 32, el multiplicador disminuye a 0.5. Las matrices aprendidas y la dinámica de optimización cambian, aunque el conjunto de datos y el modelo base no lo hagan.

Algunas implementaciones utilizan una escala estabilizada por rango, proporcional a alpha dividido entre la raíz cuadrada del rango, en lugar de alpha dividido por el rango. Esto altera las comparaciones entre rangos. Registre la convención de escala, la versión de la biblioteca, la inicialización y el dropout.

Dónde adjuntar los adaptadores

Cada proyección de atención desempeña un papel diferente:

• q_proj da forma a la pregunta que el token actual plantea al contexto;
• k_proj determina cómo los tokens anteriores indican su contenido;
• v_proj establece el contenido que realmente se extrae de ellos;
• o_proj determina cómo se escribe la salida de la atención de vuelta en el flujo residual.

Las proyecciones de MLP dan forma a la transformación de las características y pueden ser importantes para el comportamiento del dominio. Ajustar únicamente las proyecciones de consulta y valor es un punto de partida común, pero no una regla. Una matriz de ablación debe variar los módulos y el rango objetivo, y registrar el número de parámetros entrenables, la ganancia en la tarea, el olvido, la latencia y el tamaño de los artefactos.

Componer adaptadores no es automáticamente aditivo

Dos adaptadores que funcionan bien por separado pueden seguir chocando una vez que ambos están activos. Sus deltas pueden empujar las mismas capas en direcciones contradictorias, modificar las estadísticas de activación o depender de paquetes de sistema diferentes. Trata una composición como una receta nueva: los pesos resultantes son la base más el delta de cada adaptador multiplicado por su escala sᵢ. Esa ecuación parece sencilla, pero las proyecciones actualizadas pasan de forma no lineal por capas de atención, normalización y MLP, por lo que debes probar la composición tal como se presenta.

QLoRA

QLoRA almacena la base congelada en formato de 4 bits, mientras que los gradientes solo fluyen hacia los adaptadores LoRA. Se basa en NF4, una doble cuantización de las constantes de cuantización, y optimizadores paginados que absorben los picos de memoria.

Existen dos diferencias clave que evitan errores en la producción:

• QLoRA es una técnica de memoria de entrenamiento. No define por sí sola la cuantización para la ejecución.
• Un adaptador por sí solo no demuestra que la implementación cuantizada se comporte de manera equivalente. Repita las evaluaciones de calidad, latencia, fugas y uso de herramientas en la versión que realmente se sirve.

Por qué son importantes NF4 y la cuantización doble

Los enteros normales de 4 bits dividen un rango en valores equidistantes. Los pesos preentrenados suelen estar cerca de una distribución normal, por lo que la distribución equidistante utiliza de forma ineficiente sus niveles de representación. NF4 coloca los valores de manera que se ajusten mejor a dicha distribución.

La cuantización por bloques asigna a cada bloque su propia escala, una constante que debe almacenarse. La cuantización doble también reduce esas constantes, lo que disminuye la carga adicional de metadatos en un modelo grande.

Como estimación aproximada para los pesos congelados, multiplique la cantidad de parámetros por los bits por peso, divida entre 8 y añada los metadatos. Almacenados idealmente en 4 bits, un modelo base de 7 mil millones de parámetros necesita unos 3,5 GB de pesos en bruto (7B × 4 / 8). Se suman además escalas, búferes, descuantización temporal, adaptadores, gradientes, estado del optimizador, activaciones y gastos adicionales del framework, por lo que la afirmación de que un modelo de 7B cabe en 3,5 GB no dice nada sobre la memoria necesaria para el entrenamiento.

QLoRA ahorra memoria tanto en los pesos base congelados como en la optimización de los adaptadores. La memoria de las activaciones sigue siendo proporcional al tamaño del lote, la longitud de la secuencia, la anchura de la capa y la política de guardado de puntos de control, lo que significa que el entrenamiento con contexto largo puede seguir estando limitado por las activaciones incluso con pesos de 4 bits.

Optimizadores paginados

La verificación de puntos de activación y las secuencias largas pueden causar picos temporales en la memoria. Los optimizadores basados en paginación utilizan memoria gestionada para mover las páginas del optimizador entre la CPU y la GPU según sea necesario. Esto puede evitar fallos por falta de memoria, aunque la paginación podría reducir el rendimiento. Mida el tiempo real y la presión en la memoria del servidor, y no considere que una asignación exitosa signifique una optimización exitosa.

DoRA

DoRA divide un peso en una magnitud y una dirección, aplicando la actualización de rango bajo principalmente a la dirección. El peso adaptado es una magnitud aprendida m multiplicada por la matriz actualizada W + ΔW, normalizada columna por columna. Aquí ΔW representa la actualización al estilo LoRA. La idea es que la magnitud y la dirección desempeñan roles diferentes, y separarlas permite recuperar calidad con rangos modestos, a cambio de cierta complejidad adicional.

El denominador de normalización fija cada dirección actualizada, y m controla luego su magnitud. Eso acerca a DoRA a los grados de libertad disponibles en el ajuste fino completo, a costa de más parámetros y operaciones. La pregunta clave es empírica: ¿sobrevive la mejora en calidad al entrenamiento adicional, así como a la complejidad en el servicio y el registro?

Ajuste de prefijo y de prompt

El ajuste de prefijo aprende tokens virtuales continuos que dirigen la atención sin modificar los pesos base. Eso lo hace compacto y adecuado para un control específico, aunque expresa menos que LoRA cuando el objetivo es la gramática de herramientas o un comportamiento de múltiples pasos.

Sidecar o fusión?

Los adaptadores Sidecar son adecuados para la isolación de inquilinos o tareas, el rollback rápido, el enrutamiento A/B y la capacidad de auditoría. La fusión solo es apropiada para versiones destinadas a permanecer inmutables, una vez que se ha evaluado y registrado el checksum resultante de la fusión.

Los Sidecars también permiten el enrutamiento según el propósito declarado, de modo que un adaptador de informes no puede activarse silenciosamente durante el modo de Suficiencia de datos. La decisión del enrutador debe quedar registrada en el seguimiento, junto con el ID del adaptador, su escala, el checksum base y la razón de la decisión.

La fusión reduce la carga adicional del adaptador durante su ejecución y puede simplificar el despliegue, aunque difumina la distinción clara entre el modelo base y las modificaciones en su comportamiento. Es necesario conservar la línea de evolución sin fusionar, verificar el checksum del modelo fusionado y nunca fusionar en un modelo base “más reciente” que no esté fijado. Una configuración de entrenamiento compacta se presenta de la siguiente manera:

from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
lora = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM",
)
trainer = SFTTrainer(
    model=base_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=lora,
    args=SFTConfig(
        output_dir="runs/inv22041-sft-v3",
        assistant_only_loss=True,
        packing=True,
        max_length=4096,
    ),
)
trainer.train()

Las líneas importantes incluyen más que r=16 y lora_alpha=32. assistant_only_loss=True protege el límite de pérdida, los módulos de destino fijados definen el alcance del adaptador, y el empaquetado debe ser compatible con las máscaras del template de chat.

Optimización de preferencias sin conexión

SFT le indica al modelo que imite. La optimización de preferencias le indica que se dirija hacia una opción entre alternativas plausibles. Tomemos dos informes sobre la misma investigación, ambos gramatical y estadísticamente sólidos. El elegido cita las pruebas relevantes, indica sus suposiciones y se detiene allí. El rechazado añade una historia causal no respaldada. Esa pareja transmite una señal más fuerte que otra respuesta perfecta.

La perspectiva de Bradley-Terry

Los modelos de preferencias por pares suelen partir de una afirmación: la probabilidad de que la respuesta yʷ supere a la respuesta yˡ para la entrada x es la función sigmoide de la diferencia en recompensas, σ[r(x, yʷ) − r(x, yˡ)]. Aquí yʷ es la respuesta elegida, yˡ la rechazada, y r representa una recompensa implícita o explícita. Solo importa la diferencia entre las dos recompensas.

DPO

DPO optimiza una política directamente sobre pares de preferencias al vincularla a una política de referencia. La pérdida es el log-sigmo negativo de beta multiplicado por un margen, y el margen representa cuánto aumentó la probabilidad logarítmica de la política para la respuesta elegida con respecto a la del modelo de referencia, menos la misma cantidad para la respuesta rechazada. En la notación, πθ es la política en entrenamiento, π₀ es el modelo de referencia congelado, y β determina cuán fuerte es el margen de preferencia relativo al modelo de referencia.

El punto de control de referencia y beta se consideran metadatos de publicación. Cambiar cualquiera de ellos modifica el objetivo incluso cuando el conjunto de datos es idéntico.

Un cálculo de DPO ejemplificado

Supongamos que la política actual y la de referencia generan estas probabilidades logarítmicas de secuencia:

• política actual, respuesta elegida: −8.0;
• modelo de referencia, respuesta elegida: −9.0;
• Política actual, informe rechazado: −7.5;
• Referencia, informe rechazado: −7.0.

En relación con la referencia, la política mejoró la respuesta elegida en −8.0 − (−9.0) = 1.0. En cuanto a la respuesta rechazada, el cambio es −7.5 − (−7.0) = −0.5. El margen de DPO es 1.0 − (−0.5) = 1.5. Con beta = 0.2, beta multiplicado por el margen da 0.3, y la pérdida es −log σ(0.3), aproximadamente 0.554.

La política obtiene puntos positivos porque elevó la respuesta elegida en relación con la referencia y redujo la respuesta rechazada. Un margen negativo generaría una pérdida mayor, y los gradientes invertirían ese orden.

El cálculo también muestra por qué es importante la referencia. DPO no solo pregunta cuál respuesta tiene una probabilidad bruta más alta. En este ejemplo, la respuesta rechazada sigue teniendo una probabilidad logarítmica actual más alta (−7.5 frente a −8.0), pero la política se movió en la dirección correcta en relación con la referencia.

La longitud forma parte de la señal

La probabilidad logarítmica de una secuencia es la suma de las probabilidades de cada token, por lo que las secuencias más largas tienden a acumular más probabilidades logarítmicas negativas. La construcción de los conjuntos de datos y las variantes del objetivo abordan esto de diferentes maneras.

Si los informes seleccionados son consistentemente más cortos que los rechazados, el modelo podría aprender la brevedad en lugar de la disciplina basada en evidencias. Si los informes seleccionados son más largos, podría aprender la verbosidad. Estratifique las parejas de preferencias según la diferencia de longitud y verifique si las mejoras en la tasa de éxito se mantienen en evaluaciones con control de longitud.

SimPO utiliza la probabilidad logarítmica promedio, que se normaliza según la longitud de la secuencia, y agrega un margen de recompensa objetivo. Esto reduce la dependencia de un modelo de referencia separado, pero conlleva sus propios criterios de margen y escalamiento. No tener modelo de referencia no significa no tener hiperparámetros.

Fuerza de la preferencia y desacuerdo

Una pareja binaria solo indica que y_w ganó. No especifica si la victoria fue evidente o por poco. Cuando sea posible, preserve los votos de los evaluadores, su confianza, las dimensiones de la rúbrica y los desacuerdos.

Una división de 3 a 2 entre evaluadores no necesita tener el mismo peso en el entrenamiento que un veredicto unánime de 5 a 0. Disminuir el peso de las parejas ambiguas también tiene sus costos, ya que las preferencias minoritarias válidas pueden desaparecer. Verifique según el grupo de usuarios, el idioma, la geografía y la clase de tarea antes de elegir una regla de ponderación.

Deriva del modelo de referencia

Se supone que el entrenamiento de preferencias debe comenzar con sft-v3, pero el ejecutor de DPO carga silenciosamente sft-latest. La referencia matemática ha cambiado. Es necesario almacenar tanto la política de inicialización como la política de referencia congelada utilizada en el cálculo de pérdida. Por lo general son las mismas, aunque no necesariamente, y la reproducibilidad exige tanto los identificadores como los checksums.

Los métodos relacionados

• IPO sustituye el impulso ilimitado de la pérdida de preferencias logísticas por un objetivo finito de tipo margen, lo cual ayuda cuando las etiquetas deterministas podrían hacer que DPO sobreajuste.
• KTO aprende a partir de ejemplos etiquetados como deseables o no deseables de forma independiente, por lo que no se requieren salidas emparejadas.
• ORPO combina el aprendizaje por instrucciones con una penalización por razón de probabilidades en un único objetivo, sin un modelo de referencia separado.
• SimPO no utiliza referencia alguna, empleando la probabilidad logarítmica de secuencias normalizada por longitud más un margen objetivo.

Ningún método hace innecesarios los tests de fuga o una línea de base de SFT. El entrenamiento basado en preferencias puede aumentar la tasa de éxito, pero degrada la calibración, la longitud de las respuestas, los límites de rechazo o las porciones correspondientes a minorías.

Elegir dentro de la familia DPO

Tome la decisión mediante un registro de decisiones y no según tendencias:

• elija DPO para pares bien formados y un modelo de referencia estable que sea económico de ejecutar;
• pruebe IPO cuando preferencias deterministas o de bajo ruido llevan a DPO a márgenes excesivos;
• elija KTO cuando los comentarios llegan como resultados independientes de bueno o malo y el emparejamiento resultaría artificial;
• pruebe ORPO si una sola fase que combine SFT y aprendizaje de preferencias simplifica las operaciones;
• Pruebe SimPO si el límite más estricto es la memoria disponible para un modelo de referencia y si las recompensas normalizadas por la longitud de la secuencia son adecuadas para la tarea.

Comience cada candidato a partir de una línea de base SFT y dele la misma división de datos, conjunto de evaluación y presupuesto de cálculo. Si las configuraciones difieren, está comparando pipelines y no objetivos. Una configuración mínima de DPO se ve así:

from trl import DPOConfig, DPOTrainer
trainer = DPOTrainer(
    model=sft_model,
    ref_model=reference_sft_model,
    train_dataset=preference_dataset,
    args=DPOConfig(
        output_dir="runs/inv22041-dpo-v1",
        beta=0.2,
        max_length=4096,
        max_prompt_length=2048,
    ),
)
trainer.train()

La referencia debe ser el punto de control indicado en el manifiesto de ejecución, y nunca lo que el registro de modelos denomine actualmente “latest.”

RLHF clásico: modelo de recompensas, PPO y RLAIF

El RLHF clásico ejecuta tres modelos simultáneamente. La política escribe las respuestas candidatas, un modelo de recompensas las califica y PPO ajusta la política, evitando cambios demasiado grandes que puedan desestabilizarla.

PPO se basa en un objetivo sustituto recortado. En resumen, toma el mínimo esperado entre el cociente de probabilidades multiplicado por la ventaja y el cociente recortado multiplicado por la ventaja, y luego resta una penalización KL que mide la divergencia con respecto a una referencia. Los símbolos significan lo siguiente:

• ρₜ es el cociente de probabilidades entre las políticas nuevas y antiguas;
• Aₜ estima si la acción seleccionada superó las expectativas;

ε determina el tamaño máximo que puede tener una actualización de la política;

la penalización KL mantiene a la política cerca de un punto de referencia.

Elige esta combinación cuando la calidad es verdaderamente subjetiva, existen suficientes comparaciones para desarrollar un modelo de recompensas, y la optimización en línea de la política justifica la complejidad operativa adicional.

Entrenamiento del modelo de recompensas

Un modelo de recompensas suele aplicar la misma pérdida Bradley-Terry entre pares: el logaritmo negativo de la función sigmoide del puntaje aprendido para la respuesta elegida, menos el puntaje de la respuesta rechazada. La función de puntuación rφ es una función escalar aprendida con parámetros φ, entrenada para clasificar las respuestas elegidas por encima de las rechazadas.

El valor absoluto de una recompensa no tiene significado por sí mismo. Una puntuación de 7 no significa “siete unidades de calidad”, y solo las comparaciones dentro de la distribución operativa calibrada son informativas. La escala de las recompensas puede variar de un punto de control, conjunto de datos o clase de prompt a otro.

Trate el modelo de recompensas como un sistema de clasificación y mida:

• la precisión en los pares reservados;
• la calibración mediante la diferencia de puntuaciones;
• la concordancia con las etiquetas humanas por segmentos;
• la resistencia a entradas adversarias;
• la sensibilidad a la longitud, el formato, la cantidad de citas y los términos de identidad;
• el comportamiento fuera de la distribución.

Reserve un conjunto de oro que nunca entrene el modelo de recompensas ni guíe la optimización de la política. De lo contrario, la política podría sobreajustarse a su evaluador mientras el panel muestra progreso.

Recorte PPO con números reales

Supongamos que la política antigua asigna una probabilidad de acción de 0.20 y la política actualizada, de 0.25. La relación es 0.25 / 0.20 = 1.25. Con ε = 0.2, el recorte limita la relación a 1.20. Para una ventaja positiva de 2:

• el valor sin recorte es 1.25 × 2 = 2.50;
• el valor recortado es 1.20 × 2 = 2.40;
• PPO toma el valor más pequeño, 2.40.

La actualización sigue reforzando la acción, pero no puede obtener todo el beneficio objetivo debido a un gran aumento en la probabilidad.

Cuando la ventaja es negativa, tomar el valor mínimo impide que el optimizador aproveche el recorte en la dirección opuesta. Ese paso cauteloso es la razón por la cual la versión basada en la política antigua y la versión de despliegue permanecen inmutables durante todo el lote.

El controlador KL

El término KL desalienta que la política se desvíe demasiado de una referencia. La recompensa ajustada es la recompensa aprendida menos un coeficiente βᴋʟ multiplicado por la divergencia KL entre la política y la referencia. Si βᴋʟ es demasiado pequeño, la política podría explotar el modelo de recompensas, volverse repetitiva o perder calidad lingüística. Si es demasiado grande, el aprendizaje se detiene. Algunos sistemas adaptan el valor de beta para mantener la divergencia KL dentro de un rango objetivo.

Se debe seguir la divergencia KL según la posición del token y el fragmento de tarea, y no solo como un promedio global. Un promedio modesto puede ocultar cambios significativos en las negativas, las llamadas a herramientas o los idiomas minoritarios.

El método actor-critic

El PPO clásico suele requerir seis componentes. Está el agente que se está entrenando, además de una instantánea congelada de su versión anterior, una política de referencia que sirve de anclaje para el término KL, y un modelo de valor que actúa como crítico. Un modelo de recompensas y un motor de implementación completan la lista. Pueden compartir pesos o infraestructura mientras mantienen identidades separadas. Los métodos de preferencias fuera de línea y los métodos grupales sin crítico son atractivos porque eliminan partes de un sistema distribuido costoso y propenso a fallos.

No elija PPO solo porque sea el método canónico de RLHF. Se merece su lugar cuando optimizar con una recompensa subjetiva aprendida justifica el esfuerzo adicional para ejecutarlo y mantenerlo.

RLAIF reemplaza algunas o todas las etiquetas de preferencias humanas por juicios basados en inteligencia artificial, guiados por una constitución escrita. Lo que añade es escala, pero nunca la verdad objetiva. El contrato de datos que rige el proceso debe incluir la instrucción dada al juez y la constitución aplicada, la versión del juez utilizada, las áreas en las que los jueces difieren y cuándo interviene un ser humano.

El ataque mediante manipulación de recompensas es el fallo más peligroso: la política encuentra una característica superficial que obtiene buenas puntuaciones sin servir al objetivo real. Un modelo de recompensas empresarial podría considerar que informes más extensos, citas adicionales o frases de precaución frecuentes significan “mejor”. Las pruebas adversarias y las métricas directas de la tarea deben quedar fuera del cálculo de recompensas aprendido.

RLAIF y los juicios constitucionales

Una constitución convierte los principios en un protocolo de evaluación. En el caso de INV-22041, podría indicar al juez que priorice primero la autorización, seguida del soporte de citas, la validez estadística, la incertidumbre calibrada y la concisión.

Las etiquetas basadas en el juez añaden tres elementos adicionales para hacer seguimiento:

• la constitución y la instrucción del juez;
• el modelo del juez y su configuración de decodificación;
• la política de adjudicación para casos de desacuerdo o incertidumbre.

El sesgo de posición se manifiesta cuando se varía el orden. Intercambie los elementos seleccionados y rechazados, genere identificadores neutrales de forma aleatoria y añada pares de control revisados por humanos. Un juez que cambia su veredicto al invertir el orden no puede considerarse una fuente fiable de la verdad de las preferencias.

Aprendizaje por refuerzo con recompensas verificables

Si el éxito puede verificarse de forma mecánica, es posible que no se necesite en absoluto un modelo de recompensa aprendido. SQL puede analizarse y ejecutarse en un entorno controlado. El código puede ejecutarse contra pruebas, y una conclusión estadística puede compararse con los resultados esperados y las suposiciones iniciales.

GRPO

GRPO toma una muestra de un grupo de respuestas candidatas a una misma solicitud y normaliza sus recompensas. La ventaja de una respuesta se calcula como su recompensa menos la media del grupo, dividida entre la desviación estándar del grupo más un pequeño valor estabilizador ε.

Imagínese ocho planes SQL candidatos con recompensas que, ordenadas de peor a mejor, son −0.3, −0.2, 0, 0, 0.5, 0.8, 0.8 y 1.0. Su media es 0.325 y la desviación estándar poblacional es aproximadamente 0.47. Cada candidato se ajusta hacia arriba o hacia abajo en relación con sus pares de la muestra, lo que elimina la necesidad de un crítico entrenado por separado, aunque el método solo es tan fiable como lo lo sean sus recompensas.

Para obtener la mejor trayectoria, la ventaja normalizada es aproximadamente (1.0 − 0.325) / 0.47, es decir, alrededor de 1.44. En el caso más negativo, es (−0.3 − 0.325) / 0.47, aproximadamente −1.33.

Los números exactos dependen de si una implementación utiliza la varianza de la población o de la muestra, y de cómo se preprocesan las recompensas. Es importante fijar estos detalles, ya que afectan la escala del gradiente.

Si cada muestra recibe una recompensa de 1, la desviación estándar es cero y no existe señal relativa alguna. El valor epsilon evita la división por cero, pero no puede generar información de la cual aprender. La solución es utilizar muestreo dinámico o un currículo más exigente.

Para INV-22041, una recompensa compuesta podría requerir que:

• el JSON sea válido según el esquema;
• esté presente el predicado del inquilino;
• el SQL sea de solo lectura;
• la consulta se ejecute dentro de un límite de costo;
• Los datos devueltos son suficientes para la prueba declarada;
• el informe solo menciona las pruebas puestas a disposición del agente.

Una suma ponderada simplista permite que la excelencia en una dimensión compense una violación crítica. Considere una recompensa formada por 0,3 veces la corrección, 0,2 veces la calidad de las pruebas, 0,2 veces la validez SQL y 0,3 veces el estilo. Una consulta entre usuarios diferentes aún podría obtener una puntuación positiva si la respuesta y el estilo son buenos. Por lo tanto, la seguridad y la autorización requieren controles estrictos. En este formato, la recompensa es cero siempre que falla la autorización o ocurre una fuga de datos protegidos. De lo contrario, es una suma ponderada de las recompensas por corrección, herramientas y pruebas, menos un término de costo ponderado.

En entornos más riesgosos, una violación puede generar una recompensa final negativa en lugar de cero. Lo importante es que no haya compensación, ya que la fluidez nunca puede compensar un acceso no autorizado.

Mantenga los componentes de recompensa de forma separada y observable. El optimizador necesita un valor escalar, pero un panel de control que muestre por separado la corrección, la autorización, la validez de la herramienta, la calidad de las pruebas, el costo y la longitud permite diagnosticar posibles manipulaciones de las recompensas.

La normalización de recompensas puede ocultar la magnitud del negocio

La normalización por grupo solo se preocupa por el orden relativo dentro de una misma solicitud. Si todos los candidatos son deficientes y uno es ligeramente mejor, ese último puede obtener una ventaja positiva. Aún así, se necesitan límites mínimos absolutos.

El caso opuesto ocurre cuando todos los candidatos son correctos. Aunque esto demuestra un comportamiento de producción saludable, ofrece poca información útil. Mantenga esas solicitudes en la evaluación, y únicamente elimínelas o reduzca su importancia para la optimización de políticas relativas si la política de muestreo se especifica explícitamente.

Relaciones entre políticas y recorte

Los objetivos de estilo GRPO suelen mantener las relaciones de importancia y el recorte de PPO. Por token, la relación divide la probabilidad de la nueva política entre la de la política antigua, y el objetivo es el mínimo esperado de la relación multiplicada por la ventaja y la relación recortada multiplicada por la ventaja, menos un término KL. La ventaja puede definirse por secuencia, mientras que las relaciones se aplican por token, una discrepancia que motivó en parte a sucesores a nivel de secuencia como GSPO.

DAPO: entrenamiento más estable en razonamiento prolongado

DAPO incorpora cuatro mecanismos prácticos. Los límites de recorte se desacoplan, los grupos se muestrean dinámicamente, el gradiente de política se maneja por token, y las muestras que duran demasiado se tratan de forma explícita. El muestreo dinámico descarta los grupos cuyas recompensas son todas idénticas, ya que no transmiten señal relativa alguna.

Vanilla GRPO puede sufrir colapso de entropía, inestabilidad en cadenas largas, o lotes llenos de grupos completamente correctos o completamente incorrectos, y es entonces cuando DAPO ayuda. Su enfoque se puede entender mejor como cuatro soluciones técnicas a los fallos de entrenamiento observados:

1. Clip-Higher. Los límites superior e inferior de recorte se separan, lo que permite a los tokens de baja probabilidad tener más espacio para desarrollarse sin provocar inestabilidad simétrica en todas partes.
2. Muestreo dinámico. Los prompts cuyo grupo muestreado está completamente correcto o completamente incorrecto se filtran, ya que sus ventajas normalizadas ofrecen poco contraste.
3. Pérdida por gradiente de política a nivel de token. Las respuestas largas se contabilizan a nivel de token y no se diluyen debido a las opciones de promedio a nivel de muestra.
4. Diseño de recompensas excesivamente largas. Las penalizaciones por longitud se aplican gradualmente, evitando un límite estricto que generaría gradientes inestables cerca de la longitud máxima.

Cada mecanismo aborda un síntoma diferente. No adopte el acrónimo como un paquete indivisible sin medir qué tipo de fallo presenta realmente su carga de trabajo.

En un agente SQL empresarial, el muestreo dinámico puede concentrar el entrenamiento en consultas donde solo algunos planes se adaptan al inquilino correcto. El diseño de recompensas excesivamente largas impide que el modelo gaste miles de tokens de razonamiento en una consulta simple, y Clip-Higher ayuda cuando las acciones de recuperación útiles tienen una probabilidad muy baja de ejecutarse.

GSPO: la secuencia como unidad

GSPO calcula las razones de importancia y el recorte en toda la secuencia y no de forma independiente por token. Eso se adapta mejor a las recompensas a nivel de secuencia, y se atribuye a él el mérito de estabilizar el aprendizaje por refuerzo en modelos muy grandes de tipo Mixture-of-Experts.

La lección no es que GSPO reemplace a GRPO. Es que la unidad de optimización debe coincidir tanto con la recompensa como con la arquitectura. Cuando el resultado empresarial se evalúa por secuencia y la política es un modelo de tipo Mixture-of-Experts, GSPO merece una prueba.

En términos generales, GSPO calcula una razón de verosimilitud de secuencia al promediar las diferencias en la probabilidad logarítmica por token a lo largo de la longitud de la respuesta y exponenciar el resultado, lo que lleva el valor al espacio de razones. A continuación, el objetivo recorta esa razón a nivel de secuencia y aplica la ventaja derivada del grupo en el mismo nivel. Dado que la recompensa evalúa toda la trayectoria, la unidad de optimización ahora coincide con la unidad de evaluación.

Pequeños cambios en la ruta entre tokens en un modelo MoE pueden hacer que las razones por token sean variables, por lo que la agregación a lo largo de la secuencia puede ser más estable, aunque a costa de un crédito menos localizado. Evalúe conjuntamente la convergencia, la entropía, la estabilidad del enrutador, la recompensa y la calidad final, y no dependa únicamente de la recompensa.

RLOO

REINFORCE Leave-One-Out utiliza las demás muestras de un grupo como línea de base para cada muestra. Se trata de un estimador de gradiente de política sin críticos y de una herramienta útil al comparar métodos basados en grupos.

Con G muestras, la muestra i obtiene una línea de base igual a la media de las recompensas de las otras G − 1, y su ventaja es su recompensa menos esa línea de base. No hay división por la desviación estándar del grupo como en la normalización por puntuación z. El estimador es simple e imparcial bajo la estructura de REINFORCE, aunque la escala de las recompensas afecta directamente la escala del gradiente.

Tomemos recompensas de 1.0, 0.8 y 0.2. Para la primera muestra, la línea de base de leave-one-out es (0.8 + 0.2) / 2 = 0.5, lo que da una ventaja de 0.5. La línea de base de la tercera muestra es (1.0 + 0.8) / 2 = 0.9, lo que produce −0.7.

RLVR y ajuste fino por refuerzo

El patrón general es el aprendizaje por refuerzo con recompensas verificables. Se toman trayectorias de ejemplo, se ejecutan evaluadores deterministas o estrictamente especificados, y se refuerza todo aquello que cumple con los requisitos.

Las recompensas por resultado verifican si la respuesta final es correcta, mientras que las recompensas por proceso califican los pasos intermedios. La supervisión del proceso permite localizar un fallo, pero los evaluadores por paso son costosos y pueden restringir en exceso un razonamiento válido. En los agentes empresariales, las recompensas por proceso son útiles en interfaces observables (selección de herramientas, autorización, construcción de argumentos, liberación de pruebas y transferencia de tareas) y nunca en el proceso de razonamiento oculto.

Recompensa por resultado frente a recompensa por proceso

Una recompensa SQL basada únicamente en el resultado podría ser un indicador simple que valga 1 cuando el resultado coincide con el esperado y 0 en caso contrario. Esto es objetivo y económico de calcular, pero permite que un modelo llegue a la respuesta mediante una consulta insegura o costosa.

Las recompensas conscientes del proceso añaden invariantes observables, sumando seis términos. Estos cubren si el esquema es válido, si el inquilino está vinculado, si la consulta permanece de solo lectura, cuál es su costo, si el resultado es correcto y si las pruebas se publicaron adecuadamente. Cada término debe ser una función probada de artefactos visibles. La puntuación debe abarcar el árbol de sintaxis SQL, la decisión de autorización, el plan de ejecución, el conjunto de datos devuelto, el registro de la prueba estadística y las citaciones, y nunca el razonamiento interno privado.

Las pruebas de calificador son pruebas de modelo

Construya una matriz de pruebas de calificador antes de ejecutar cualquier algoritmo de RL:

• pasa una trayectoria conocida como válida;
• el inquilino incorrecto falla;
• un predicado de inquilino oculto en una subconsulta se lee correctamente;
• un comentario SQL no puede simular un predicado requerido;
• un resultado vacío se distingue de un error de ejecución;
• una unión cartesiana de alto costo falla;
• una cita fabricada falla incluso cuando el número final es correcto;
• un tiempo de espera del evaluador falla al cerrarse;
• la salida mal formada del evaluador no puede convertirse en una recompensa positiva.

Después de cada cambio en el evaluador, vuelva a ejecutar las trayectorias históricas. Un cambio en la versión de la recompensa inicia una nueva línea de experimentos incluso si el código de la política no ha cambiado.

Pensar tiene un precio

La corrección por sí sola puede fomentar un razonamiento derrochador, por lo que se debe añadir un término de costo limitado: la recompensa es la corrección menos lambda multiplicado por el costo de razonamiento Tₕ. Ese costo puede ser tokens de razonamiento, milisegundos o cálculos normalizados, y λ expresa cuánto cuesta adicionalmente la deliberación. Se debe aplicar la penalización solo después de cumplirse los requisitos mínimos de corrección y seguridad, de lo contrario el modelo aprenderá a responder rápidamente, aunque erróneamente.

Supongamos que dos trayectorias correctas obtienen cada una una recompensa base de 1.0: una utiliza 400 tokens de razonamiento y la otra 1,000. Con el costo por token normalizado a 1,000 y lambda = 0.1, la trayectoria más corta obtiene 0.96 (una deducción de 0.04) y la más larga 0.90 (una deducción de 0.10).

Por lo tanto, la trayectoria correcta más corta resulta ventajosa. No obstante, una respuesta incorrecta con 100 tokens debería fallar en la verificación de corrección y no debería obtener −0.01 ni competir con las respuestas correctas.

La latencia y el número de tokens están correlacionados, pero no son idénticos. Las llamadas paralelas a herramientas, los aciertos en el caché, la programación por lotes y la arquitectura del modelo pueden hacer que pase tiempo real mientras los tokens de razonamiento permanecen inmutables. Elija la medida de costo que refleje la restricción de producción.

RL de agente multi-turno

Las decisiones del modelo, los resultados de las herramientas, las lecturas de memoria y las transferencias de control del agente forman parte de una trayectoria empresarial. Almacene sus transiciones de estado y evalúe el contrato comercial final además de las invariantes locales.

Por ejemplo, Enrichment podría no obtener ninguna recompensa directa al hacer una pregunta de aclaración. Su valor se manifiesta cuando Data Sufficiency genera la consulta adecuada y Reporting evita afirmaciones causales erróneas. La asignación de créditos no debe borrar esa dependencia.

La trayectoria es un registro de eventos tipado

Represente el despliegue como algo más que una transcripción de chat. Cada transición debería incluir:

• identificadores de estado y observación;
• el agente que actúa y su versión de política;
• el conjunto de herramientas disponibles y el alcance de autorización;
• la acción seleccionada y sus argumentos en bruto;
• la decisión de la política y el resultado de la herramienta;
• lecturas y escrituras en la memoria;
• el payload de transferencia;
• fechas y horas, costo y el resultado final.

Esta forma permite la reproducción, el análisis fuera de política y la asignación precisa de recompensas. También impide que el proceso de entrenamiento trate las observaciones de las herramientas como si las hubiera generado el asistente.

Recompensas jerárquicas

Para una investigación de cuatro etapas, defina recompensas locales por contrato además de una recompensa final por el negocio. La recompensa total es la recompensa final R★ más la suma ponderada de las recompensas de las cuatro etapas R₁ a R₄, una para cada fase de Enriquecimiento, Suficiencia de datos, Prueba de hipótesis e Informe, con ponderaciones γ₁ hasta γ₄.

Las recompensas locales aceleran el aprendizaje, pero también pueden entrar en conflicto. El Enriquecimiento podría maximizar la calidad de la clarificación haciendo demasiadas preguntas. El Informe podría optimizar la brevedad omitiendo una limitación. La recompensa final y las invariantes estrictas deben tener más peso que la conveniencia local.

El crédito debe corresponder a la responsabilidad causal. Si Enrichment proporciona a Reporting un mapeo de entidad incorrecto y Reporting informa fielmente el resultado que recibió, penalizar únicamente a Reporting enseña algo erróneo. Se debe conservar la salida de cada etapa y determinar la primera violación del contrato.

Buena práctica: entrenar en el entorno más pequeño que aún preserve el contrato real, utilizando herramientas aisladas, configuraciones deterministas, evaluadores versionados, tiempos de espera estrictos y sin credenciales de producción.

Destilación: transferir capacidades y no copiar un modelo

La destilación convierte el comportamiento de un modelo “maestro” costoso en uno “alumno” más pequeño o más fácil de desplegar.

Destilación logística

Al estudiante se le entrena para que ajuste la distribución de tokens suavizada del profesor. La pérdida corresponde al cuadrado de la temperatura multiplicado por la divergencia KL entre el softmax del profesor y el del estudiante, ambos calculados sobre logits divididos por la temperatura T. El factor cuadrado mantiene la escala del gradiente intacta. Una temperatura más alta hace que se vean las probabilidades relativas de los tokens que no están en la cima, ese “conocimiento oculto” que las etiquetas estrictas pasan por alto.

Qué cambia con la temperatura

Imagínese un profesor con logits de 8, 4 y 2 para tres tokens candidatos. Con T = 1, el softmax concentra casi toda la probabilidad en el token uno. Con T = 2, los logits efectivos bajan a 4, 2 y 1, lo que suaviza la distribución; así, el estudiante aprende que el token uno es el ganador y también que el token dos tiene más probabilidades que el token tres.

A medida que aumenta la temperatura, los gradientes de las alternativas secundarias se vuelven más informativos. Si se eleva demasiado, la distribución se aplana hacia lo uniforme, perdiendo estructura útil. Se debe ajustar en función de la calidad de transferencia que se mantendrá aparte.

El factor al cuadrado compensa la reducción de los gradientes cuando los logits se dividen por la temperatura. Si se elimina, el equilibrio entre la pérdida por destilación y la pérdida por etiquetas duras cambia.

Combinación de objetivos duros y suaves

Un objetivo común mezcla dos términos: un peso en la pérdida SFT más un peso en la pérdida por destilación. Las etiquetas duras mantienen la salida correcta conocida, mientras que las probabilidades del profesor suaves transmiten preferencias relativas. Los dos pesos determinan el equilibrio.

En el caso de las llamadas a herramientas, la corrección estricta del esquema podría tener más importancia que la incertidumbre del modelo maestro. En cuanto a las explicaciones en lenguaje natural, la distribución del modelo maestro puede mostrar un comportamiento más rico. Los pesos pueden variar según la clase del token, pero esa complejidad adicional debe mantenerse verificable y documentada.

Destilación de secuencias y on-policy

La destilación de secuencias se entrena con resultados generados por el modelo maestro. Es sencilla, pero el modelo estudiante solo ve la distribución de estados del modelo maestro.

La destilación on-policy permite que el modelo estudiante genere estados y, a continuación, el modelo maestro supervisa los estados que realmente alcanza el estudiante. Esto es especialmente útil con agentes, ya que pequeñas desviaciones iniciales generan nuevos estados de herramientas a lo largo del proceso.

Cuando el objetivo es resumir el razonamiento, se debe conservar lo que es visible: cómo se resuelven los problemas, los rastros de las herramientas utilizadas y los resultados que se pueden verificar. El texto con razonamientos ocultos no debe convertirse en una dependencia esencial para la producción.

Filtros para la destilación de secuencias

La salida generada por el profesor constituye datos de entrenamiento sintéticos, y merece los mismos controles que los datos escritos por humanos:

• revisión para autorización y licenciamiento;
• búsqueda de información personal identificable y secretos;
• ejecución de herramientas en un entorno aislado;
• verificación de forma determinista siempre que sea posible;
• eliminación de duplicados en comparación con las evaluaciones;
• seguimiento del origen hasta el profesor, la instrucción inicial, la configuración de decodificación y el contexto de origen.

La selección de los mejores resultados puede mejorar la calidad sintética, pero reduce la diversidad y puede amplificar los sesgos del selector. Mantenga las estadísticas de generación y selección para poder reconstruir la distribución de datos del estudiante.

El bucle de destilación on-policy

La destilación on-policy sigue cinco pasos:

1. El estudiante genera resultados a partir de su política actual.
2. El profesor califica esos estados o proporciona distribuciones de tokens para ellos.
3. Se filtran las trayectorias inseguras o inválidas.
4. El estudiante se actualiza con los estados restantes.
5. La evaluación verifica la capacidad y la deriva.

El bucle se enfoca en los errores reales del estudiante. Requiere más recursos que los datos estáticos del profesor y puede heredar inestabilidad de una distribución del estudiante que sigue cambiando. Fije la identidad del profesor y tome instantáneas de las generaciones del estudiante en cada iteración.

La destilación no es una decodificación especulativa

La destilación entrena a un modelo estudiante para que aproxime el comportamiento de un modelo maestro. La decodificación especulativa ejecuta un modelo preliminar durante el proceso de inferencia y hace que el modelo objetivo verifique los tokens propuestos. Un modelo estudiante destilado puede funcionar como el modelo preliminar, pero ambas técnicas persiguen objetivos diferentes.

La destilación hace que sea más económico ejecutar un modelo por sí solo. La decodificación especulativa solo acelera un modelo objetivo cuando muchos tokens preliminares son aceptados y la verificación es eficiente. Hay que evaluarlas por separado.

El contrato de destilación empresarial

Debe definirse con precisión cada uno de los siguientes elementos:

• el modelo maestro y su versión de API;
• los parámetros de generación y el entorno de la herramienta;
• la versión del prompt o del sistema;
• las reglas de filtrado y evaluación;
• la base de modelos estudiantes, el tokenizador y la línea evolutiva de los adaptadores;
• evaluaciones de seguridad tanto para docentes como para estudiantes;
• derechos de uso de datos que abarcan los resultados generados por los docentes.

Un modelo más pequeño también hereda los modos de fallo. Ejecute nuevamente las pruebas de privacidad, citación, autorización, uso de herramientas y escenarios adversos en el estudiante, y no asuma que el cumplimiento por parte del docente se traslada automáticamente al estudiante.

Qué cambios han habido en los modelos de vanguardia en su entrenamiento y ajuste fino

No es el número de parámetros lo que explica a los modelos de vanguardia recientes. Sus procesos pasaron de tener una sola etapa de ajuste fino supervisado. Los más eficaces combinan varios elementos: datos introducidos en un orden deliberado, aprendizaje por refuerzo, recompensas verificables, trayectorias sintéticas y transferencia de conocimiento del docente al estudiante. Cada uno cubre una brecha diferente que la imitación por sí sola deja abierta.

El ajuste fino ya no es una sola operación. Se trata de un proceso que conduce al modelo desde la imitación hasta la exploración, luego la verificación, después la alineación y, finalmente, el despliegue.

DeepSeek-R1

DeepSeek-R1 sitúa el aprendizaje por refuerzo en el centro de la adaptación del razonamiento. R1-Zero partió de un modelo base preentrenado y aplicó el aprendizaje por refuerzo sin enseñarle primero ninguna secuencia de razonamiento escrita por humanos. El experimento probó si el razonamiento podía surgir de la optimización de resultados y no de la copia de huellas de razonamiento seleccionadas previamente.

El método central fue la Optimización de Políticas Relativas por Grupos (GRPO). Una política genera un grupo de candidatos para una solicitud y cada uno recibe una recompensa. La ventaja proviene de la comparación con el grupo, es decir, recompensa menos el promedio del grupo dividido entre la desviación estándar del grupo más ε, sin necesidad de un modelo de valor entrenado por separado. Las respuestas que superan a sus pares obtienen una ventaja positiva, mientras que las más débiles reciben una ventaja negativa. Eliminar al crítico reduce la memoria y el cálculo, manteniendo al mismo tiempo una señal de aprendizaje útil.

GRPO funcionó especialmente bien en aquellos casos donde se podía verificar automáticamente la corrección: verificación de respuestas en matemáticas, compilación y pruebas de código, y validación de formato para respuestas estructuradas. El modelo aprendía a partir de resultados objetivos, sin necesidad de una etiqueta de preferencia humana para cada paso del razonamiento.

R1-Zero demostró que comportamientos como la verificación, el retroceso y el gasto adicional de cálculos en problemas difíciles pueden surgir a través del RL. También puso de manifiesto los límites del entrenamiento basado únicamente en resultados. El razonamiento podría volverse difícil de comprender, inconsistente en el lenguaje o ajustarse exclusivamente a la recompensa sin generar una respuesta pulida.

El pipeline completo de DeepSeek-R1 superó esos límites mediante un currículo estructurado en etapas. Comienza con ejemplos de inicio fáciles de entender, pasa al RL de razonamiento, luego a la muestreo por rechazo, seguido de razonamiento mixto y entrenamiento general SFT, y finaliza con RL de alineación. Los datos de inicio fáciles establecieron un estilo de razonamiento legible, el RL de razonamiento amplió las capacidades más allá de la mera imitación, el muestreo por rechazo conservó las trayectorias autogeneradas de mejor calidad, el SFT con datos de razonamiento y generales consolidó el comportamiento manteniendo una utilidad amplia, y la etapa final de RL mejoró la utilidad y la seguridad.

GRPO por sí solo no era lo novedoso. Lo importante era cómo se secuenciaron el aprendizaje supervisado, el RL verificable, los datos generados automáticamente y el alineamiento final.

DeepSeek posteriormente ajustó con precisión modelos densos más pequeños basados en trayectorias de razonamiento exitosas. Así, parte de esta costosa capacidad de razonamiento pasó a modelos más fáciles de implementar, y los estudiantes aprendieron a partir de demostraciones que presentaban una estructura de resolución de problemas más completa y no solo respuestas finales.

Qwen3 y fusión de modos

Qwen3 gestionó el razonamiento y la respuesta directa como comportamientos que debían aprenderse juntos. Después del entrenamiento, se comenzó con un inicio en frío basado en cadenas de pensamiento largas, luego se pasó al RL centrado en el razonamiento, se fusionaron los comportamientos de razonamiento y aquellos que no lo eran, y finalmente se aplicó un RL más amplio para lograr un alineamiento general.

La fusión de modos es la interesante idea de entrenamiento. Una sola política aprende ambos comportamientos, mientras que la alternativa consiste en un punto de control para razonamiento prolongado y otro separado para respuestas breves. Esto funciona bien cuando se justifica una trayectoria de razonamiento extensa y cuando basta con una respuesta directa, de modo que la capacidad de razonamiento se mantiene sin forzar todas las tareas a seguir el mismo estilo verboso.

GSPO y la granularidad de la actualización

GSPO (Optimización de Políticas de Secuencias por Grupos) cambió el grado de detalle de las actualizaciones de la política. Los métodos a nivel de token suelen calcular y recortar los ratios de importancia por token de forma separada, incluso cuando la recompensa abarca toda la respuesta, lo que puede hacer que las actualizaciones sean inconsistentes dentro de una misma secuencia generada.

GSPO calcula la razón de importancia a lo largo de la secuencia y trata a dicha secuencia como una única unidad de optimización. En términos sencillos, promedia la razón de probabilidad logarítmica entre la política actualizada y la política que generó la trayectoria a lo largo de la longitud de la respuesta, y luego la eleva a la potencia. Al promediar a lo largo de la secuencia se obtiene una señal a nivel de respuesta, que coincide con la unidad que recibió la recompensa.

Es especialmente útil cuando el aprendizaje por refuerzo se vuelve inestable debido a que los cambios en las probabilidades a nivel de token son ruidosos. La novedad radica en alinear tres elementos que a menudo no coinciden: el objeto generado, la unidad de recompensa y la unidad de optimización.

Kimi K2: estabilidad y trayectorias agentes

Kimi K2 incorporó métodos de estabilidad en el entrenamiento que hicieron que las ejecuciones de optimización de gran escala fueran más fiables. MuonClip combina la optimización de matrices al estilo Muon con controles que impiden que los pesos crezcan de manera inestable. QK-Clip supervisa el comportamiento de la atención y restringe selectivamente las proyecciones de consulta y clave problemáticas cuando sus logits se vuelven extremos.

Se trata de innovaciones en el preentrenamiento y no de técnicas de ajuste fino posterior, pero son importantes aquí porque la calidad posterior al entrenamiento depende del punto de control que hereda. Un pequeño conjunto de datos de adaptación no puede reparar de manera eficiente un modelo base dañado por la inestabilidad del optimizador o por una explosión en los logits de atención.

La post-entrenamiento de Kimi K2 también se basó en trayectorias de agente: programación, invocación de herramientas, manejo de observaciones y completación de tareas en múltiples pasos. El entrenamiento utiliza secuencias de acciones con retroalimentación del entorno en lugar de solo pares de pregunta-respuesta. Una ruta típica va desde la tarea hasta la selección de herramientas, la generación de argumentos, la retroalimentación de ejecución, la recuperación de errores y un resultado verificado.

Partes de tales trayectorias pueden ser verificadas mecánicamente, gracias al código que se ejecuta, a las respuestas de las herramientas y a las señales que indican que la tarea se completó. El bucle puede entonces recompensar algo más que una respuesta final convincente; puede comprobar si el modelo eligió la capacidad adecuada, generó argumentos válidos, reaccionó correctamente a las observaciones y completó la tarea.

Flujos de trabajo profesor-estudiante en Meta

Meta's Muse Spark y Muse Glimmer ilustran un proceso más completo entre profesor y estudiante. El profesor puede generar respuestas finales, razonamientos intermedios, lecturas multimodales fundamentadas, decisiones sobre herramientas y trayectorias de recuperación, pero nada de eso se convierte en material de entrenamiento hasta que se ha filtrado en cuanto a corrección, seguridad, procedencia, diversidad y relevancia.

Las cadenas de transferencia de Muse Glimmer incluyen siete pasos de adaptación. Primero, el profesor genera rastros que pasan por un filtrado regulado. Luego, el estudiante atraviesa un proceso de destilación de logit, un ajuste fino supervisado durante el entrenamiento, seguido de destilación de conocimiento dentro de la política de entrenamiento, y finalmente se aplica aprendizaje por refuerzo.

• La destilación de logit transfiere la distribución de probabilidades del profesor y no solo su token elegido. Esto permite conservar información sobre alternativas plausibles y la confianza relativa que el entrenamiento con etiquetas explícitas descarta.
• El entrenamiento intermedio permite al estudiante acceder a datos de contexto amplio y a información relacionada con la toma de decisiones antes de realizar el ajuste basado en instrucciones específicas, de modo que esas habilidades se integran en su representación más amplia y no quedan como una capa superficial añadida al final.
• La destilación de conocimiento on-policy corrige una debilidad fundamental de la destilación tradicional. Al entrenarse únicamente con las trayectorias del modelo maestro, el estudiante aprende los estados de este, pero al momento de la inferencia se encuentra con estados generados por sus propias decisiones erróneas. Si el estudiante genera la trayectoria y el modelo maestro ofrece recomendaciones sobre esos estados, la discrepancia disminuye.
• Luego, el aprendizaje por refuerzo refuerza los comportamientos que generan resultados medibles.

En conjunto, estos pasos convierten a la destilación en un proceso de transferencia de capacidades en múltiples etapas, en lugar de una sola operación de compresión.

La receta para la frontera está ahora visible: datos supervisados para definir el comportamiento, RL verificable para permitir la imitación, trayectorias sintéticas para la cobertura, una unidad de optimización que se ajusta a la granularidad de la recompensa (toda la secuencia), y destilación de los estados propios del estudiante para transferir sus capacidades a modelos que puedan implementarse.

Ningún nombre de modelo en particular representa la innovación duradera. El sistema de entrenamiento consiste en: el orden de los datos, la verificación de los resultados, la forma en que la política explora, el control de las actualizaciones inestables, y una transferencia final que no supone que un estudiante más pequeño pueda reproducir perfectamente a su maestro.

El entrenamiento es un lanzamiento

Un ejecución exitosa aún no constituye un artefacto listo para desplegar. Lo que se envía es una receta completa que abarca el modelo base y su tokenizador, ya sea el adaptador o los pesos fusionados, los esquemas del paquete del sistema y las herramientas, el contrato de memoria y la política de recuperación, y finalmente la cuantización, la política de tiempo de ejecución y la política de seguridad.

Identidad del registro

Como mínimo, registre:

• checksums para los modelos base y de referencia;
• digests para el conjunto de datos y sus transformaciones;
• el manifiesto de división y el informe de contaminación;
• el objetivo, el optimizador, la semilla, los hiperparámetros y los módulos de destino;
• los digests del código y del contenedor;
• el hardware y la precisión numérica;
• las versiones del evaluador, del modelo de recompensa, del juez y de la política;
• el informe de evaluación, las aprobaciones, el propietario, la fecha de vencimiento y el objetivo de reversión.

Las evaluaciones requieren puntos de referencia y comparaciones

Se aplican dos umbrales:

1. Umbrales absolutos. La tasa de fugas es cero en las suites protegidas, la validez del esquema de herramientas supera su umbral, el vínculo con el inquilino es del 100%, y se cumplen los umbrales de rechazo y seguridad.
2. Mejora relativa. Un candidato debe superar la receta de producción actual en cuanto al defecto objetivo, manteniéndose al mismo tiempo todos los umbrales.

Evalúe todo el tiempo de ejecución y no solo el modelo en sí. Un adaptador más potente puede experimentar regresión al aplicarse una nueva cuantización, plantilla de chat, política de recuperación o esquema de herramientas.

No reduzca la calidad empresarial a un único promedio

Digamos que Mₖ es la métrica para la rebanada de evaluación k. Una puntuación ponderada S suma el peso de cada rebanada multiplicado por su métrica, siendo los pesos en total 1, lo que permite resumir los resultados de manera eficaz. Sin embargo, un promedio ponderado permite compensaciones, de modo que una gran mejora en los informes comunes en inglés puede ocultar un retroceso significativo en el aislamiento de los usuarios o en idiomas con pocos datos.

Se evalúa léxicográficamente en el siguiente orden:

1. límites mínimos inquebrantables en seguridad, privacidad y autorización;
2. límites mínimos para la preservación de capacidades;
3. mejora en la tarea objetivo;
4. restricciones de costo y latencia;
5. un ranking global entre los candidatos que superaron todas las pruebas anteriores.

Esto refleja el principio de diseño de recompensas: los contratos innegociables no pueden compensarse con estilo o rendimiento.

Intervalos de confianza y pequeñas mejoras

El ruido de muestreo puede explicar una diferencia observada en la precisión. Para una métrica binaria con una proporción p̂ entre n elementos independientes, el error estándar es aproximadamente la raíz cuadrada de p̂(1 − p̂) / n. Con p̂ = 0.90 y n = 100, este valor es de unos 0.03, lo que hace que una mejora de un punto no sea convincente.

Los candidatos responden a las mismas preguntas, lo que hace que las pruebas emparejadas suelan ser más fiables que tratar los resultados como independientes. Se deben utilizar métodos de bootstrap para las diferencias entre elementos o pruebas emparejadas adecuadas, y se deben reportar intervalos de confianza junto con las estimaciones puntuales.

Las evaluaciones donde los LLM actúan como jueces requieren controles adicionales: orden aleatorio, versiones fijas de los jueces, calibración humana y seguimiento de las discrepancias entre jueces. Una ligera ventaja en una sola pregunta de un juez no es suficiente para afirmar que se puede publicar el resultado.

El conjunto de pruebas de olvido

La ganancia objetivo no debe eliminar las capacidades generales. Mantenga un conjunto fijo que incluya:

• seguimiento de instrucciones;
• donde la seguridad y las negativas marcan el límite;
• comportamiento entre idiomas;
• elección de la herramienta adecuada y formato de su uso;
• localización de hechos en contextos extensos;
• confianza calibrada y saber cuándo abstenerse;
• tareas en dominios relacionados que no eran el objetivo;
• pruebas de tipo adversarial y de privacidad.

Informe las diferencias con respecto a la receta base o de producción exacta. Cuando falla un umbral de capacidad, examine los datos de entrenamiento, el ranking, la tasa de aprendizaje, las épocas, la mezcla de repeticiones y el objetivo antes de buscar más ejemplos objetivo.

Dos puertas de cuantización

Cuando se utiliza QLoRA o una cuantización de servicio más avanzada, realice la evaluación dos veces:

1. La puerta de artefactos de entrenamiento utiliza la versión base más el adaptador, según la precisión de evaluación obtenida en el desarrollo.
2. La puerta de artefactos de producción utiliza lo que se emplea en el entorno de despliegue: la versión final combinada o la compilación sidecar, los kernels en tiempo de ejecución, la cuantización, el tokenizador y el modelo de chat.

La primera verifica si el entrenamiento logró enseñar dicho comportamiento. La segunda indica si el despliegue lo mantuvo.

Canary y reversión

Los canaries pueden dividirse según el tráfico limitado, la clase de usuario, el tipo de solicitud o el modo sombra. Se debe monitorear con qué frecuencia las tareas tienen éxito y si es necesario intervenir manualmente para corregirlas, con qué frecuencia la política rechaza las solicitudes, los errores en las herramientas, el consumo de tokens y la latencia, además de cualquier desviación en las recompensas o en la distribución de las entradas.

La reversión requiere restaurar la configuración anterior, lo que implica algo más que solo el adaptador anterior. Si el paquete del nuevo sistema, el tokenizador o el esquema de la herramienta siguen activos, el sistema aún no ha sido revertido.

La aritmética de las canarias

Supongamos que históricamente se ha producido un fallo crítico a una tasa de p. En n solicitudes independientes de tipo canaria, la probabilidad de encontrar al menos uno es 1 − (1 − p)ⁿ. Con una tasa de fallos del 1% y 100 solicitudes, esto equivale a 1 − 0.99¹⁰⁰, es decir, cerca del 63.4%, por lo que una canaria pequeña puede pasar fácilmente por alto fallos raros pero graves.

El diseño de las canarias debe basarse tanto en el riesgo como en los porcentajes. Se deben introducir intencionadamente rutas de herramientas arriesgadas, lenguajes inusuales, contextos muy largos, solicitudes que se encuentren en límites de permisos, consultas que no devuelvan resultados y grupos distintos de usuarios. La evaluación en paralelo aumenta la cobertura sin efectos secundarios, pero no puede revelar todos los efectos de interacción de las acciones reales.

Desencadenantes de promoción y reversión

Defina los desencadenantes antes de que comience la canaria:

• una violación absoluta de la política implica una detención inmediata;
• Una fuga de datos protegidos implica detener el flujo de trabajo del incidente y preservar las pruebas;
• Un error en la herramienta o una latencia superior al umbral establecido implica hacer una pausa para diagnosticar el problema;
• Una regresión estadísticamente significativa en el objetivo implica revertir los cambios;
• Un desvío inexplicable en las recompensas o en las evaluaciones de los jueces implica suspender el proceso de promoción;
• La falta de telemetría significa que el caso no se considera cerrado, ya que no se puede evaluar el lanzamiento.

Nadie debería inventar criterios de aceptación mientras mira el panel de control. Eso convierte la gobernanza en una negociación bajo presión durante el despliegue.

Conservar un registro de las ejecuciones rechazadas

Los registros de auditoría tienen más peso cuando incluyen a un candidato que falló, junto con la razón del fallo. Imaginen este caso:

• La ejecución de qlora-v4 aumentó la validez de la herramienta en tres puntos;
• las respuestas basadas en citas fueron cinco puntos menos precisas una vez que se aplicó la cuantización de las salidas;
• el sistema de control lo rechazó;
• al investigar más a fondo, el equipo relacionó esa disminución con las proyecciones de salida que reaccionan negativamente a la cuantización;
• la producción continuó utilizando dpo-v1.

Esto demuestra que el sistema de control puede detener un modelo que parece atractivo a primera vista. Un registro que contenga únicamente ejecuciones promocionadas no puede mostrar que los controles funcionan. Un manifiesto de lanzamiento para el adaptador de informes podría verse así:

release_id: inv22041-reporting-dpo-v1
base_sha256: "…"
reference_release: inv22041-sft-v3
adapter:
  method: lora
  rank: 16
  alpha: 32
dataset_digest: "sha256:…"
grader_version: sql-cage-12
policy_version: p-31
gates:
  tenant_binding: 1.0
  protected_leak_rate: 0.0
  tool_json_validity_min: 0.98
canary:
  mode: shadow
  duration_hours: 72
rollback_to: inv22041-sft-v3

El manifiesto indica el ID de la versión, la suma de verificación de la base fija, la versión de referencia (la compilación SFT anterior) y los detalles del adaptador. Es lo suficientemente breve como para revisarlo y lo suficientemente completo como para reproducir la afirmación.

Guía paso a paso: INV-22041

El informe de defecto es específico: el agente base suele llegar a la respuesta correcta, pero las llamadas a las herramientas mal formadas, la mala recuperación ante resultados SQL vacíos y el uso de lenguaje causal no fundamentado socavan su precisión. Ocho pasos abordan este problema:

1. Localizar el defecto. El mapeo de regiones permanece en la memoria gestionada, los datos de ventas actuales en la capa semántica y los permisos en la política en tiempo de ejecución. La capacitación se centra en la gramática de las herramientas, la recuperación, las citaciones y el rechazo calibrado.
2. Construir la capa de datos. Compilar 4,200 ejemplos de SFT más 1,100 trazas de recuperación de múltiples pasos, adjuntar información sobre su origen, eliminar los documentos financieros preliminares y mantener contamination_rate = 0 en el conjunto de lanzamiento.
3. Establecer SFT. Entrenar un adaptador LoRA con rango 16 y alpha 32 en proyecciones de atención seleccionadas. La tasa de éxito en el análisis con herramientas aumenta de 0.71 a 0.94, mientras que las capacidades generales se mantienen estables.
4. Añadir datos de preferencias. Los evaluadores eligen informes concisos y bien estructurados en lugar de alternativas fluidas pero sin soporte. Las pruebas DPO se realizan con beta = 0.2 utilizando como referencia el SFT fijado, logrando una tasa de éxito del 0.78 con una tasa de fugas aún igual a cero.
5. Aplicar solo RL verificable cuando esté justificado. En la fase de suficiencia de datos, generar ocho trayectorias de SQL y herramientas por solicitud y calificarlas según el grado de vinculación con el cliente, su validez, si se ejecutan, cuánto cuestan y si los datos son suficientes. GRPO mejora la recuperación, y se prueba DAPO si los grupos con recompensas idénticas y las salidas largas debilitan la señal.
6. Verificar la adecuación de la arquitectura. Si el estudiante es un modelo MoE cuyas relaciones de importancia a nivel de token desestabilizan el RL, comparar GSPO con el mismo evaluador y presupuesto.
7. Destilar cuando lo exijan las consideraciones económicas. Transferir el comportamiento observable de las herramientas a un estudiante local más pequeño utilizando las salidas del profesor además de los estados on-policy, y repetir las pruebas de fuga y los conjuntos de herramientas con la versión cuantizada exacta.
8. Publica la receta. Fija cada componente, somételo a pruebas durante 72 horas, promuévelo solo una vez después de que tanto los límites absolutos como las ganancias relativas sean satisfactorios, y deja una ejecución intencionalmente rechazada en el registro de auditoría.

En tiempo de ejecución, el sistema final sigue leyendo el trimestre actual, el esquema y los permisos. La capacitación mejora su comportamiento basándose en esos datos sin convertirse en su propietaria.

Árbol de fallos: dónde se equivocan los buenos proyectos de capacitación

El patrón recurrente es que un proxy se optimiza mientras falta el contrato empresarial:

• Una alta precisión en la capacitación podría estar ocultando una evaluación contaminada.
• Las comparaciones de preferencias favorables podrían provenir de respuestas más largas o de citas filtradas.
• Una curva de recompensas en ascenso podría reflejar la explotación de los evaluadores.
• Los estudiantes adoptan los hábitos inseguros del profesor junto con sus habilidades.
• Un adaptador que parece impecable puede fallar dentro del entorno en tiempo de ejecución cuantizado que realmente se implementa.
• El retroceso puede fallar si restaura los pesos pero deja el resto de los componentes sin cambios.

El objetivo de entrenamiento solo demuestra que ocurrió la optimización. La evidencia de lanzamiento es lo único que puede mostrar que el sistema empresarial mejoró.

Prueba de concepto versus adaptación empresarial

Preguntarse si una idea mejora alguna métrica es razonable a escala de prueba de concepto. A escala empresarial se añaden obligaciones de demostración: datos legales, una métrica independiente, una mejora que resista la integración, un artefacto atribuible y un lanzamiento reversible.

Por lo tanto, el trabajo más valioso después del entrenamiento a menudo no es una función de pérdida más moderna, sino la ingeniería que integra la trazabilidad de los datos, los contratos de recompensa, la reproducibilidad, la evaluación, la identidad del registro, el despliegue, la telemetría y la reversión.

Doce reglas prácticas

1. Mantén los datos en constante cambio en los almacenes y un comportamiento estable en los adaptadores.
2. Elige el algoritmo según el contrato de supervisión y recompensa que realmente poseas.
3. Fija la versión del modelo de referencia, del evaluador, del juez y de la política.
4. Utiliza una función de pérdida exclusiva para asistentes en el entrenamiento por refuerzo para chats, y verifica los límites de empaquetado.
5. Preferir PEFT, y considera el ajuste fino completo como una excepción que requiere una razón por escrito.
6. El entrenamiento con QLoRA no equivale a servir un modelo cuantizado.
7. DPO necesita un modelo de referencia fijo y un valor beta; además, los métodos sin modelo de referencia siguen necesitando líneas de base.
8. Realice pruebas unitarias para cada recompensa verificable frente a trayectorias adversarias.
9. Adopte DAPO o GSPO porque un fallo medido lo justifica, y no porque sea más reciente.
10. La destilación transfiere tanto el comportamiento como los modos de fallo, por lo que debe evaluar al modelo estudiante de forma independiente.
11. Mantenga la contaminación en cero para los conjuntos de pruebas que definen el lanzamiento.
12. Registre la receta completa y practique el retroceso antes de la promoción.

Contratos, no una escalera

La adaptación empresarial no consiste en ascender desde SFT hacia acrónimos cada vez más de moda. Se trata de una cadena de contratos.

El contrato de datos establece qué pueden enseñar los ejemplos, el objetivo define la señal optimizada, y el entorno enumera las acciones posibles. La evaluación define la mejora, el registro registra con exactitud lo que se construyó, el despliegue determina cuánto riesgo expondrá la organización, y el retroceso indica si el cambio es realmente reversible.

Con esos contratos adecuados, LoRA, DPO, GRPO, la destilación y cualquier otro método posterior al entrenamiento se convierten en herramientas de ingeniería útiles. Sin ellos, incluso una hermosa curva de recompensas no es más que una demostración más costosa.

Leer más

• Construyendo un agente de soporte LEPA con LangGraph — Wire SupportState, nodos de recepción y clasificación, bordes condicionales y START/END para que una solicitud de soporte escolar pueda aclarar o continuar hacia los documentos.
• Conceptos de LangGraph en lenguaje sencillo: estado, memoria y orquestación — Antes de escribir código: qué significan en LangGraph la orquestación, el tiempo de ejecución, los agentes con estado, la memoria a corto y largo plazo, así como los agentes múltiples y la intervención humana.
• Una arquitectura en cuatro capas para un agente de informes ejecutivos en Azure — Cómo un agente de informes determinista distribuye el trabajo entre Fabric, procedimientos almacenados SQL, FastAPI en Azure Functions y Copilot Studio para generar documentos ejecutivos.