Formation des agents d’IA d’entreprise : choisir entre SFT, DPO, GRPO et RAG.

Imaginez un analyste qui posait une question à un agent d’entreprise il y a dix jours : pourquoi les ventes ont-elles chuté en Amérique du Nord au dernier trimestre ? Le système a demandé ce que signifiait « dernier trimestre » et a retenu le T2 de l’exercice 2026. Il a associé l’Amérique du Nord à la hiérarchie régionale approuvée, a généré du SQL lié au locataire, a testé plusieurs hypothèses et a fourni un rapport cité.

Aujourd’hui, l’analyste pose une question similaire. L’agent se souvient encore du périmètre correct, mais il génère du JSON déformé, consacre des paragraphes à expliquer une hypothèse qui a déjà échoué, et cite avec une confiance totale une note financière en version préliminaire.

À ce stade, de nombreuses équipes décident que le modèle nécessite un affinage. C’est parfois justifié. Très souvent, elles sont sur le point d’entraîner le mauvais modèle.

Découvrez ce qui a mal tourné. Une carte de région représente des faits, une note financière relève de connaissances régulées, et un schéma SQL est une interface en perpétuelle évolution ; par conséquent, les trois existent dans la mémoire, dans les mécanismes de récupération et dans les contrats des outils. Les poids, quant à eux, devraient plutôt refléter des habitudes plus stables : émettre des appels d’outils valides, suivre le protocole de preuves, se remettre d’un résultat vide, privilégier les conclusions accompagnées de citations, et refuser de répondre lorsque les preuves à disposition de l’agent sont insuffisantes.

Cette séparation est au fondement de toute adaptation au sein d’une entreprise :

Les faits changeants relèvent de la récupération, le contexte durable de la mémoire, les actions des outils, et le comportement reproductible de l’entraînement.

Une mise à jour de modèle n’est pas simplement le résultat d’un carnet de notes. Il s’agit d’une version contrôlée, dont la trace de preuves commence avant même le premier pas de l’optimiseur et doit survivre à un rollback en production.

Ce qui suit examine l’ensemble des outils habituellement utilisés après l’entraînement du point de vue d’un agent d’entreprise, cible très différente d’un modèle de référence. Les sujets abordés :

• décider si un défaut relève des prompts, du récupération de données, de la mémoire, des outils ou des poids ;
• construire un réseau de données conforme à la réglementation et résistant à la contamination ;
• choisir entre un préentraînement continu, un affinage supervisé, LoRA, QLoRA, DoRA et un affinage complet ;
• adapter DPO, IPO, KTO, ORPO et SimPO à la structure des données de préférence ;
• distinguer les problèmes que résolvent respectivement PPO, GRPO, DAPO, GSPO, RLOO et l’entraînement à la récompense vérifiable ;
• utiliser la distillation enseignant-élève pour transformer des capacités avancées en solutions économiquement viables ;
• enregistrer, évaluer, tester en conditions de sécurité, surveiller et revenir en arrière sur les adaptateurs en tant qu’artefacts de production.

Un seul cas en cours relie tout ce qui suit : INV-22041, une enquête commerciale impliquant plusieurs agents pour le locataire acme-eu. Il se compose de quatre étapes logiques (Enrichissement, Suffisance des données, Vérification des hypothèses et Rédaction de rapports). Chaque étape dispose de ses propres outils et sous-flux de travail, mais le contrat de formation reste visible à chaque limite d’étape.

Lorsque la formation est la solution appropriée

Recourir à la formation lorsque le changement souhaité se reproduit, peut être mesuré et est suffisamment stable pour être intégré dans les paramètres, et lorsque son application ailleurs serait plus coûteuse. C’est généralement la mauvaise première démarche lorsque ce qui change est une politique, un catalogue, le nom d’un client, le prix du jour, une autorisation ou un schéma d’outil que des contraintes pourraient gérer.

Choisissez le niveau le moins irréversible qui permet de corriger le défaut :

1. Un pack de prompts ou de système gère les comportements explicites que le modèle de base suit déjà de manière fiable.
2. Le RAG gère les connaissances d’entreprise actuelles qui doivent être traçables.
3. La mémoire conserve les préférences indiquées par l’utilisateur, les mappages durables ainsi que les résultats approuvés précédemment.
4. Les contrôles des outils et des schémas assurent le déterminisme, l’autorisation et la maîtrise des effets secondaires.
5. Le SFT ou PEFT vise à standardiser la structure des réponses, la grammaire des outils, les schémas de récupération et le style sectoriel.
6. L’optimisation des préférences est appliquée lorsque plusieurs résultats sont valides mais qu’un seul est systématiquement supérieur.
7. L’apprentissage par renforcement est utilisé lorsque le succès ne peut être évalué qu’après une séquence de décisions.

Exécutez INV-22041 en suivant la même procédure. Savoir que « North America » correspond au nœud de région approuvé NA_01 relève de la gestion mémoire ou des métadonnées contrôlées. Associer tenant_id, utiliser la couche sémantique en lecture seule et retourner du JSON structuré dans chaque requête SQL fait partie à la fois du contrat de fonctionnement et du comportement d’une outil pouvant être entraîné. Préférer une explication courte et citée à une histoire convaincante mais non citée constitue un excellent objectif pour l’entraînement des préférences.

Une erreur fréquente : le réglage fin du modèle sur les documents d’entreprise les plus récents. Le modèle peut mémoriser des informations obsolètes ou restreintes tout en perdant la traçabilité, les droits de suppression et les sémantiques d’autorisation.

Choisissez la méthode en fonction de la supervision dont vous disposez

Les équipes commencent souvent par le nom d’un algorithme. Commencez plutôt par les preuves que vous possédez réellement.

• Lorsque les prompts sont associés à des réponses « or » ou à des traces d’outils « or », utilisez SFT.
• Avec des réponses choisies et rejetées, recourez à des méthodes de type DPO.
• Lorsque des étiquettes indépendantes indiquent si les sorties sont souhaitables ou non, sans association préalable, KTO est une solution adaptée.
• Si un évaluateur déterministe peut noter chaque résultat (valideité SQL, réponse exacte, tests unitaires, vérifications de politique), une optimisation basée sur des récompenses vérifiables comme GRPO ou RLVR convient.
• Lorsque la qualité est subjective et ne peut être réduite à une règle dont tout le monde peut être sûr, le modèle de récompense classique associé à une configuration PPO reste pertinent.

Rien de tout cela n’est une question d’idéologie. Chaque choix indique ce que vos données peuvent prouver.

Une invariante de version à conserver

Pour chaque exemple d’entraînement, enregistrez une tuple contenant l’ID de l’exemple ainsi que l’origine de ses sources, les raisons du consentement donné et la finalité visée, le tenant auquel il appartient, la version de la politique, le hash de la transformation appliquée, le groupe dans lequel il a été placé, et la version du labelleur ou du correcteur qui l’a généré. Après déploiement, cette tuple permet de répondre aux questions délicates : d’où provient un comportement donné ? L’exemple était-il autorisé ? Peut-il être divulgué entre les tenants ? Quelle transformation l’a produit ? Est-il également apparu lors de l’évaluation ?

Le plan de données d’entreprise

La plupart des échecs post-entraînement commencent avant même que l’entraînement ne commence. Un objectif bien défini ne peut pas sauver des exemples contaminés, non autorisés ou mal spécifiés.

La provenance précède le prétraitement

Chaque source brute nécessite un propriétaire, une méthode de collecte, une base de licence ou de consentement, un but autorisé, une règle de conservation, une zone géographique, une classe de sensibilité et un identifiant de filiation. Ne jetez pas ces métadonnées lorsque les documents ou les traces deviennent des exemples d’entraînement. L’exemple final doit rester traçable jusqu’aux sources originales ainsi qu’à chaque transformation appliquée.

Confidentialité, secrets et minimisation des données

La censure est nécessaire, mais elle ne suffit pas. Un ensemble de données peut ne pas avoir de noms évidents tout en contenant une logique commerciale confidentielle, des identifiants rares, des valeurs spécifiques aux clients ou des secrets pouvant être récupérés. Veuillez prendre en compte les points suivants :

• effectuer une recherche de PII et de secrets avant et après la transformation ;
• isoler les utilisateurs grâce à l’échantillonnage, au stockage et à l’évaluation ;
• filtrer en fonction de l’objectif et non seulement en fonction de l’accès ;
• Vérifier la présence de quasi-dupliques par rapport aux ensembles de test et aux corpus protégés ;
• enregistrer l’arbre de suppression afin qu’une demande de droits atteigne les données brutes, les exemples dérivés, les points de contrôle, les adaptateurs, les caches et les artefacts d’évaluation.

La contamination peut être mesurée

Une métrique opérationnelle simple fonctionne : le taux de contamination est le nombre d’éléments d’évaluation contaminés divisé par le nombre total d’éléments d’évaluation. Le terme « contaminé » englobe les doublons exacts, les quasi-dupliques, les paraphrases contenant la réponse, ainsi que les exemples synthétiques dérivés des éléments d’évaluation. Pour une évaluation définissant une version à publier, l’objectif est zéro.

Les étiquettes humaines nécessitent un contrat

Un ensemble de données de préférences sans grille d’évaluation se transforme en un ensemble reflétant les goûts de l’annotateur. Pour l’étape de rapportage, une grille d’évaluation utile classe ces éléments de la manière suivante :

1. conformité en matière d’autorisation et de confidentialité ;
2. support factuel et citations correctes ;
3. valideité statistique ;
4. incertitude calibrée ;
5. complétude ;
6. concision et style.

L’accord doit être mesuré. Pour deux évaluateurs, le kappa de Cohen correspond à l’accord observé moins l’accord attendu par hasard, divisé par un moins l’accord dû au hasard. La partie observée représente la proportion d’étiquettes sur lesquelles les évaluateurs sont d’accord, tandis que la partie liée au hasard provient des fréquences d’étiquettes de chaque évaluateur. Un kappa faible indique que la grille d’évaluation, les exemples ou la formation des évaluateurs nécessitent des corrections, et davantage d’itérations ne suffiront pas à améliorer un signal faible.

À quoi ressemble un enregistrement de formation en production

L’élément utile n’est pas simplement une paire de question et de réponse. Il s’agit d’un enregistrement qui permet de maintenir les jointures de gouvernance et les jointures d’évaluation :

{
  "example_id": "inv22041-sft-01842",
  "tenant_scope": "synthetic-enterprise",
  "purpose": "tool_format_and_recovery",
  "messages": [
    {"role": "user", "content": "Why are sales down in the last quarter?"},
    {"role": "assistant", "content": "I will use the previously approved Q2 FY2026 scope and test the cited hypotheses."}
  ],
  "tool_trace": {
    "name": "query_semantic_layer",
    "arguments": {"tenant_id": "acme-eu", "region_id": "NA_01", "period": "FY2026-Q2"}
  },
  "source_ids": ["memory:m-492", "schema:v17", "policy:p-31"],
  "transform_hash": "sha256:…",
  "split": "train"
}

Les valeurs sont délibérément inventées. Le format, lui, ne l’est pas : un objet contient le contenu ainsi que l’identité de la personne qui l’a autorisé, son origine et la manière dont il est identifié lors de l’évaluation.

SFT, préentraînement continu et entraînement intermédiaire

Les gens regroupent ces techniques sous le terme de « fine-tuning », alors que chacune d’elles optimise une distribution de données différente.

Fine-tuning supervisé

SFT fait en sorte que le modèle imite une réponse ou une trajectoire cible. La perte correspond à une somme négative des valeurs par position : un masque multiplié par la probabilité logarithmique que le modèle attribue au token cible, compte tenu de l’entrée et des tokens cibles précédents. Dans cette formule, x représente le contexte d’entrée, yₜ le token cible à la position t, le masque mₜ vaut (1) pour les tokens soumis à supervision et (0) pour le texte d’incitation, les espaces de remplissage ainsi que tout élément exclu, et θ désigne les paramètres pouvant être entraînés.

Les tokens de système, d’utilisateur, de résultat d’outil et d’espacement de remplissage fournissent un contexte sans générer de gradients. Seuls les tokens cibles choisis par l’assistant contribuent à la perte de supervision.

Le masque est important : si des tokens d’utilisateur ou de système pénètrent par erreur dans le flux, le modèle apprend à reproduire la conversation au lieu de y répondre.

Que fait réellement l’objectif d’entropie croisée

À chaque position supervisée, le modèle génère un logit par token du vocabulaire, et une fonction softmax transforme ces logits en probabilités. Dans la fonction softmax, la probabilité d’un token correspond à son logit exponentié divisé par la somme des logits exponentiés de tout le vocabulaire, de sorte que les résultats soient positifs et s’additionnent à un.

L’entropie croisée calcule ensuite le coût pour le modèle en fonction du logarithme négatif de la probabilité qu’il a attribuée au token correct. Un token correct avec une probabilité de 0,8 coûte environ 0,223. Avec une probabilité de 0,01, le coût est d’environ 4,605. Les erreurs commises avec assurance génèrent donc des gradients bien plus importants que les prédictions qui sont déjà correctes.

Une conséquence revêt une grande importance dans les entreprises. Un ensemble modeste d’exemples d’outils de haute qualité peut corriger efficacement un défaut de formatage systématique, à condition que l’objectif soit clair. Lorsque deux exemples présentent des requêtes sémantiquement identiques associées à des schémas d’outils contradictoires, la perte générée exige des prédictions incompatibles.

La perte de séquence, la perte de token et l’importance commerciale diffèrent

La perte de séquence est généralement calculée en moyenne sur les tokens supervisés, c’est-à-dire la somme des pertes de token masquées divisée par le nombre de tokens supervisés. Comme un rapport de 500 tokens entraîne environ cinquante fois plus de pertes de token qu’un refus de 10 tokens, un ensemble de données contenant un nombre égal des deux types peut néanmoins être dominé par les rapports lors de l’optimisation.

Lorsque la justesse du refus, la contrainte de conformité ou le choix des outils ont une importance commerciale, les exemples seuls ne suffisent pas à exprimer cette importance. Les options sont les suivantes :

• équilibrer les lots en fonction de la classe de comportement ;
• attribuer un poids aux exemples ou aux tokens choisis ;
• réduire la longueur des cibles trop détaillées ;
• effectuer un suréchantillonnage des cas limites rares ;
• separer l’évaluation de la qualité de génération des vérifications contractuelles.

Tout poids attribué doit rester explicite. Un échantillonneur non enregistré fait partie de l’objectif, même si l’équation de perte ne le mentionne jamais.

Forcing par l’enseignant et biais d’exposition

Au cours du SFT, chaque token est prédit après les tokens cibles corrects précédents. En temps de exécution, le modèle lit plutôt ce qu’il a lui-même généré, ce qui peut le faire tomber dans un état jamais vu lors de l’entraînement à cause d’une petite erreur.

Pour un agent, cette lacune se manifeste par des échecs successifs des outils :

1. Le modèle émet un identifiant d’entité légèrement incorrect.
2. Le outil renvoie un résultat vide.
3. Le modèle n’a jamais vu cet état.
4. Il invente un résultat sans corriger la requête.

Incluez des trajectoires de récupération en même temps que les démonstrations parfaites. La distillation on-policy et l’apprentissage par renforcement abordent plus directement ce même décalage de distribution par la suite.

Masquer correctement les conversations avec les outils

Une transcription réaliste comprend la politique du système, le langage de l’utilisateur, le raisonnement de l’assistant, les arguments de l’outil, les résultats de l’outil et une réponse finale. Déterminez quels tokens doivent servir à enseigner le comportement :

• les tokens du système et de l’utilisateur reçoivent normalement un masque 0 ;
• les appels à l’outil par l’assistant reçoivent normalement un masque 1 ;
• la sortie brute de l’outil reçoit généralement un masque 0, car il s’agit d’une observation provenant de l’environnement et non d’un langage que l’assistant devrait imiter ;

l’analyse assistée ou le raisonnement caché suit les règles du fournisseur du modèle ainsi que la politique de déploiement ;

la réponse finale reçoit le masque 1.

Si l’on supervise par erreur la sortie de l’outil, le modèle peut apprendre à fabriquer des résultats de base de données. En excluant par erreur les arguments de l’outil, le style de rapport peut s’améliorer tandis que la fiabilité de l’outil reste exactement la même.

Empaquetage sans fuites entre exemples

Supposons que les exemples A, B et C nécessitent respectivement 700, 900 et 1 100 tokens. Placer chacun dans sa propre séquence de 4 096 tokens signifie que, en moyenne, seulement environ 22 % des positions allouées sont utilisées. Leur empaquetage augmente l’utilisation, mais une séquence combinée nécessite des mesures de protection :

• il faut respecter la manière dont le modèle gère lui-même les positions ;
• tout ce qui ne doit pas être appris (remplissage, rôles exclus) reçoit l’étiquette d’ignorance du framework, généralement −100 ;
• l’attention ne devrait pas être transférée d’un exemple à un autre si la méthode les traite comme indépendants ;
• les demandes de débogage et de suppression nécessitent toujours que les métadonnées de chaque exemple soient récupérables.

Une erreur fréquente : activer packing=True en supposant que la valeur par défaut de la bibliothèque convient au modèle de chat, à l’implémentation de l’attention et à la politique de perte. Vérifiez manuellement un lot : entrées décodées, étiquettes, masques, limites des exemples et comptages de tokens supervisés.

Pour un agent d’entreprise, les exemples SFT les plus utiles sont ceux qui présentent des arguments d’outil valides, un comportement de clarification, des refus structurés, une capacité de récupération en cas de résultats vides, une grammaire de citation et des transitions entre agents. Incluez des cas limites négatifs dans l’évaluation, même lorsque les données d’entraînement ne contiennent que des réponses souhaitées.

Préentraînement continu

Le préentraînement continu applique l’objectif classique de prédiction du token suivant aux textes du domaine. L’utilisez lorsque le modèle de base n’a jamais vraiment été exposé au vocabulaire, à la notation ou à la diversité générale des textes d’un domaine donné. Enseigner précisément une politique opérationnelle est une tâche qu’il accomplit mal.

L’oubli catastrophique représente ici le risque majeur : la perplexité sur le domaine s’améliore tandis que le modèle échoue à suivre des instructions générales, à gérer d’autres langues, à assurer sa sécurité ou à utiliser des outils. Conservez des données de réexécution et maintenez des seuils de capacités généraux.

Mélanger les données de domaine avec les données de réexécution

On appelle la nouvelle distribution de domaine D_domain et un échantillon des capacités qui doivent être préservées D_replay. Un objectif de mélange simple ajoute une perte attendue pondérée sur les données de domaine à une perte attendue pondérée sur les données de replay. Aucun de ces poids n’est une constante universelle. Un modèle local fortement spécialisé peut accepter un poids plus élevé pour le domaine, tandis qu’un modèle de base partagé au niveau de l’entreprise a généralement besoin d’un terme de préservation plus fort.

Il convient d’observer au moins trois courbes séparément : la perte de validation du domaine, la perte de validation du replay et les évaluations comportementales ultérieures. Une perte combinée plus faible peut masquer une courbe de replay qui se détériore, c’est pourquoi les conditions d’arrêt doivent inclure à la fois des seuils de préservation et une convergence du domaine.

Le taux d’apprentissage détermine la portée de l’impact

Le préentraînement continu modifie bien plus de paramètres qu’un petit adaptateur, et un taux d’apprentissage adapté à un adaptateur peut endommager un modèle de base dense. Utilisez des schémas d’entraînement conservateurs, enregistrez fréquemment des points de contrôle et évaluez ces derniers, car l’étape finale de l’optimiseur n’est pas automatiquement le meilleur point de contrôle pour l’entreprise.

Le nombre de tokens influence également l’ampleur des changements. Un taux d’apprentissage très faible appliqué à des milliards de tokens peut provoquer davantage de modifications chez un modèle que chez un modèle plus grand sur un ensemble de données restreint ; notez donc le nombre total de tokens et d’étapes d’optimiseur, et non seulement le nombre d’epochs.

Mi-entraînement

Le entraînement intermédiaire se situe entre le préentraînement général et le post-entraînement final. Des traces de long contexte, de raisonnement, multimodales ou d’agent soigneusement sélectionnées modifient les capacités avant que l’alignement ne s’opère. Pour INV-22041, cela pourrait signifier des traces d’enquête longues dans lesquelles l’agent observe un résultat SQL vide, se demande si le grain temporel ou la mise en correspondance sémantique en est la cause, corrige la requête, met à jour son ensemble d’hypothèses et rédige un registre d’éléments de preuve compact.

Le regroupement place plusieurs séquences courtes dans une seule fenêtre de contexte, améliorant ainsi l’utilisation des ressources, mais les exemples nécessitent alors des limites d’attention et de perte correctes. Un mauvais regroupeur permet à l’exemple d’un client d’attirer l’attention sur celui d’un autre sans aucun avertissement.

SFT ou entraînement intermédiaire : un diagnostic

Demandez-vous si le comportement souhaité peut être démontré avec une paire entrée-sortie relativement courte.

• Si c’est possible, commencez par le SFT.
• Le entraînement intermédiaire s’avère utile lorsque la tâche exige que le modèle évalue la durée d’organisation des documents, qu’il traverse des états multiples ou qu’il gère un mélange de contextes différent de ceux qu’il a déjà vus.
• Si les informations manquantes changent régulièrement, aucune de ces approches ne convient, et la récupération ou l’utilisation d’outils devient la solution.

Pour INV-22041, un JSON SQL valide constitue une cible d’entraînement SFT. Des trajectoires longues et soigneusement sélectionnées peuvent aider l’agent à progresser au cours d’une enquête de 30 étapes comprenant plusieurs hypothèses infructueuses. Le chiffre des ventes d’aujourd’hui reste une donnée en temps réel.

Ajustement efficace en termes de paramètres : LoRA, QLoRA, DoRA et ajustement par préfixe

L’affinement efficace en termes de paramètres devrait être la norme dans les entreprises, car il permet d’utiliser un modèle de base partagé accompagné de petites mises à jour de comportement versionnées.

LoRA

LoRA fige une matrice de poids W et apprend une mise à jour à faible rang. La matrice adaptée équivaut à W plus le produit de deux petites matrices B et A, scalaire par alpha divisé par le rang r.

Supposons que W mappe 4096 entrées vers 4096 sorties et que le rang soit de 16. La matrice dense contient alors environ 16,8 millions de paramètres, tandis que les deux matrices LoRA n’ont que 131 072 paramètres entraînables pour cette projection (16 × 4096 plus 4096 × 16). Cela représente environ 0,78 % de la matrice dense.

Trois paramètres définissent les capacités de l’adaptateur : le rang fixe sa capacité, alpha divisé par le rang sert à scaler la mise à jour, et les modules cibles déterminent où le modèle peut s’adapter. Ces trois éléments font partie de l’identité du modèle et doivent être enregistrés.

Pourquoi un faible rang peut suffire

Une mise à jour dense permet à chaque direction entrée-sortie de changer indépendamment. LoRA part du principe que la mise à jour spécifique à la tâche se trouve dans un sous-espace intrinsèque bien plus petit. Au lieu d’apprendre des valeurs d_out × d_in, elle n’apprend que r(dᵢ + dₒ), où dᵢ représente la largeur d’entrée et dₒ la largeur de sortie.

Pour une projection carrée de 4096 par 4096 à rang 16, les chiffres sont les suivants :

• une mise à jour dense nécessiterait 16 777 216 paramètres ;
• la mise à jour LoRA nécessite 131 072 paramètres ;
• la fraction de paramètres entraînables est de 0,0078125, soit 0,78125 %.

Ces chiffres décrivent une seule projection. Un véritable adaptateur vise de nombreuses projections réparties sur de nombreux couches ; il faut donc compter les paramètres entraînables dans le modèle instancié et ne pas extrapoler à partir d’une seule matrice.

Le terme de mise à l’échelle n’est pas purement esthétique

Avec une valeur alpha de 32 et un rang de 16, le multiplicateur LoRA est de 2. En augmentant le rang à 64 tout en gardant alpha à 32, le multiplicateur diminue à 0,5. Les matrices apprises ainsi que les dynamiques d’optimisation changent, même si le jeu de données et le modèle de base restent inchangés.

Certaines implémentations utilisent une échelle stabilisée par le rang, proportionnelle à alpha divisé par la racine carrée du rang, à la place de alpha divisé par le rang. Cela modifie les comparaisons entre les rangs. Il convient de noter la convention d’échelle, la version de la bibliothèque, ainsi que les paramètres d’initialisation et de dropout.

Où attacher les adaptateurs

Chaque projection d’attention joue un rôle distinct :

• q_proj définit la question que le token actuel pose au contexte ;
• k_proj détermine la manière dont les tokens précédents signalent leur contenu ;
• v_proj fixe le contenu réellement extrait d’eux.

o_proj détermine comment la sortie de l’attention est réinscrite dans le flux résiduel.

Les projections MLP influencent la transformation des caractéristiques et peuvent avoir un impact sur le comportement du domaine. Ajuster uniquement les projections de requête et de valeur constitue un point de départ courant, mais ce n’est pas une règle. Une matrice d’ablation doit varier les modules cibles et leur rang, tout en enregistrant le nombre de paramètres entraînables, l’amélioration de la tâche, l’effet d’oubli, la latence et la taille des artefacts.

La composition d’adaptateurs n’est pas automatiquement additive

Deux adaptateurs qui fonctionnent bien seuls peuvent encore entrer en conflit une fois tous deux actifs. Leurs deltas peuvent pousser les mêmes couches dans des directions opposées, modifier les statistiques d’activation, ou dépendre de différents ensembles de systèmes. Traitez une composition comme une recette nouvelle : les poids résultants sont la valeur de base ajoutée au delta de chaque adaptateur multiplié par son facteur d’échelle sᵢ. Cette équation semble simple, mais les projections mises à jour passent de manière non linéaire à travers des couches d’attention, de normalisation et de MLP, il faut donc tester la composition telle qu’elle est fournie.

QLoRA

QLoRA stocke la base figée sous forme de 4 bits, tandis que les gradients ne parviennent qu’aux adaptateurs LoRA. Il s’appuie sur NF4, une double quantification des constantes de quantification, ainsi que des optimiseurs paginés qui atténuent les pics de mémoire.

Deux distinctions permettent d’éviter les erreurs en production :

• QLoRA est une technique de gestion de la mémoire de formation. Elle ne définit pas elle-même la quantification utilisée lors du déploiement.
• Un adaptateur seul ne prouve pas que le déploiement quantifié se comporte de manière équivalente. Il faut répéter les évaluations de qualité, de latence, de fuite de données et d’utilisation des outils sur la version que vous servez réellement.

Pourquoi NF4 et la double quantification sont importantes

Les entiers ordinaires de 4 bits divisent une plage en valeurs espacées uniformément. Les poids préentraînés sont souvent proches d’une distribution normale, ce qui rend l’espacement uniforme inefficace pour leur représentation. NF4 place les valeurs de manière à mieux correspondre à cette distribution.

La quantification par bloc attribue à chaque bloc sa propre échelle, une constante qui doit être stockée. La double quantification réduit également ces constantes, ce qui diminue la charge des métadonnées dans un modèle de grande taille.

Comme estimation approximative de la mémoire nécessaire pour les poids figés, multipliez le nombre de paramètres par le nombre de bits par poids, divisez par 8, puis ajoutez la mémoire consacrée aux métadonnées. En stockant idéalement chaque poids avec 4 bits, un modèle de base de 7 milliards de paramètres nécessite environ 3,5 Go de poids bruts (7 milliards × 4 / 8). La mémoire supplémentaire est requise pour les échelles, les tampons, la déquantification temporaire, les adaptateurs, les gradients, l’état de l’optimiseur, les activations ainsi que les coûts inhérents au framework ; par conséquent, l’affirmation selon laquelle un modèle de 7 milliards de paramètres tient dans 3,5 Go ne dit rien sur la mémoire nécessaire au entraînement.

QLoRA économise de la mémoire tant pour les poids de base figés que pour l’optimisation des adaptateurs. La mémoire consacrée aux activations reste cependant proportionnelle à la taille du lot, à la longueur de la séquence, à la largeur des couches et à la politique de sauvegarde, ce qui signifie que l’entraînement sur de longs contextes peut rester limité par la mémoire des activations même avec des poids de 4 bits.

Optimiseurs paginés

Le contrôle par points d’activation et les séquences longues peuvent provoquer des pics temporaires de mémoire. Les optimiseurs à pagination utilisent une mémoire gérée pour déplacer les pages d’optimisation entre le CPU et la GPU selon les besoins. Cela peut éviter les pannes dues à un manque de mémoire, bien que la pagination puisse réduire la performance. Mesurez le temps écoulé et la pression sur la mémoire hôte, et ne considérez pas une allocation réussie comme une optimisation réussie.

DoRA

DoRA divise un poids en une magnitude et une direction, et applique la mise à jour à faible rang principalement à la direction. Le poids adapté est une magnitude apprise m multipliée par la matrice mise à jour W + ΔW, normalisée colonne par colonne. Ici, ΔW représente la mise à jour de type LoRA. L’intuition est que la magnitude et la direction jouent des rôles différents, et les séparer permet de retrouver une bonne qualité avec des rangs modérés, malgré une complexité supplémentaire.

Le dénominateur de normalisation fixe chaque direction mise à jour, et m contrôle ensuite sa magnitude. Cela rapproche DoRA des degrés de liberté disponibles lors d’un affinage complet, au prix de paramètres et d’opérations supplémentaires. La question pratique est empirique : la qualité améliorée résiste-t-elle à la complexité accrue liée à l’entraînement, au service et au registre ?

Ajustement du préfixe et du prompt

L’ajustement du préfixe permet d’apprendre des tokens virtuels continus qui orientent l’attention sans toucher aux poids de base. Cela le rend compact et adapté à un contrôle précis, bien qu’il offre moins de capacités que LoRA lorsque l’objectif est la grammaire d’outil ou un comportement en plusieurs étapes.

Sidecar ou fusion ?

Les adaptateurs Sidecar conviennent à l’isolation des tenants ou des tâches, au retrait rapide, au routage A/B et à la traçabilité. La fusion n’est appropriée que pour une version destinée à rester immuable, après que le checksum résultant de la fusion ait été évalué et enregistré.

Les Sidecars permettent également un routage selon la finalité déclarée, de sorte qu’un adaptateur de rapportage ne peut pas s’activer discrètement pendant le mode de suffisance des données. La décision du routeur doit figurer dans le journal d’activité, accompagnée de l’ID de l’adaptateur, de son niveau de scalabilité, de son checksum de base et du motif de la décision.

La fusion réduit la charge liée au fonctionnement des adaptateurs en temps réel et peut simplifier le déploiement, mais elle brouille la distinction claire entre la version de base et les modifications apportées au comportement. Il convient de préserver la chaîne de versions non fusionnées, de vérifier le checksum du modèle fusionné, et de ne jamais fusionner avec une version de base non verrouillée en tant que « dernière ». Une configuration d’entraînement compacte ressemble à ceci :

from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
lora = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    task_type="CAUSAL_LM",
)
trainer = SFTTrainer(
    model=base_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=lora,
    args=SFTConfig(
        output_dir="runs/inv22041-sft-v3",
        assistant_only_loss=True,
        packing=True,
        max_length=4096,
    ),
)
trainer.train()

Les paramètres importants incluent r=16 et lora_alpha=32. assistant_only_loss=True permet de contrôler la limite de perte, les modules cibles définissent le champ d’action de l’adaptateur, et le formatage doit être compatible avec les masques du modèle de chat.

Optimisation des préférences hors ligne

SFT demande au modèle d’imiter. L’optimisation des préférences lui demande de choisir une option parmi des alternatives plausibles. Prenons deux rapports sur la même enquête, tous deux grammaticalement et statistiquement corrects. Le rapport choisi cite les preuves pertinentes, indique ses hypothèses et s’arrête là. Le rapport rejeté ajoute une explication causale non étayée. Ce duo transmet un signal plus fort que n’importe quelle autre réponse parfaite.

La perspective de Bradley-Terry

Les modèles de préférences par paires partent souvent d’une affirmation : la probabilité que la réponse yʷ batte la réponse yˡ pour l’entrée x est la sigmoïde de l’écart de récompense, σ[r(x, yʷ) − r(x, yˡ)]. Ici, yʷ est la réponse choisie, yˡ celle rejetée, et r une récompense implicite ou explicite. Seule la différence entre les deux récompenses compte.

DPO

DPO optimise une politique directement sur des paires de préférences en la liant à une politique de référence. La perte correspond au logarithme sigmoïde négatif de beta multiplié par une marge, où cette marge représente l’augmentation de la probabilité logarithmique de la politique pour la réponse choisie par rapport à celle du modèle de référence, moins la même valeur pour la réponse rejetée. Dans la notation, πθ désigne la politique en cours d’entraînement, π₀ le modèle de référence figé, et β détermine l’intensité de la marge de préférence par rapport au modèle de référence.

Le point de contrôle de référence et beta sont considérés comme des métadonnées de version. Changer l’un ou l’autre modifie l’objectif, même lorsque l’ensemble de données reste identique.

Exemple de calcul DPO

Supposons que la politique actuelle et le modèle de référence donnent les probabilités logarithmiques de séquence suivantes :

• politique actuelle, réponse choisie : −8,0 ;
• modèle de référence, réponse choisie : −9,0 ;
• Politique actuelle, rapport rejeté : −7,5 ;
• Référence, rapport rejeté : −7,0.

Par rapport à la référence, la politique s’est améliorée par rapport à la réponse choisie de −8,0 − (−9,0) = 1,0. Pour la réponse rejetée, l’écart est de −7,5 − (−7,0) = −0,5. La marge DPO est de 1,0 − (−0,5) = 1,5. Avec beta = 0,2, le produit de beta par la marge donne 0,3, et la perte est de −log σ(0,3), soit environ 0,554.

La politique obtient des points positifs car elle a amélioré la réponse choisie par rapport à la référence et a détérioré la réponse rejetée. Une marge négative entraînerait une perte plus importante, et les gradients inverseraient cet ordre.

Le calcul montre également pourquoi la référence est importante. Le DPO ne se contente pas de déterminer quelle réponse présente la plus haute probabilité brute. Dans cet exemple, la réponse rejetée a encore une probabilité logarithmique négative plus élevée (−7,5 contre −8,0), mais la politique a évolué dans la bonne direction par rapport à la référence.

La longueur fait partie du signal

La probabilité logarithmique d’une séquence est la somme des probabilités de chacun de ses tokens ; par conséquent, les séquences plus longues ont tendance à accumuler davantage de probabilités logarithmiques négatives. La construction des ensembles de données et les variantes d’objectif traitent ce problème de manières différentes.

Si les rapports sélectionnés sont systématiquement plus courts que ceux rejetés, le modèle peut apprendre la concision au détriment de la rigueur dans la présentation des preuves. Si les rapports sélectionnés sont plus longs, il peut apprendre la verbiage. Stratifiez les paires de préférences en fonction de la différence de longueur, et vérifiez si les améliorations du taux de réussite persistent lors d’une évaluation contrôlée en termes de longueur.

SimPO utilise la probabilité logarithmique moyenne, normalisée en fonction de la longueur de la séquence, et ajoute une marge de récompense cible. Cela réduit la dépendance à un modèle de référence distinct, mais introduit ses propres choix en matière de marge et d’échelle. Être sans référence ne signifie pas être sans hyperparamètres.

Force de préférence et désaccord

Une paire binaire indique simplement que y_w a gagné. Elle ne précise pas si la victoire était évidente ou serrée. Lorsque c’est possible, préservez les votes des évaluateurs, leur niveau de confiance, les dimensions de la grille d’évaluation ainsi que les désaccords.

Un partage des votes de 3 contre 2 n’a pas nécessairement le même poids d’entraînement qu’un verdict unanime de 5 contre 0. Atténuer le poids des paires ambiguës a également un coût, car des préférences minoritaires valables peuvent disparaître. Vérifiez en fonction du groupe d’utilisateurs, de la langue, de la géographie et de la catégorie de tâche avant de choisir une règle de pondération.

Dérive de référence

On indique que l’entraînement par préférences doit commencer avec sft-v3, mais le moteur DPO charge en silence sft-latest. La référence mathématique a changé. Il faut conserver à la fois la politique d’initialisation et la politique de référence figée utilisée dans le calcul de la perte. Elles sont généralement identiques, mais ce n’est pas obligatoire, et la reproductibilité exige à la fois des identifiants et des checksums.

Les méthodes voisines

• IPO remplace la perte de préférences logistique sans limite par un objectif fini de type marge, ce qui aide à éviter le surapprentissage du DPO lorsque des étiquettes déterministes seraient utilisées.
• KTO apprend à partir d’exemples étiquetés comme souhaitables ou non souhaitables de manière indépendante, de sorte qu’aucune sortie paire n’est nécessaire.
• ORPO intègre l’apprentissage par instruction et une pénalité de préférence basée sur le rapport de probabilités dans un seul objectif, sans modèle de référence distinct.
• SimPO ne repose sur aucune référence, utilisant une probabilité logarithmique de séquence normalisée par la longueur ainsi qu’une marge cible.

Aucune méthode ne rend inutiles les tests de fuite ou une ligne de référence SFT. L’entraînement basé sur les préférences peut augmenter le taux de réussite tout en dégradant la calibration, la longueur des réponses, les limites de refus ou les sous-ensembles minoritaires.

Choix au sein de la famille DPO

Prenez votre décision en vous basant sur un historique de décisions et non sur des tendances :

• choisissez DPO pour des paires bien formées et un modèle de référence stable dont l’exécution est abordable ;
• essayez IPO lorsque des préférences déterministes ou à faible bruit poussent DPO vers des marges excessives ;
• choisissez KTO lorsque les retours arrivent sous forme d’ résultats indépendants « bon » ou « mauvais » et que le couplage serait artificiel ;
• essayez ORPO si une seule phase combinant SFT et apprentissage des préférences simplifie les opérations.
• Essayez SimPO si la mémoire destinée au modèle de référence constitue la contrainte la plus stricte et si les récompenses normalisées en fonction de la longueur de la séquence conviennent à la tâche.

Partez de la même base SFT pour chaque candidat et attribuez-lui la même répartition des données, le même ensemble d’évaluation ainsi que le même budget de calcul. Si les configurations diffèrent, vous comparez des pipelines et non des objectifs. Une configuration minimale DPO se présente comme suit :

from trl import DPOConfig, DPOTrainer
trainer = DPOTrainer(
    model=sft_model,
    ref_model=reference_sft_model,
    train_dataset=preference_dataset,
    args=DPOConfig(
        output_dir="runs/inv22041-dpo-v1",
        beta=0.2,
        max_length=4096,
        max_prompt_length=2048,
    ),
)
trainer.train()

La référence doit être le point de contrôle indiqué dans le manifeste de l’exécution, et jamais ce que le registre des modèles désigne actuellement comme « dernier ».

RLHF classique : modèle de récompense, PPO et RLAIF

Le RLHF classique exécute trois modèles en même temps. La politique génère des réponses candidates, un modèle de récompense les évalue, et PPO ajuste la politique en limitant tout changement suffisamment important pour la déstabiliser.

PPO s’appuie sur un objectif substituté clippé. En termes simples, il calcule la valeur minimale attendue du rapport de probabilité multiplié par l’avantage, ainsi que du rapport clippé multiplié par l’avantage, puis il soustrait une pénalité KL qui mesure la divergence par rapport à une référence. Les symboles ont les significations suivantes :

• ρₜ représente le rapport de probabilité entre les politiques nouvelles et anciennes ;
• Aₜ permet d’évaluer si l’action sélectionnée dépasse les attentes ;
• ε détermine la taille maximale d’une mise à jour de politique ;
• la pénalité KL maintient la politique proche d’une référence.

Choisissez cette approche lorsque la qualité est véritablement subjective, qu’il existe suffisamment de comparaisons pour concevoir un modèle de récompense, et que l’optimisation en ligne de la politique justifie la complexité opérationnelle supplémentaire.

Entraînement du modèle de récompense

Un modèle de récompense applique généralement la même perte en paires Bradley-Terry : le logarithme négatif de la fonction sigmoïde du score appris pour la réponse choisie, moins le score pour la réponse rejetée. Le scoreur rφ est une fonction scalaire apprise ayant pour paramètres φ, entraînée pour classer les réponses choisies au-dessus des réponses rejetées.

La valeur absolue d’une récompense n’a pas de sens en soi. Un score de 7 ne signifie pas « sept unités de qualité », et seules les comparaisons au sein de la distribution opérationnelle calibrée sont utiles. L’échelle des récompenses peut varier d’un point de contrôle, d’un ensemble de données ou d’une catégorie de prompt à l’autre.

Considérez un modèle de récompense comme un système de classement et évaluez :

• la précision sur les paires réservées ;
• la calibration par différence de score ;
• la concordance avec les étiquettes humaines par tranches ;
• la résistance aux entrées adversariales ;
• la sensibilité à la longueur, au format, au nombre de citations et aux termes d’identité ;
• le comportement en dehors de la distribution.

Réservez un ensemble « or » qui ne sert jamais à entraîner le modèle de récompense ni à guider l’optimisation de la politique. Sinon, la politique peut surajuster son évaluateur tandis que le tableau de bord affiche des progrès.

Clipping PPO avec des nombres réels

Disons que la politique ancienne donne une probabilité d’action de 0,20 et que la politique mise à jour en donne 0,25. Le rapport est de 0,25 / 0,20 = 1,25. Avec ε = 0,2, le clipping limite ce rapport à 1,20. Pour un avantage positif de 2 :

• la valeur non limitée est de 1,25 × 2 = 2,50 ;
• la valeur limitée est de 1,20 × 2 = 2,40 ;
• PPO retient la valeur la plus faible, soit 2,40.

La mise à jour renforce toujours l’action, mais elle ne peut pas tirer pleinement parti de l’augmentation importante de la probabilité pour atteindre l’objectif souhaité.

Lorsque l’avantage est négatif, le fait de retenir la valeur minimale empêche l’optimiseur d’exploiter le clipping dans la direction opposée. Cet état d’esprit prudent explique pourquoi les versions basées sur la politique ancienne restent inchangées tout au long du lot.

Le contrôleur KL

Le terme KL empêche la politique d’écarter trop loin une référence. La récompense ajustée correspond à la récompense apprise moins un coefficient βᴋʟ multiplié par la divergence KL entre la politique et la référence. Si βᴋʟ est trop petit, la politique peut exploiter le modèle de récompense, devenir répétitive ou perdre en qualité linguistique. S’il est trop grand, l’apprentissage stagne. Certains systèmes adaptent la valeur de beta afin de maintenir la divergence KL dans une plage cible.

Suivez la divergence KL en fonction de la position des tokens et des tranches de tâche, et non seulement en tant que moyenne globale. Une moyenne modeste peut masquer de grands changements concernant les refus, les appels d’outils ou les langues minoritaires.

Le système acteur-critique

Le PPO classique nécessite généralement six composants : l’acteur qui est entraîné, ainsi qu’une version figée de sa version précédente, une politique de référence qui sert de point d’ancrage pour le terme KL, et un modèle de valeur agissant en tant que critiqueur. Un modèle de récompense et un moteur de déploiement complètent cette liste. Ils peuvent partager des poids ou des infrastructures tout en conservant des identités distinctes. Les méthodes de préférence hors ligne et les méthodes de groupe sans critiqueur sont attrayantes car elles éliminent certaines parties d’un système distribué coûteux et sujet aux pannes.

Ne choisissez pas le PPO simplement parce qu’il s’agit de la méthode canonique de RLHF. Il mérite sa place lorsque l’optimisation en fonction d’une récompense subjective apprise justifie l’investissement supplémentaire en termes de complexité d’exécution et de maintenance.

RLAIF remplace certains ou tous les labels de préférence humaine par des jugements basés sur l’IA, guidés par une constitution écrite. Ce qu’il ajoute, c’est de l’échelle, jamais la vérité absolue. Le contrat de données géré doit couvrir la demande du juge et la constitution utilisée, la version du juge appliquée, les zones où les jugements diffèrent, ainsi que le moment où un humain intervient.

Le piratage des récompenses représente l’échec le plus dangereux : la politique trouve une caractéristique superficielle qui obtient de bons scores sans servir l’objectif réel. Un modèle de récompenses d’entreprise pourrait considérer que des rapports plus longs, des citations supplémentaires ou des phrases d’évitation fréquentes signifient « meilleur ». Les tests adversariaux et les métriques de tâche directes relèvent de ce qui est en dehors de la récompense apprise.

RLAIF et les jugements constitutionnels

Une constitution transforme les principes en un protocole de jugement. Pour INV-22041, elle pourrait indiquer au juge de donner la priorité à l’autorisation, suivie du soutien des citations, de la validité statistique, de l’incertitude calibrée et de la concision.

Les étiquettes basées sur le juge ajoutent trois éléments supplémentaires à suivre :

• la constitution et l’instruction du juge ;
• le modèle du juge et sa configuration de décodage ;
• la politique de décision en cas de désaccord ou d’incertitude.

Le biais de position apparaît lorsque l’ordre est modifié. Échangez les éléments choisis et rejetés, aléatoisez les identifiants neutres, et ajoutez des paires de contrôle examinées par des humains. Un juge qui change son verdict lorsque l’ordre est inversé ne peut pas être considéré comme une source fiable de vérité des préférences.

Apprentissage par renforcement avec des récompenses vérifiables

Si le succès peut être vérifié mécaniquement, un modèle de récompense appris n’est pas nécessaire du tout. SQL peut être analysé et exécuté dans un cadre contrôlé. Le code peut être exécuté en fonction de tests. Une conclusion statistique peut être comparée aux résultats attendus et aux hypothèses établies.

GRPO

GRPO sélectionne un groupe de réponses candidates à une demande et normalise leurs récompenses. L’avantage d’une réponse est sa récompense moins la moyenne du groupe, divisée par l’écart type du groupe, plus un petit facteur de stabilisation ε.

Imaginons huit plans SQL candidats dont les récompenses, classées du pire au meilleur, sont −0,3, −0,2, 0, 0, 0,5, 0,8 et 1,0. Leur moyenne est de 0,325 et l’écart type de la population est d’environ 0,47. Chaque plan candidat est ajusté par rapport à ses pairs sélectionnés, ce qui élimine le besoin d’un critique entraîné séparément, bien que la fiabilité de la méthode dépende de celle de ses récompenses.

Pour obtenir la meilleure trajectoire, l’avantage normalisé est d’environ (1,0 − 0,325) / 0,47, soit environ 1,44. Pour la pire situation, il s’agit de (−0,3 − 0,325) / 0,47, soit environ −1,33.

Les valeurs exactes dépendent du fait que l’implémentation utilise la variance de la population ou celle de l’échantillon, ainsi que de la manière dont les récompenses sont prétraitées. Il est essentiel de fixer ces détails, car ils influencent l’échelle du gradient.

Si chaque échantillon reçoit une récompense de 1, l’écart type est nul et il n’existe aucun signal relatif. L’epsilon empêche une division par zéro, mais il ne peut pas générer d’informations permettant d’apprendre. La solution consiste à utiliser un échantillonnage dynamique ou un programme d’apprentissage plus exigeant.

Pour INV-22041, une récompense composite pourrait exiger que :

• le JSON soit valide selon le schéma ;
• le prédicat tenant soit présent ;
• le SQL soit en mode lecture seule ;
• la requête s’exécute dans les limites de coût fixées ;
• Les données retournées sont suffisantes pour le test déclaré ;
• le rapport ne cite que les éléments de preuve communiqués à l’agent.

Une somme pondérée naïve permet à l’excellence dans une dimension de compenser une violation critique. Prenons une récompense composée de 0,3 fois la justesse, de 0,2 fois la qualité des preuves, de 0,2 fois la validité SQL et de 0,3 fois le style. Une requête intertenant peut encore obtenir un score positif si la réponse et le style sont bons. La sécurité et l’autorisation nécessitent donc des contrôles stricts. Dans cette forme contrôlée, la récompense est nulle chaque fois que l’autorisation échoue ou qu’il y a fuite de données protégées. Sinon, il s’agit d’une somme pondérée des récompenses pour la justesse, les outils et les preuves, moins un terme de coût pondéré.

Dans des environnements plus risqués, une violation peut entraîner une récompense finale négative à la place de zéro. Ce qui importe, c’est l’impossibilité de compensation, car la fluidité ne peut jamais compenser un accès non autorisé.

Garantissez que les composantes des récompenses restent distinctement observables. L’optimiseur a besoin d’une valeur scalaire, mais un tableau de bord qui affiche séparément la correction, l’autorisation, la validité de l’outil, la qualité des preuves, le coût et la longueur permet de diagnostiquer les manipulations des récompenses.

La normalisation des récompenses peut cacher l’ampleur commerciale

La normalisation par groupe ne tient compte que de l’ordre relatif au sein d’une même requête. Si tous les candidats sont médiocres et qu’un seul est légèrement moins mauvais, celui-ci peut obtenir un avantage positif. Des seuils absolus restent nécessaires.

Le cas inverse concerne un groupe où tous les candidats sont corrects. Cela ne fournit que peu d’informations, même s’il illustre un comportement de production sain. Gardez ces requêtes dans l’évaluation, et ne les supprimez ou ne réduisez pas leur poids que pour l’optimisation de la politique relative, uniquement si la politique d’échantillonnage est explicitement définie.

Rapports de politique et clipping

Les objectifs de style GRPO conservent généralement les ratios d’importance et le clipping de PPO. Par token, le ratio divise la probabilité de la nouvelle politique par celle de l’ancienne politique, et l’objectif correspond à la valeur minimale attendue du produit du ratio par l’avantage et du produit du ratio clippé par l’avantage, moins un terme KL. L’avantage peut être défini au niveau de la séquence tandis que les ratios sont appliqués par token, ce décalage ayant en partie motivé des successeurs au niveau de la séquence tels que GSPO.

DAPO : entraînement plus stable pour le raisonnement long

DAPO intègre quatre mécanismes pratiques. Les bornes de clipping sont déconnectées, les groupes sont échantillonnés dynamiquement, le gradient de politique est géré par token, et les échantillons qui durent trop longtemps sont traités explicitement. L’échantillonnage dynamique élimine les groupes dont les récompenses sont toutes identiques, car ceux-ci ne transmettent aucun signal relatif.

Vanilla GRPO peut souffrir d’un effondrement de l’entropie, d’une instabilité liée aux chaînes longues, ou de lots composés exclusivement de groupes entièrement corrects ou entièrement erronés, et c’est là que DAPO intervient. Sa méthode se résume à quatre solutions techniques pour faire face aux échecs d’entraînement observés :

1. Clip-Higher. Les limites supérieure et inférieure de clipping sont dissociées, ce qui permet aux tokens à faible probabilité d’avoir plus de marge de manœuvre sans provoquer d’instabilité symétrique partout.
2. Échantillonnage dynamique. Les prompts dont le groupe échantillonné est entièrement correct ou entièrement erroné sont filtrés, car leurs avantages normalisés offrent peu de contraste.
3. Perte de gradient de politique au niveau des tokens. Les réponses longues sont prises en compte au niveau des tokens eux-mêmes et ne sont pas diluées par des moyennes au niveau des échantillons.

Modélisation des récompenses trop longues. Les pénalités de longueur s’appliquent progressivement, évitant ainsi une frontière abrupte qui créerait des gradients instables près de la longueur maximale.

Chacun de ces mécanismes cible un symptôme différent. Ne adoptez pas cet acronyme comme un ensemble indissociable sans évaluer quel type de défaillance se manifeste réellement dans votre charge de travail.

Dans un agent SQL d’entreprise, l’échantillonnage dynamique peut concentrer l’entraînement sur les requêtes où seuls certains plans correspondent au bon utilisateur. La modélisation adaptée aux longueurs excessives empêche le modèle de consacrer des milliers de tokens de raisonnement à une requête simple, tandis que Clip-Higher est utile lorsque les actions de récupération nécessaires ont une probabilité très faible de se déclencher.

GSPO : la séquence en tant qu’unité

GSPO calcule des ratios d’importance ainsi que des valeurs de clipping pour l’ensemble de la séquence, et non de manière indépendante pour chaque token. Cela convient mieux aux récompenses au niveau de la séquence, et on lui attribue le mérite d’assurer la stabilité de l’apprentissage par renforcement sur des modèles très grands de type Mixture-of-Experts.

La leçon n’est pas que GSPO remplace GRPO. Elle est plutôt que l’unité d’optimisation doit correspondre à la fois à la récompense et à l’architecture. Lorsque le résultat business est évalué pour chaque séquence et que la politique est un modèle de type Mixture-of-Experts, GSPO mérite d’être essayé.

En termes généraux, GSPO calcule un rapport de vraisemblance de séquence en moyennant les différences de probabilité logarithmique par token sur toute la longueur de la réponse, puis en exponentiant le résultat, ce qui ramène la valeur dans l’espace des rapports. L’objectif consiste ensuite à limiter ce rapport au niveau de la séquence et à appliquer l’avantage dérivé du groupe au même niveau. Comme la récompense évalue l’ensemble de la trajectoire, l’unité d’optimisation correspond désormais à l’unité d’évaluation.

De petites modifications de routage entre tokens dans un modèle MoE peuvent rendre les rapports par token bruyants ; donc, l’agrégation sur toute la séquence peut offrir plus de stabilité, au prix d’un crédit moins localisé. Évaluez conjointement la convergence, l’entropie, la stabilité du routage, la récompense et la qualité finale, et ne vous fiez pas uniquement à la récompense.

RLOO

REINFORCE Leave-One-Out utilise les autres échantillons d’un groupe comme référence pour chaque échantillon. Il s’agit d’un estimateur de gradient de politique sans critique et d’un critère utile pour comparer les méthodes basées sur des groupes.

Avec G échantillons, l’échantillon i obtient une référence égale à la moyenne des récompenses des G − 1 autres échantillons, et son avantage est sa récompense moins cette référence. Il n’y a pas de division par l’écart type du groupe comme dans la normalisation par score z. L’estimateur est simple et non biaisé selon la construction REINFORCE, bien que l’échelle des récompenses influence directement l’échelle du gradient.

Prenons des récompenses de 1,0, 0,8 et 0,2. Pour le premier échantillon, la référence Leave-One-Out est (0,8 + 0,2) / 2 = 0,5, ce qui donne un avantage de 0,5. La référence pour le troisième échantillon est (1,0 + 0,8) / 2 = 0,9, ce qui donne −0,7.

RLVR et affinage par renforcement

Le schéma général est l’apprentissage par renforcement avec des récompenses vérifiables. On extrait des trajectoires d’échantillonnage, on exécute des évaluateurs déterministes ou strictement définis, puis on renforce tout ce qui réussit l’évaluation.

Les récompenses de résultat vérifient si la réponse finale est correcte, tandis que les récompenses de processus évaluent les étapes intermédiaires. La supervision du processus permet de localiser une erreur, mais les évaluateurs d’étape sont coûteux et peuvent restreindre de manière excessive un raisonnement valide. Dans les agents d’entreprise, les récompenses de processus s’avèrent utiles via des interfaces observables (sélection d’outils, autorisation, construction d’arguments, diffusion de preuves et transfert de responsabilités), et jamais sur une chaîne de réflexion cachée.

Récompense de résultat contre récompense de processus

Une récompense SQL basée uniquement sur le résultat pourrait être un indicateur simple qui vaut 1 lorsque le résultat correspond à celui attendu et 0 dans le cas contraire. Cela est objectif et peu coûteux à calculer, tout en permettant à un modèle d’obtenir la réponse par le biais d’une requête dangereuse ou coûteuse.

Les récompenses tenant compte du processus ajoutent des invariants observables, en additionnant six termes. Ils vérifient si le schéma est valide, si le locataire est bien lié, si la requête reste en mode lecture seule, quel en est le coût, si le résultat est correct et si les preuves ont été correctement divulguées. Chaque terme doit être une fonction testée à partir d’artefacts visibles. L’évaluation doit couvrir l’arbre de syntaxe SQL, la décision d’autorisation, le plan d’exécution, l’ensemble de données retourné, le rapport du test statistique et les références, sans jamais prendre en compte les réflexions internes privées du modèle.

Les tests de notation sont des tests de modèle

Créez une matrice de tests de notation avant toute exécution d’apprentissage par renforcement :

• Une trajectoire connue comme fonctionnelle est utilisée ;
• Le locataire incorrect échoue ;
• Un prédicat de locataire caché dans une sous-requête est lu correctement ;
• Un commentaire SQL ne peut pas simuler un prédicat requis ;
• Un résultat vide est distingué d’une erreur d’exécution ;
• Une jointure cartésienne coûteuse échoue ;
• Une citation fabriquée échoue même lorsque le chiffre final est correct ;
• Une défaillance de temps d’exécution du correcteur est traitée comme une erreur ;
• Une sortie mal formatée du correcteur ne peut pas constituer une récompense positive.

Après chaque modification du correcteur, rejouez les trajectoires historiques. Une modification de la version de la récompense déclenche une nouvelle lignée d’expériences, même si le code de la politique reste inchangé.

Penser a un prix

La seule correction ne suffit pas à éviter un raisonnement gaspilleur ; il faut donc ajouter un terme de coût limité : la récompense correspond à la correction moins lambda multiplié par le coût de réflexion Tₕ. Ce coût peut être exprimé en tokens de raisonnement, en millisecondes ou en ressources informatiques normalisées, et λ indique le coût supplémentaire lié à la délibération. Appliquer la pénalité uniquement après avoir vérifié les seuils de correction et de sécurité permet au modèle d’apprendre à répondre rapidement, même si c’est de manière erronée.

Supposons que deux trajectoires correctes reçoivent chacune une récompense de base de 1,0, l’une utilisant 400 tokens de raisonnement et l’autre 1 000. Avec un coût par token normalisé à 1 000 et lambda = 0,1, la trajectoire courte obtient 0,96 (une déduction de 0,04) tandis que la trajectoire longue obtient 0,90 (une déduction de 0,10).

Ainsi, la trajectoire correcte plus courte est préférable. Néanmoins, une réponse incorrecte utilisant 100 tokens devrait échouer au test de correction et ne pas recevoir une valeur de –0,01, afin de ne pas concurrencer les réponses correctes.

La latence et le nombre de tokens sont corrélés sans être identiques. Les appels de outils en parallèle, les accès au cache, le planification par lots ainsi que l’architecture du modèle peuvent faire varier le temps réel, tandis que le nombre de tokens utilisés pour le raisonnement reste inchangé. Choisissez la mesure de coût qui reflète le contrainte de production.

Apprentissage par renforcement pour des agents à plusieurs tours

Les décisions du modèle, les résultats des outils, les lectures de mémoire et les transferts d’agent s’inscrivent tous dans une trajectoire d’entreprise. Stockez ses transitions d’état et évaluez le contrat commercial final en plus des invariants locaux.

Par exemple, Enrichment peut ne pas obtenir de récompense directe en posant une question de clarification. Sa valeur se manifeste lorsque Data Sufficiency formule la bonne requête et que Reporting évite des affirmations causales fausses. L’affectation des crédits ne doit pas effacer cette dépendance.

La trajectoire est un journal d’événements structuré

Représentez le déploiement comme bien plus qu’un simple transcript de conversation. Chaque transition doit contenir :

• Identifiants de l’état et des observations ;
• L’agent en action et sa version de politique ;
• Le jeu d’outils disponible et la portée des autorisations ;
• L’action sélectionnée et ses arguments bruts ;
• La décision de la politique et le résultat de l’outil ;
• Lues et écrites de la mémoire ;
• Le chargement transmis lors du transfert ;
• Les timestamps, le coût et le résultat final.

Ce format permet la rejouabilité, une analyse hors politique et une attribution précise des récompenses. Il empêche également le pipeline d’entraînement de traiter les observations des outils comme si l’assistant les avait générées.

Récompenses hiérarchisées

Pour une enquête en quatre étapes, définissez des récompenses contractuelles locales ainsi qu’une récompense finale liée à l’activité commerciale. La récompense totale correspond à la récompense finale R★ ajoutée à la somme pondérée des récompenses des quatre étapes R₁ à R₄, une pour chacune des étapes d’enrichissement des données, de vérification de la suffisance des données, de test d’hypothèses et de rédaction du rapport, avec des poids γ₁ à γ₄.

Les récompenses locales accélèrent l’apprentissage, mais elles peuvent également entrer en conflit. L’enrichissement des données peut maximiser la qualité de la clarification en posant un nombre excessif de questions. La rédaction du rapport peut optimiser la concision en omettant une limitation. La récompense finale et les invariants fondamentaux doivent primer sur les avantages locaux.

La créditation doit suivre la responsabilité causale. Si Enrichment transmet à Reporting une correspondance d’entité incorrecte et que Reporting rapporte fidèlement le résultat qu’il a reçu, pénaliser uniquement Reporting enseigne une mauvaise leçon. Conservez les sorties de chaque étape et jugez la première violation du contrat.

Bonne pratique : entraînez dans l’environnement le plus restreint qui conserve néanmoins le contrat réel, en utilisant des outils isolés, des données de test déterministes, des évaluateurs versionnés, des délais stricts et sans identifiants de production.

Distillation : transférer des capacités plutôt que de copier un modèle

La distillation transforme le comportement coûteux d’un modèle enseignant en un modèle élève plus petit ou plus facile à déployer.

Distillation logit

L’étudiant est formé pour correspondre à la distribution des tokens adoucie par l’enseignant. La perte correspond au carré de la température multiplié par la divergence KL entre le softmax de l’enseignant et celui de l’étudiant, les deux étant calculés à partir de logits divisés par la température T. Le facteur carré permet de conserver l’échelle du gradient. Une température plus élevée met en évidence les probabilités relatives des tokens autres que le premier, c’est-à-dire les « connaissances cachées » que les étiquettes strictes omettent.

Quels effets la température a-t-elle ?

Imaginons un enseignant ayant des logits de 8, 4 et 2 pour trois tokens candidats. Lorsque T = 1, le softmax concentre presque toute la masse sur le premier token. Avec T = 2, les logits effectifs descendent à 4, 2 et 1, ce qui adoucit la distribution ; ainsi, l’étudiant apprend que le premier token est le plus probable, mais aussi que le deuxième token l’est davantage que le troisième.

Au fur et à mesure que la température augmente, les gradients provenant des alternatives secondaires deviennent plus informatifs. Si on la monte trop haut, la distribution s’aplatit vers une forme uniforme, perdant ainsi sa structure utile. Il convient de l’ajuster en fonction de la qualité de transfert évaluée indépendamment.

Le facteur carré compense le rétrécissement des gradients lorsque les logits sont divisés par la température. En l’omettant, l’équilibre entre la perte de distillation et la perte liée aux étiquettes fermes change.

Combinaison des cibles fermes et souples

Un objectif courant mélange deux termes : un poids correspondant à la perte SFT et un poids correspondant à la perte de distillation. Les étiquettes fermes conservent la sortie correcte connue, tandis que les probabilités d’enseignant souples transmettent des préférences relatives. Ces deux poids déterminent l’équilibre.

Pour les appels d’outils, la correction stricte du schéma peut mériter plus d’importance que l’incertitude du modèle enseignant. Pour les explications en langage naturel, la distribution du modèle enseignant peut présenter un comportement plus riche. Les poids peuvent varier en fonction de la classe du token, mais cette complexité supplémentaire doit rester testable et documentée.

Distillation séquentielle et on-policy

La distillation séquentielle s’entraîne à partir des sorties générées par le modèle enseignant. Elle est simple, mais l’élève ne voit que la distribution d’état du modèle enseignant.

La distillation on-policy permet à l’élève de générer des états, puis le modèle enseignant supervise les états réellement atteints par l’élève. Cela est particulièrement utile pour les agents, où de petites déviations précoces génèrent de nouveaux états d’outil ultérieurs.

Lorsque l’objectif est de distiller le raisonnement, il convient de conserver ce qui est visible : la manière dont les problèmes sont résolus, les traces générées par les outils, ainsi que les résultats pouvant être vérifiés. Le texte contenant des raisonnements cachés ne doit pas devenir une dépendance essentielle pour la production.

Filtres pour la distillation séquentielle

Les résultats générés par l’enseignant constituent des données d’entraînement synthétiques, et ils méritent les mêmes contrôles que les données écrites par des humains :

• vérification en vue de l’autorisation et de l’autorisation d’utilisation ;
• détection des informations personnelles et des secrets ;
• exécution des outils dans un environnement isolé ;
• vérification déterministe chaque fois que c’est possible ;
• suppression des doublons par rapport aux évaluations ;
• traçage de l’origine jusqu’à l’enseignant, à la question posée, aux paramètres de décodage et au contexte source.

La sélection des meilleurs éléments peut améliorer la qualité synthétique, mais elle réduit la diversité et peut amplifier les biais du sélecteur. Conservez les statistiques de génération et de sélection afin de pouvoir reconstituer la distribution des données de l’élève.

Le cycle de distillation en temps réel

La distillation en temps réel comprend cinq étapes :

1. L’élève génère des résultats à partir de sa politique actuelle.
2. Le professeur évalue ces états ou fournit des distributions de tokens pour eux.
3. Les trajectoires dangereuses ou invalides sont filtrées.
4. L’élève met à jour ses stratégies en fonction des états restants.
5. L’évaluation vérifie les capacités et les déviations.

Le cycle vise les erreurs réelles de l’élève. Il est plus coûteux que l’utilisation de données statiques fournies par un professeur et peut hériter de l’instabilité d’une distribution de l’élève en constante évolution. Fixez l’identité du professeur et prenez des captures d’écran des résultats générés par l’élève à chaque itération.

La distillation n’est pas une décodage spéculatif

La distillation forme un modèle étudiant pour qu’il imite un modèle enseignant. Le décodage spéculatif exécute un modèle de brouillon plus petit au moment de l’inférence et fait vérifier les tokens proposés par le modèle cible. Un modèle étudiant distillé peut servir de modèle de brouillon, mais ces deux techniques visent des objectifs différents.

La distillation rend un modèle moins coûteux à exécuter seul. Le décodage spéculatif ne accélère un modèle cible que lorsque de nombreux tokens de brouillon sont acceptés et que la vérification est efficace. Il convient de les évaluer séparément.

Le contrat de distillation pour les entreprises

Précisez chacun des éléments suivants :

• le modèle enseignant et sa version API ;
• les paramètres de génération et l’environnement de l’outil ;
• la version du prompt ou du système ;
• les règles de filtrage et d’arbitrage ;
• la base de modèles étudiants, ainsi que l’arbre généalogique du tokeniseur et de l’adaptateur ;
• Évaluations de sécurité tant pour les enseignants que pour les élèves ;
• Droits d’utilisation des données concernant les productions des enseignants.

Un modèle plus petit hérite également des modes de défaillance. Réexécutez les tests de confidentialité, de citation, d’autorisation, d’utilisation des outils et d’adversarialité sur l’élève, et ne supposez pas que la conformité de l’enseignant s’applique également.

Quels changements ont été apportés aux modèles de pointe en matière d’entraînement et de retouche

Ce n’est pas le nombre de paramètres qui explique les modèles de pointe récents. Leurs processus ont dépassé une seule étape de retouche supervisée. Les plus performants combinent plusieurs éléments : des données fournies dans un ordre précis, un apprentissage par renforcement, des récompenses vérifiables, des trajectoires synthétiques, ainsi qu’un transfert de connaissances de l’enseignant à l’élève. Chacun comble une lacune différente laissée par l’imitation seule.

Le ajustement fin n’est plus une seule opération. C’est un parcours pédagogique qui conduit le modèle de l’imitation à l’exploration, puis à la vérification, ensuite à l’alignement, et enfin au déploiement.

DeepSeek-R1

DeepSeek-R1 place l’apprentissage par renforcement au cœur de l’adaptation du raisonnement. R1-Zero a démarré à partir d’un modèle de base préentraîné et a appliqué l’apprentissage par renforcement sans lui enseigner au préalable de séquences de réflexion écrites par des humains. L’expérience visait à déterminer si le raisonnement pouvait émerger de l’optimisation des résultats plutôt que de la copie de traces de raisonnement sélectionnées.

La méthode principale était l’Optimisation des politiques relatives par groupe (GRPO). Une politique génère un groupe de candidats pour une requête donnée, et chacun d’eux reçoit une récompense. L’avantage provient de la comparaison avec le groupe, c’est-à-dire la récompense moins la moyenne du groupe divisée par l’écart type du groupe plus ε, sans nécessiter de modèle de valeur entraîné séparément. Les réponses qui surpassent leurs pairs obtiennent un avantage positif, tandis que celles qui sont moins performantes obtiennent un avantage négatif. L’élimination du critère permet de réduire la mémoire et les calculs tout en conservant un signal d’apprentissage utile.

GRPO s’est avérée particulièrement efficace dans les cas où la correction pouvait être vérifiée automatiquement : la vérification des réponses en mathématiques, la compilation et les tests pour le code, ainsi que la validation du format pour les réponses structurées. Le modèle apprenait à partir de résultats objectifs, sans avoir besoin d’une étiquette de préférence humaine pour chaque étape de raisonnement.

R1-Zero a montré que des comportements tels que la vérification, le rebroussement de chemin et l’allocation de plus de ressources de calcul aux problèmes difficiles pouvaient émerger grâce à l’apprentissage par renforcement. Il a également mis en évidence les limites de l’entraînement basé uniquement sur le résultat final. Le raisonnement pouvait devenir difficile à comprendre, incohérent dans sa formulation, ou orienté uniquement vers la récompense sans produire de réponse soignée.

Le pipeline complet DeepSeek-R1 a surmonté ces limites grâce à un programme d’apprentissage progressif. Il commence par des exemples de démarrage faciles à comprendre, passe ensuite à l’apprentissage par renforcement pour le raisonnement, puis au échantillonnage par rejet, suivi d’un mélange de raisonnement et d’entraînement par renforcement généralisé, pour finir par l’apprentissage par renforcement pour l’alignement. Les données de démarrage ont permis d’établir un style de raisonnement lisible, l’apprentissage par renforcement pour le raisonnement a étendu les capacités au-delà de l’imitation, l’échantillonnage par rejet a conservé les trajectoires auto-générées les plus pertinentes, l’entraînement par renforcement généralisé sur des données de raisonnement a consolidé ce comportement tout en préservant son utilité générale, et la dernière étape d’apprentissage par renforcement a amélioré son utilité et sa sécurité.

GRPO seul n’était pas la nouveauté. Ce qui comptait, c’était la manière dont l’apprentissage supervisé, l’RL vérifiable, les données auto-générées et l’alignement final étaient séquencés.

DeepSeek a ensuite affiné des modèles denses plus petits en s’appuyant sur des trajectoires de raisonnement réussies. Une partie de cette capacité de raisonnement coûteuse a ainsi été intégrée dans des modèles plus faciles à déployer, et les étudiants ont appris à partir de démonstrations présentant une structure de résolution de problèmes plus riche, et non seulement des réponses finales.

Qwen3 et fusion des modes

Qwen3 a géré le raisonnement et la réponse directe en tant que comportements à apprendre ensemble. Après l’entraînement, on est passé d’un démarrage à chaîne de pensée longue à un RL axé sur le raisonnement, en fusionnant les comportements de raisonnement et ceux qui ne le sont pas, avant d’appliquer un RL plus large pour un alignement général.

Le mode de fusion représente une approche d’entraînement intéressante. Une seule politique apprend les deux types de comportements, contrairement à l’approche alternative qui consiste en un point de contrôle pour une réflexion approfondie et un autre pour une réponse concise. Cette méthode permet de déterminer quand une réflexion étendue est nécessaire et quand une réponse directe suffit, ce qui permet de conserver la capacité de raisonnement sans forcer chaque tâche à suivre le même style verbeux.

GSPO et la granularité de la mise à jour

GSPO (Group Sequence Policy Optimization) a modifié le degré de finesse des mises à jour de la politique. Les méthodes au niveau des tokens calculent généralement et ajustent séparément les ratios d’importance pour chaque token, même lorsque la récompense couvre l’ensemble de la réponse, ce qui peut entraîner des mises à jour incohérentes au sein d’une même séquence générée.

GSPO calcule le rapport d’importance sur toute la séquence et traite cette séquence comme une seule unité d’optimisation. En termes simplifiés, il calcule la moyenne du rapport de probabilité logarithmique entre la politique mise à jour et la politique qui a généré la trajectoire sur toute la longueur de la réponse, puis il exponentie ce résultat. La moyenne sur toute la séquence produit un signal au niveau de la réponse, qui correspond à l’unité ayant reçu la récompense.

Cette méthode est particulièrement utile lorsque l’apprentissage par renforcement devient instable en raison des variations bruyantes des probabilités au niveau des tokens. Sa nouveauté réside dans l’alignement de trois éléments qui ne coïncident souvent pas : l’objet généré, l’unité de récompense et l’unité d’optimisation.

Kimi K2 : stabilité et trajectoires agentes

Kimi K2 a introduit des méthodes de stabilité lors de l’entraînement qui rendent les processus d’optimisation très volumineux plus fiables. MuonClip combine l’optimisation matricielle de type Muon avec des mécanismes de contrôle qui empêchent les poids de croître de manière instable. QK-Clip surveille le comportement de l’attention et restreint de manière sélective les projections de requête et de clé problématiques lorsque leurs logits deviennent extrêmes.

Il s’agit d’innovations liées au pré-entraînement et non de techniques de fine-tuning ultérieures, mais elles sont importantes ici car la qualité post-entraînement dépend du point de vérification hérité. Un petit ensemble de données d’adaptation ne peut pas réparer efficacement un modèle de base endommagé par l’instabilité de l’optimiseur ou par une explosion des logits d’attention.

La méthode de Kimi K2 après l’entraînement s’appuie également sur des trajectoires agentes : codage, invocation d’outils, gestion des observations et accomplissement de tâches en plusieurs étapes. L’entraînement utilise des séquences d’actions accompagnées de retours de l’environnement, plutôt que seulement des paires question-réponse. Un parcours typique va de la définition de la tâche à la sélection d’outils, à la génération d’arguments, aux retours d’exécution, à la récupération en cas d’erreur, jusqu’à l’obtention d’un résultat vérifié.

Des parties de telles trajectoires peuvent être vérifiées mécaniquement, grâce au code qui s’exécute, aux réponses des outils et aux signaux indiquant que la tâche est terminée. Le cycle peut alors récompenser bien plus qu’une simple réponse finale convaincante ; il peut vérifier si le modèle a choisi la bonne capacité, produit des arguments valables, a réagi correctement aux observations et a terminé la tâche.

Les pipelines enseignant-élève chez Meta

Meta’s Muse Spark et Muse Glimmer illustrent un processus plus complet entre enseignant et élève. L’enseignant peut produire des réponses finales, des raisonnements intermédiaires, des analyses multimodales fondées sur des données concrètes, des choix d’outils ainsi que des trajectoires de correction, mais rien de tout cela ne devient du matériel pédagogique tant qu’il n’a pas été filtré en fonction de sa correction, de sa sécurité, de son origine, de sa diversité et de sa pertinence.

Muse Glimmer prévoit sept étapes d’adaptation. D’abord, l’enseignant génère des traces qui sont soumises à un filtrage contrôlé. Ensuite, l’élève passe par une distillation de logits, un affinage supervisé pendant l’entraînement, suivie d’une distillation des connaissances en temps réel, pour finir avec un apprentissage par renforcement.

• La distillation de logits transfère la distribution de probabilité de l’enseignant et non seulement le token choisi. Cela permet de conserver des informations sur des alternatives plausibles et une confiance relative que l’entraînement à étiquettes fixes élimine.
• Le entraînement intermédiaire permet à l’élève d’accéder à des données à long contexte et à des données agentielles avant un ajustement instructionnel restreint, de sorte que ces compétences s’intègrent dans sa représentation plus large et ne restent pas confinées à une couche superficielle ajoutée en dernier.
• La distillation de connaissances on-policy corrige une faiblesse fondamentale de la distillation classique. Entraîné uniquement sur les trajectoires de l’enseignant, l’élève apprend les états de cet dernier, mais lors de l’inférence il se heurte à des états générés par ses propres décisions erronées. Si l’élève produit la trajectoire et que l’enseignant donne des conseils concernant ces états, la disparité diminue.
• L’apprentissage par renforcement renforce ensuite les comportements ayant des résultats mesurables.

Pris ensemble, ces étapes transforment la distillation en un programme de transfert de compétences en plusieurs étapes plutôt qu’en une simple opération de compression.

La recette de frontière est désormais visible : des données supervisées pour définir le comportement, un RL vérifiable pour permettre l’imitation, des trajectoires synthétiques pour assurer la couverture, une unité d’optimisation qui correspond à la granularité de la récompense (l’ensemble de la séquence), ainsi qu’une distillation basée sur les états propres de l’élève afin de transférer ses capacités à des modèles pouvant être déployés.

Aucun nom de modèle en particulier ne constitue l’innovation majeure. Le système d’entraînement réside dans l’ordre des données, la vérification des résultats, la manière dont la politique explore les options, le contrôle des mises à jour instables, et un transfert final qui ne suppose pas qu’un élève plus petit puisse reproduire parfaitement son enseignant.

L’entraînement, c’est une mise en production

Même une exécution réussie ne constitue pas encore un artefact déployable. Ce qui est livré, c’est une recette complète. Elle comprend le modèle de base et son tokeniseur, que ce soit l’adaptateur ou les poids fusionnés, le paquet système et les schémas des outils, le contrat de mémoire et la politique de récupération, ainsi que la quantification, la politique de temps de exécution et la politique de sécurité.

Identité du registre

À titre minimum, enregistrez :

• les checksums des modèles de base et de référence ;
• les digests du jeu de données et de ses transformations ;
• le manifest de segmentation et le rapport de contamination ;
• l’objectif, l’optimiseur, la graine, les hyperparamètres et les modules cibles ;
• les digests du code et du conteneur ;
• le matériel et la précision numérique ;
• les versions du correcteur, du modèle de récompense, du juge et de la politique ;
• le rapport d’évaluation, les approbations, le propriétaire, la date d’expiration et la cible de rollback.

Les évaluations nécessitent des seuils et des comparaisons

Appliquer deux seuils :

1. Seuils absolus. Le taux de fuite est nul pour les suites protégées, la validité du schéma d’outil dépasse son seuil, le lien avec l’occupant est de 100 %, et les seuils de refus et de sécurité sont respectés.
2. Amélioration relative. Un candidat doit surpasser la recette de production actuelle pour le défaut cible tout en maintenant tous les seuils.

Évaluer l’ensemble du temps de fonctionnement et non seulement le modèle brut. Un adaptateur plus performant peut connaître une dégradation une fois qu’une nouvelle quantification, un modèle de chat, une politique de récupération ou un schéma d’outil est appliqué.

Ne réduisez pas la qualité d’entreprise à une seule moyenne

Disons que Mₖ est la métrique pour la tranche d’évaluation k. Un score pondéré S additionne le poids de chaque tranche multiplié par sa métrique, les poids totalisant 1, ce qui permet de synthétiser agréablement les résultats. Cependant, une moyenne pondérée permet des compensations, de sorte qu’une forte amélioration sur les indicateurs de rapport habituels en anglais peut cacher un recul sérieux en matière d’isolation des utilisateurs ou dans les langues disposant de peu de données.

Filtrer lexicographiquement dans cet ordre :

1. seuils incontournables en matière de sécurité, de confidentialité et d’autorisation ;
2. seuils de préservation des capacités ;
3. amélioration par rapport à la tâche cible ;
4. contraintes de coût et de latence ;
5. classement global parmi les candidats ayant réussi chaque filtre précédent.

Cela reflète le principe de conception des récompenses : des contrats incontournables ne peuvent pas être compensés par du style ou de la productivité.

Intervalle de confiance et petites améliorations

Le bruit de prélèvement peut expliquer une différence d’exactitude observée. Pour une métrique binaire avec une proportion p̂ sur n éléments indépendants, l’erreur standard est approximativement la racine carrée de p̂(1 − p̂) / n. Avec p̂ = 0,90 et n = 100, elle est d’environ 0,03, ce qui rend un gain d’un point peu convaincant.

Les candidats répondent aux mêmes questions, ce qui fait que les tests en paires sont généralement plus fiables que l’analyse des résultats comme s’ils étaient indépendants. Utilisez la méthode bootstrap pour les différences par élément ou un test en paires adapté, et indiquez des intervalles de confiance ainsi que des estimations ponctuelles.

Les évaluations utilisant un LLM en tant que juge nécessitent des contrôles supplémentaires : ordre aléatoire, versions fixes des juges, calibration humaine et suivi des désaccords entre juges. Un léger avantage obtenu grâce à une seule question posée au juge ne suffit pas à justifier une publication.

Le jeu de tests de l’oubli

La gain cible ne doit pas effacer les capacités générales. Préserver un ensemble fixe couvrant :

• le suivi des instructions ;
• les limites définies par la sécurité et les refus ;
• le comportement entre langues ;
• le choix du bon outil et la mise en forme de son appel ;
• la recherche de faits dans des contextes longs ;
• une confiance calibrée et la capacité à savoir quand s’abstenir ;
• les tâches dans des domaines voisins qui n’étaient pas la cible ;
• les tests adversariaux et liés à la vie privée.

Rapporter les écarts par rapport à la recette de base ou de production exacte. Lorsqu’un seuil de capacité n’est pas atteint, examiner les données d’entraînement, le classement, le taux d’apprentissage, le nombre d’epochs, le mélange de répétitions et l’objectif avant de chercher davantage d’exemples cibles.

Deux portes de quantification

Lorsque QLoRA ou une quantification de déploiement ultérieure est utilisée, évaluer deux fois :

1. Le mécanisme de contrôle des artefacts d’entraînement utilise la version de base associée à l’adaptateur pour évaluer la précision lors du développement.
2. Le mécanisme de contrôle des artefacts de mise en production utilise ce qui est utilisé en environnement de production : la version fusionnée ou sidecar exacte, les noyaux en temps de exécution, la quantification, le tokeniseur et le modèle de chat.

Le premier permet de déterminer si l’entraînement a permis d’acquérir le comportement souhaité. Le second montre si la mise en production l’a conservé.

Canary et rollback

Les versions Canary peuvent être segmentées en fonction du volume de trafic, de la catégorie de l’utilisateur, du type de requête ou du mode d’ombre. Il convient de surveiller la fréquence à laquelle les tâches réussissent et nécessitent une intervention humaine pour correction, la fréquence à laquelle la politique refuse d’exécuter une tâche, les erreurs des outils, la consommation en tokens et la latence, ainsi que tout écart dans les récompenses ou dans la distribution des entrées.

Le rollback doit restaurer la configuration précédente, ce qui implique plus que simplement le remplacement de l’adaptateur. Si le nouveau paquet du système, le tokeniseur ou le schéma de l’outil est encore actif, le système n’a pas été ramené à sa version précédente.

L’arithmétique des canaris

Supposons qu’une panne critique se produise historiquement à un taux de p. Sur n requêtes canaris indépendantes, la probabilité de rencontrer au moins une telle panne est de 1 − (1 − p)ⁿ. Avec un taux de panne de 1 % et 100 requêtes, cela donne 1 − 0,99¹⁰⁰, soit près de 63,4 %, ce qui signifie qu’un petit groupe de canaris peut facilement passer à côté de pannes rares mais graves.

Concevez les canaris en fonction à la fois du risque et des pourcentages. Intégrez délibérément des chemins d’outil risqués, des langages inhabituels, des contextes très longs, des requêtes situées à la frontière des permissions, des requêtes ne renvoyant rien, ainsi que des groupes d’utilisateurs distincts. L’évaluation en parallèle augmente la couverture sans effets secondaires, mais ne peut pas révéler tous les effets d’interaction des actions réelles.

Déclencheurs de promotion et de rollback

Définissez les déclencheurs avant le lancement des canaris :

• une violation absolue de la politique entraîne une arrêt immédiat ;
• Une fuite de données protégées entraîne une interruption, avec arrêt du flux de travail lié à l’incident et conservation des preuves ;
• Une erreur d’outil ou une latence dépassant son seuil implique une pause afin de diagnostiquer le problème ;
• Une régression statistiquement significative sur la cible nécessite un rollback ;
• Un écart inexplicable dans les récompenses ou les jugements entraîne le gel de la promotion ;
• L’absence de données de télémétrie signifie que la mise en production échoue, car il n’est pas possible d’évaluer le résultat.

Nul ne devrait inventer des critères d’acceptation en regardant simplement le tableau de bord. Cela transforme la gouvernance en négociation sous pression lors du déploiement.

Conserver enregistré l’exécution rejetée

Les archives d’audit ont plus de poids lorsqu’elles incluent un candidat qui a échoué, avec l’explication du motif. Prenons cet exemple :

• L’exécution qlora-v4 a augmenté la validité de l’outil de trois points ;
• les réponses basées sur des citations étaient cependant cinq points moins fiables une fois que la quantification des données d’entrée avait été appliquée ;
• le système de contrôle l’a rejetée ;
• en approfondissant l’analyse, l’équipe a établi un lien entre cette baisse de qualité et les projections de sortie qui réagissent négativement à la quantification ;
• la production a continué à utiliser dpo-v1.

Cela prouve que le système de contrôle peut arrêter un modèle qui semble attrayant en apparence. Un registre ne contenant que des exécutions validées ne peut pas démontrer que les mécanismes de contrôle fonctionnent correctement. Un manifeste de publication pour l’adaptateur de rapportage pourrait être rédigé comme suit :

release_id: inv22041-reporting-dpo-v1
base_sha256: "…"
reference_release: inv22041-sft-v3
adapter:
  method: lora
  rank: 16
  alpha: 32
dataset_digest: "sha256:…"
grader_version: sql-cage-12
policy_version: p-31
gates:
  tenant_binding: 1.0
  protected_leak_rate: 0.0
  tool_json_validity_min: 0.98
canary:
  mode: shadow
  duration_hours: 72
rollback_to: inv22041-sft-v3

Le manifeste indique l’ID de la version, le checksum de la base fixée, la version de référence (la build SFT antérieure) ainsi que les détails de l’adaptateur. Il est suffisamment court pour être examiné et suffisamment complet pour permettre de valider l’affirmation.

Guide pas à pas : INV-22041

Le rapport de défaut est précis : l’agent de base aboutit généralement à la bonne réponse, mais des appels d’outils mal formatés, une mauvaise récupération en cas de résultats SQL vides et des formulations causales non étayées affaiblissent ce résultat. Huit étapes permettent de remédier à cela :

1. Localiser le défaut. La cartographie des régions reste dans la mémoire gérée, les données de vente actuelles dans la couche sémantique et les permissions dans la politique en temps de exécution. La formation vise la grammaire des outils, la récupération, les références et un refus calibré.
2. Construire le plan de données. Compiler 4 200 exemples SFT ainsi que 1 100 traces de récupération en plusieurs étapes, y ajouter des informations sur l’origine des données, supprimer les documents financiers préliminaires et maintenir contamination_rate = 0 pour l’ensemble des versions à publier.
3. Établir le SFT. Former un adaptateur LoRA avec un rang de 16 et un alpha de 32 sur des projections d’attention sélectionnées. Le taux de réussite du traitement par outil passe de 0,71 à 0,94, tandis que les capacités générales restent stables.
4. Ajouter des données de préférence. Les évaluateurs choisissent des rapports concis et bien structurés plutôt que des alternatives fluides mais non prises en charge. Les tests DPO sont effectués avec beta = 0,2 en se basant sur le référentiel SFT fixé, atteignant un taux de succès de 0,78 avec un taux de fuites toujours nul.
5. Appliquez uniquement l’RL vérifiable lorsque c’est justifié. Pour l’étape de suffisance des données, générez huit trajectoires SQL et d’outils par demande et évaluez-les en fonction du lien avec le contexte, de leur validité, du fait qu’elles s’exécutent, de leur coût, ainsi que de la suffisance des données. GRPO améliore la récupération, tandis que DAPO est essayé si des groupes à récompense identique et des sorties longues affaiblissent le signal.
6. Vérifiez l’adéquation de l’architecture. Si l’étudiant est un modèle MoE dont les ratios d’importance au niveau des tokens déstabilisent l’RL, comparez GSPO avec le même évaluateur et le même budget.
7. Distillez lorsque les considérations économiques l’exigent. Transférez le comportement observable des outils vers un étudiant local plus petit en utilisant les sorties de l’enseignant ainsi que les états en temps réel, puis répétez les tests de fuite et les ensembles d’outils sur la version quantifiée exacte.
8. Publiez la recette. Marquez chaque composant, mettez-le en ombre pendant 72 heures, ne procédez à la promotion qu’une seule fois une fois que les seuils absolus et les gains relatifs ont été atteints, et conservez dans le registre d’audit une exécution délibérément rejetée.

Lors de l’exécution, le système final continue de lire le trimestre en cours, le schéma et les permissions. La formation améliore son fonctionnement en fonction de ces éléments sans en devenir le propriétaire.

Arbre des défaillances : où échouent les bons projets de formation

Le schéma récurrent est qu’un proxy est optimisé alors que le contrat d’entreprise fait défaut :

• Une forte précision de la formation peut masquer une évaluation contaminée.
• Les comparaisons de préférences gagnantes peuvent provenir de réponses plus longues ou de citations fuitées.
• Une courbe de récompense en hausse peut refléter l’exploitation des évaluateurs.
• Les étudiants adoptent les habitudes dangereuses de l’enseignant en même temps que ses compétences.
• Un adaptateur qui semble parfait peut se dégrader au sein de l’environnement d’exécution quantifié qui est réellement déployé.
• Le rollback peut échouer s’il restaure les poids mais laisse le reste des composants inchangés.

L’objectif d’entraînement ne prouve que l’optimisation a eu lieu. Seules les preuves de déploiement peuvent montrer que le système d’entreprise s’est amélioré.

Preuve de concept versus adaptation à l’échelle entreprise

Se demander si une idée améliore une métrique est pertinent à l’échelle d’une preuve de concept. À l’échelle entreprise, des obligations de preuve s’ajoutent : des données légales, une métrique indépendante, une amélioration résistante à l’intégration, un artefact attributable et un déploiement réversible.

Ainsi, le travail le plus précieux après l’entraînement n’est souvent pas une nouvelle fonction de perte. Il s’agit de l’ingénierie qui relie la traçabilité des données, les contrats de récompense, la reproductibilité, l’évaluation, l’identité du registre, le déploiement, la télémétrie et le rollback.

Douze règles pratiques

1. Privilégiez des données en constante évolution dans les bases de stockage et un comportement stable dans les adaptateurs.
2. Choisissez l’algorithme en fonction du contrat de supervision et de récompense que vous disposez réellement.
3. Fixez la version du modèle de référence, du correcteur, du juge et de la politique.
4. Utilisez une fonction de perte réservée aux assistants pour l’entraînement par conversation, et vérifiez les limites de compression.
5. Préférez PEFT, et considérez le fine-tuning complet comme une exception nécessitant une raison écrite.
6. L’entraînement avec QLoRA ne signifie pas pour autant que le modèle sera quantifié pour le déploiement.
7. DPO nécessite un modèle de référence fixé ainsi que une valeur beta ; les méthodes sans modèle de référence ont néanmoins besoin de lignes de référence.
8. Tester chaque récompense vérifiable face à des trajectoires adverses.
9. Adopter DAPO ou GSPO parce qu’une défaillance mesurée le justifie, et non parce que c’est plus récent.
10. La distillation transfère à la fois le comportement et les modes de défaillance, il faut donc évaluer l’élève de manière indépendante.
11. Maintenir la contamination à zéro pour les ensembles définissant la mise en production.
12. Enregistrer la recette complète et répéter les procédures de rollback avant la promotion.

Contrats, pas une échelle

L’adaptation aux entreprises n’est pas une ascension de SFT vers des acronymes de plus en plus à la mode. C’est une chaîne de contrats.

Le contrat de données précise ce que les exemples peuvent enseigner, l’objectif définit le signal optimisé, et l’environnement énumère les actions possibles. L’évaluation permet de déterminer les améliorations, le registre enregistre exactement ce qui a été construit, le déploiement fixe le niveau de risque que l’organisation est prête à assumer, et le retrait indique si le changement est véritablement réversible.

Avec de tels contrats en place, LoRA, DPO, GRPO, la distillation ainsi que tous les autres méthodes post-entraînement deviennent des outils d’ingénierie utiles. Sans eux, même une belle courbe de récompense n’est qu’une démonstration plus coûteuse.