Affinage agent : entraîner une wiki de connaissances plutôt que des poids de modèle.

Des connaissances détenues par une entreprise mais inaccessibles

Imaginez un fabricant de machines qui possède environ 900 rapports de service. Cette pile cache des réponses à des questions qui ont une véritable valeur financière : quelles séries de machines se dégradent le plus et pour quelle raison, quels réparations sont efficaces, et ce qui tombe en panne lors des installations hivernales mais jamais lors des installations estivales.

C’est là que ça devient compliqué : personne ne peut fournir ces réponses. Quelques employés expérimentés en ont en mémoire des fragments, mais aucun document ne présente tout de manière exhaustive. Lire les 900 rapports est au-delà des capacités d’une seule personne. Ainsi, ces connaissances restent à l’intérieur de l’entreprise sans pouvoir être mises à profit. Presque toutes les organisations ayant une certaine ancienneté vivent avec ce problème, et la plupart des projets d’IA actuels l’ignorent.

Ce que veulent vraiment les entreprises

Les entreprises ne veulent pas rechercher dans leurs données, puisque Ctrl+F a résolu le problème de recherche il y a longtemps. Elles souhaitent plutôt obtenir des enseignements. Comparez les versions de recherche des questions avec les versions axées sur l’apprentissage :

• Une recherche demande ce que prévoit le protocole de test 214. Une question d’apprentissage demande comment se comporte un mélange concret lors de coulages en conditions froides, d’après quinze ans de rapports de tests.
• Une recherche demande le document de brevet relatif à un cas particulier. Une question d’apprentissage demande comment se déroule réellement le processus de dépôt, quels sont les objections fréquentes et ce qui entraîne le rejet d’une demande dès la première tentative.
• Une recherche demande l’avis de ticket 8812. Une question d’apprentissage demande ce que font les membres du service client le plus expérimentés lorsque une machine tombe en panne deux fois en un mois, et ce qu’ils promettent au client.

Ces connaissances possèdent de la valeur, mais elles se comportent de manière cruelle : elles n’existent que sous forme de fragments et ne restent jamais au même endroit. Rien sur papier ne les retient. Elles apparaissent entre les documents, sous forme de schémas couvrant des centaines de rapports, comme le processus qui se cristallise à partir de trois cents cas, ou encore comme une règle que deux personnes expérimentées gardent en tête. Lorsque ces deux personnes partent, c’est la mémoire de l’entreprise qui quitte les lieux, et non simplement deux employés.

Pourquoi « discuter avec ses documents » ne suffit pas

La méthode habituelle dans ce domaine consiste à intégrer tout le contenu, à récupérer les fragments les plus pertinents et à générer du texte à partir d’eux. Cela fonctionne bien pour les recherches simples, et ce n’est pas une critique du RAG. Néanmoins, la récupération ne fait que restituer ce que quelqu’un a écrit. Si l’on pose une question d’apprentissage, par exemple quelle série échoue le plus et pourquoi, le système extrait trois fragments de trois rapports, improvise alors une synthèse qui semble convaincante sur le moment, puis en propose une différente la fois suivante. Personne ne tire des enseignements de ces résultats, ne les vérifie ni ne leur donne une forme stable. Au lieu de consulter des connaissances existantes, le système les reconstruit à chaque question, et de manière médiocre.

L’ensemble de ces données est également en désordre, avec des versions contradictoires des politiques, des spécifications obsolètes et des erreurs transmises sans correction. Tout système qui lit ces données brutes hérite de ces défauts. Imaginez deux fichiers PDF : l’un promet une garantie de 12 mois, l’autre de 24. Les deux sont récupérés, et la réponse devient alors une question de chance.

Même une synthèse humaine ponctuelle, qu’il s’agisse d’un rapport de consultant ou d’un résumé sur un wiki rédigé par un stagiaire, se heurte à deux questions cruciales. Comment savoir si elle est correcte, et comment savoir si elle est complète ? Il n’existe ni vérité de référence, ni test, ni définition claire de ce qui est achevé ; ainsi, le document commence à se dégrader silencieusement dès sa finalisation.

Le véritable problème réside donc ailleurs que dans la récupération des informations. Il s’agit de transformer d’immenses quantités de données en connaissances fiables, et de maintenir ces connaissances exactes dans le temps. En une phrase : extraire des diamants d’une mine de charbon. Ils s’y trouvent bien, mais passer au crible manuellement le charbon ne convient à personne.

Pourquoi le fine-tuning du modèle échoue

Le fine-tuning est un instinct naturel, et il semble approprié pour une raison précise. Il s’agit d’un véritable apprentissage automatique conventionnel : des données, des étiquettes, une fonction de perte, des mises à jour des poids et un ensemble de test que le modèle n’a jamais vu. C’est exactement ce rigueur qui fait défaut au monde des documents et des conversations.

Pourtant, il modifie le niveau incorrect. Les poids restent opaques. Lorsque la réponse générée est erronée, il n’existe aucun neurone disponible pour la corriger. Tout ce qui a été appris se fige au moment de l’entraînement et s’obsolète avec les nouvelles données, et chaque mise à jour nécessite un nouvel entraînement, une évaluation et un déploiement. Le fine-tuning a également la réputation d’enseigner des compétences et un style tout en stockant les faits de manière peu fiable. En bref, le cycle correct est appliqué à l’objet erroné.

Exécuter le cycle un niveau plus haut

La proposition consiste à conserver tout le cycle de formation classique en apprentissage automatique et à l’exécuter un niveau au-dessus, sur les connaissances plutôt que sur les poids. On appelle cela le fine-tuning agentique.

La correspondance est structurelle et non poétique : chaque partie du cycle de formation standard possède un équivalent direct, et ce qui est formé, ce sont les connaissances.

L’artefact pouvant être entraîné est un wiki, un ensemble de pages lisibles contenant des apprentissages extraits, chaque affirmation étant liée à ses sources. Une page peut traiter du comportement de coulée froide, une autre du fonctionnement réel des dossiers. Un humain peut ouvrir de telles pages et y discuter. L’agent situé en haut reste délibérément simple : il lit uniquement le wiki, de sorte que toute l’intelligence réside dans ce que contient le wiki. Une réponse erronée est corrigée en modifiant les connaissances, comme le fait backprop pour corriger les poids, et jamais en ajustant simplement un prompt dans l’espoir que cela suffise.

Lisez le diagramme en parcourant la boucle une seule fois : d’abord l’analyse approfondie, puis un benchmark tiré des données brutes, des ajustements jusqu’à ce que les scores se stabilisent, et enfin les questions secrètes, auxquelles aucune étape précédente ne touche jamais.

Étape 1 : chargement brut et objectif

Tout est téléchargé sans tri, accompagné d’une réponse à une question souvent sous-estimée : que faut-il en tirer comme enseignements ? Les exemples concernent le comportement des matériaux ou le déroulement réel des processus. L’objectif fixé pousse l’analyse vers l’acquisition de connaissances plutôt que vers des résumés.

Étape 2 : analyse approfondie, wiki v0

Ensuite, l’ensemble des documents est exploité avec soin, document après document et région après région, jusqu’à la profondeur exigée par l’objectif. C’est l’étape coûteuse qui n’a lieu qu’une seule fois. La profondeur est importante dès le début pour une raison précise. Supposons qu’elle ne apparaisse que là où le critère de référence s’y opposera plus tard : la wiki prendrait alors sa forme en fonction de cet examen, et les connaissances seraient adaptées au test plutôt qu’aux données. En explorant d’abord en profondeur, c’est l’ensemble des documents lui-même qui permet de déterminer la complétude, ce qui réduit le rôle du critère de référence à une simple vérification et correction.

Les contradictions découvertes en cours de route, comme la paire de garanties de 12 contre 24 mois, sont mises en file d’attente pour être traitées par un humain. Elles ne bloquent pas l’exploitation des données, et leur résolution a lieu à la fin, car aucun modèle ne sait quel PDF est obsolète.

Étape 3 : un critère de référence construit à partir des données, jamais à partir de la wiki

Les gens ont tendance à faire des erreurs ici en premier. Si les questions d’examen proviennent du wiki, tout ce qui manque dans ce dernier n’a pas de question pour l’aborder, de sorte que ce point aveugle crée son propre examen et le réussit haut la main. Les questions nécessitent donc trois autres sources : les documents bruts (que le lecteur devrait-il retenir de ce rapport ?), le but déclaré (questions interdocuments sur les tendances, les causes et les processus) ainsi que les personnes concernées (ce qu’on leur demande réellement). L’ensemble est ensuite divisé : 75 % pour la formation et 25 % conservés en tant que questions secrètes, avec la même répartition thématique, sans chevauchement par paraphrase, et interdites à toute consultation. Enseigner uniquement pour l’examen en priverait le sens.

Étape 4 : répondre, noter, diagnostiquer, réécrire

Chaque erreur reçoit une cause racine, et chaque cause a sa propre voie de traitement :

• Si l’information existe dans les données mais que le wiki ne l’a pas prise en compte, explorez à nouveau cette zone, plus en profondeur.
• Si elle n’existe nulle part, demandez à une personne et ne inventez jamais de réponse.
• Si deux sources sont en désaccord, mettez en évidence ce conflit.
• Si la question elle-même est erronée, corrigez-la et laissez l’agent tranquille.

Une règle prime sur toutes les autres : la réponse à une question ne doit jamais être copiée dans le wiki. Les critères d’évaluation indiquent où des recherches sont nécessaires, les documents déterminent ce qui doit être enregistré, et ce qui est enregistré doit être des pages générales que toute question ultérieure peut utiliser. Si cette règle est enfreinte, le wiki se transforme en un guide de réponses sans que personne ne s’en aperçoive.

Étape 5 : la vérification de l’honnêteté

Lorsque les scores d’entraînement cessent de monter, les questions secrètes sont testées une seule fois. Si les résultats d’entraînement et ceux des questions secrètes sont proches, le wiki contient réellement les connaissances acquises, et il peut être certifié, versionné et livré avec ses limites indiquées sur l’emballage. S’ils sont éloignés, ce qui a été construit n’est qu’une copie superficielle. L’examen est alors renouvelé : les questions utilisées précédemment sont retirées, de nouvelles questions sont élaborées à partir du pool de données avec des formulations et des exemples différents, un nouveau jeu scellé est mis de côté et l’ajustement reprend. Comme le wiki s’était orienté vers les anciennes questions, les tours suivants font face à des objectifs qu’il n’a jamais vus. Une baisse de 95 en entraînement à 71 pour les questions secrètes est préjudiciable, bien que le même surapprentissage se soit manifesté dans n’importe quel notebook Kaggle en 2019. Les leçons apprises restent pertinentes, c’est là toute l’idée.

La production fournit alors un ensemble de tests infini. Une question mal gérée par l’agent devient à la fois une correction dans le wiki et une nouvelle entrée de référence, et de nouveaux rapports relancent le cycle. Finalement, l’entreprise dispose d’une mémoire vivante et éprouvée qui survit aux départs à la retraite.

Toute la méthode se résume en une phrase :

Les références indiquent où creuser, les données indiquent ce qu’écrire, et l’ensemble secret indique quand s’arrêter.

Où cela s’applique

Cette méthode convient aux organisations dont la valeur réside dans des ensembles finis qu’elles possèdent. Les entreprises d’ingénierie et de matériaux disposant de rapports et de protocoles de tests depuis des décennies en font partie, tout comme les cabinets juridiques et ceux spécialisés dans la propriété intellectuelle, où le processus réel se déroule au sein de centaines d’affaires. Les fabricants disposant de manuels et d’historiques de service conviennent également, ainsi que les équipes de support ayant enregistré des années de conversations, dont la référence est pratiquement prête à être exportée.

Les acheteurs qui exigent des preuves en bénéficient également, car un certificat indiquant les résultats aux questions secrètes a plus de poids qu’une affirmation selon laquelle le produit utilise le dernier modèle.

Deux effets secondaires deviennent eux-mêmes des produits. Une wiki nettoyée constitue un excellent matériel d’intégration, car les nouveaux arrivants peuvent lire directement les informations utiles. De plus, la constatation issue de l’audit, selon laquelle deux politiques sont contradictoires tandis que le personnel improvise, est précisément ce pour quoi les consultants facturent cher aux entreprises. Ce cycle la révèle au fil du processus.

Limites

Cette méthode gagne en crédibilité en connaissant ses limites, et voici celles-ci :

• Les compétences, le style et la voix ne relèvent pas de ce cadre. Si le modèle ne peut pas raisonner ou écrire comme l’exige une tâche, c’est là que s’inscrit réellement le domaine du fine-tuning du modèle. Le fine-tuning agentique ajuste ce que l’agent sait, et non ce qu’il peut faire.

Les connaissances mondiales sortent du champ d’application. Il maîtrise uniquement les documents d’une organisation et ne rend pas l’agent plus compétent en matière de béton en général, mais seulement concernant le béton de cette entreprise.

Les valeurs qui changent toutes les heures ne conviennent pas. Les prix en temps réel nécessitent une recherche en direct et non une page wiki. Si on les intégre, le résultat est un mensonge magnifiquement présenté comme vrai.

Les connaissances non arbitrées restent sans solution. Les contradictions émergent grâce au cycle, et quelqu’un qui connaît la vérité doit les résoudre. Lorsqu’une organisation ne peut vraiment pas déterminer si sa garantie dure 12 ou 24 mois, aucune technique ne permet de trancher, bien qu’un audit enregistrant le différend ait une valeur en soi.

De petits ensembles de documents ne justifient pas cet effort. Avec vingt documents, rédiger la page wiki à la main prend toute une après-midi. Le cycle s’avère utile lorsque personne ne peut retenir tous ces documents en mémoire.

Agir est un problème différent.Cette méthode consiste à répondre en s’appuyant sur des connaissances. Accorder des remboursements relève d’un tout autre problème de sécurité, et quiconque propose les deux en même temps mérite la suspicion.

Les parties ennuyeuses, l’avantage réel

Rien de tout cela ne constitue une avancée majeure en recherche. Les ensembles de test sont anciens, les outils d’évaluation des LLM sont courants et l’extraction de connaissances est un domaine bien établi. L’avantage réside dans le fait que presque personne ne s’occupe des tâches fastidieuses. Les équipes comparent les modèles tandis que les enseignements vraiment importants restent inutilisés dans un dossier nommé FINAL_v2_old_DO_NOT_DELETE.

Les modèles s’améliorent d’eux-mêmes, mais les leçons contenues dans les données d’une entreprise ne se extrairont pas toutes seules. La partie qui mérite d’être entraînée, c’est celle qui appartient réellement à l’entreprise elle-même.