Pourquoi l’alignement de l’IA a besoin de valeurs inspectables : des leçons d’Elliot Damasio

Un patient décrit dans la littérature en neurosciences mérite une place dans toute liste de lecture sur l’alignement des IA. Antonio Damasio l’appelle Elliot, et son cas sert de base au livre *L’Erreur de Descartes*. Une tumeur comprimant le cortex préfrontal ventromédial a été enlevée par chirurgie, emportant avec elle une partie des tissus avoisinants. Par la suite, Elliot a obtenu des scores supérieurs à la moyenne aux tests d’IQ. Sa mémoire, son langage, son attention, ses connaissances factuelles et son raisonnement logique étaient tous intacts. Face à un dilemme moral, il pouvait exposer plus complètement que la plupart des gens les arguments des deux côtés.

Pourtant, sa vie s’est effondrée. Il a perdu son emploi, puis ses économies à cause d’une série de mauvaises décisions commerciales, et il a subi deux divorces. À chaque étape, il pouvait analyser en détail les options possibles, mais il choisissait toujours mal sans en tirer de leçons. Elliot n’avait pas perdu de connaissances ; il avait perdu ce qui permet de mettre ces connaissances en pratique.

Cet exemple décrit, plus clairement que tout autre, ce que « l’alignement » cherche à corriger. C’est aussi un avertissement, car le secteur a mis en place, à un coût énorme, des systèmes présentant le défaut inverse, et il n’existe pratiquement aucun vocabulaire pour en prendre conscience.

Quatre questions d’ingénierie

En mettant de côté la rhétorique, l’alignement est un problème lié aux mécanismes de valeur. Il se décompose en quatre questions, toutes relevant de l’ingénierie :

1. Comment un système transmet-il une valeur ?
2. Comment applique-t-il cette valeur au moment d’une décision ?
3. Comment les gens peuvent-ils vérifier quelle valeur a été appliquée ?
4. Comment les gens peuvent-ils corriger la valeur lorsqu’elle est erronée ?

La question « Quelles valeurs le système doit-il retenir ? » fait exprès d’être absente de cette liste. Il s’agit d’un problème différent, lié à la gouvernance et au jugement humain, qui sera abordé vers la fin. Confondre les deux explique pourquoi les débats sur l’alignement glissent si souvent vers la philosophie alors qu’ils devraient produire des schémas concrets. Alors, comment les meilleurs systèmes d’aujourd’hui répondent-ils aux quatre questions ?

Ce que l’apprentissage par renforcement à partir des retours humains permet d’accomplir, et où il s’arrête

L’apprentissage par renforcement à partir des retours humains (RLHF) mérite d’être reconnu. Il fonctionne réellement. Il a permis à des modèles qui étaient prêts à générer n’importe quoi de devenir largement utiles, coopératifs et sûrs, ce que le préentraînement brut n’avait jamais réussi à obtenir. Il compte parmi les véritables réalisations techniques de la dernière décennie, et quiconque le dénigre n’a pas eu l’occasion de travailler avec des modèles antérieurs.

Cependant, la manière dont il fonctionne est importante.

RLHF prend en compte les signaux de préférence humaine et les intègre aux matrices de poids qui stockent le reste des connaissances du modèle. Les valeurs et les connaissances finissent par ne faire qu’un. Aucune frontière ne les sépare, qu’elle soit visible ou cachée. Il n’y en a tout simplement pas.

C’est à peu près comme essayer de donner à une personne un bon jugement en réorganisant son cortex dans l’espoir que cela se manifeste. Parfois, cela fonctionne. Trois problèmes en découlent :

1. L’inspection est impossible. Il n’y a aucun moyen de savoir ce que le modèle valorise. On peut observer son comportement et en déduire des conclusions, ce qui relève d’une expérience psychologique et non d’une inspection.
2. Le suivi est impossible. Lorsqu’un modèle refuse une demande, approuve un prêt ou met en évidence une réclamation, personne ne peut identifier l’expérience qui a donné naissance à cette préférence. L’origine a été détruite durant l’entraînement, par conception.

La modification est impossible. Il suffit de trouver une valeur erronée, telle qu’un biais, une surcorrection ou une préférence issue de données d’annotateurs de mauvaise qualité, et il n’existe aucune solution précise pour y remédier. Un réentraînement perturbe tout le reste en même temps.

Amazon l’a découvert à ses dépens. À partir de 2014, l’entreprise a développé un modèle qui évaluait les candidats à un emploi sur une échelle de une à cinq étoiles, en s’appuyant sur une décennie de ses propres CV provenant d’un secteur dominé par les hommes. Le modèle a appris à pénaliser les CV contenant le mot « women’s » ainsi que les noms de certaines universités exclusivement féminines. Amazon a repéré ces termes et les a neutralisés. Puis, en 2017, l’entreprise a abandonné le projet, car même après avoir corrigé les cas qu’elle pouvait identifier, elle ne disposait d’aucun moyen de prouver que le modèle n’exprimait pas la même préférence par l’intermédiaire d’un autre paramètre que personne n’avait pensé à vérifier.

Cet épisode résume tout l’argument. L’échec ne venait pas du fait que le modèle ait appris quelque chose de faux, car tous les modèles le font. L’échec résidait dans le fait que personne ne pouvait découvrir ce qu’il avait encore appris, et donc personne ne pouvait déterminer quand la correction était achevée. C’était comme jouer à whack-a-mole dans le noir. Des années de travail se sont écroulées parce que ces valeurs n’étaient pas accessibles.

Pour un chatbot de recettes, c’est insignifiant. Mais pour des systèmes qui influencent les décisions de crédit, le tri médical, l’arbitrage des demandes, ou tout ce que les régulateurs pourraient un jour exiger d’expliquer sous serment, ces trois lacunes ne sont pas de simples inconvénients : elles rendent cette approche irrecevable.

Lorsque des valeurs opaques nuisent à de vraies familles

Éliminer certaines personnes n’est pas une abstraction. De 2005 à 2019, l’administration fiscale néerlandaise a injustement accusé environ 26 000 parents de fraude aux allocations familiales. Un modèle d’analyse des risques auto-apprenant, en usage depuis 2013, a contribué à déterminer qui signaler. La nationalité néerlandaise faisait partie des critères pris en compte, ce qui augmentait les scores des personnes n’ayant pas cette nationalité, entraînant davantage d’enquêtes à leur encontre, et ces résultats étaient directement réutilisés pour l’entraînement du modèle. Les fonctionnaires chargés des dossiers signalés ne recevaient jamais d’explication sur les raisons d’un score élevé. Amnesty International a qualifié cela d’« trou noir de la responsabilité ». Des familles ont perdu leurs logements, leurs emplois et leurs mariages, et le gouvernement est tombé en janvier 2021.

Le mécanisme est tout aussi important que le résultat. Aucun ingénieur n’a décidé que « ce qui n’est pas néerlandais est plus risqué » devait être considéré comme une valeur. Celle-ci s’est accumulée, sans nom et illisible, au sein d’un système où valeurs et connaissances partageaient le même espace, sans que ceux qui le géraient n’aient aucun moyen de la découvrir.

Nous avons tendance à considérer cela comme l’état naturel des choses, comme si les valeurs devaient être diffuses et illisibles. La biologie prouve le contraire.

Le rôle des émotions dans la réflexion

La croyance populaire veut que une rationalité froide, à la Spock, permette de bons jugements, tandis que les émotions les corrompraient. Les preuves indiquent le contraire.

L’hypothèse du marqueur somatique de Damasio propose que les processus émotionnels guident et influencent les décisions plutôt que de s’y opposer. Lorsqu’une personne vit un événement, un état corporel-affectif y est associé. Plus tard, face à une option similaire, ce marqueur est réactivé, parfois sous forme de sensation intuitive consciente et souvent en dehors de la conscience, ce qui incline le choix avant même que la réflexion ne commence. Bechara et Damasio formulent cette affirmation fonctionnelle de la manière la plus directe possible : une prise de décision rationnelle et solide dépend d’un traitement émotionnel précis antérieur. La cognition sans signaux émotionnels ne produit pas de comportement normal, même lorsque les connaissances sont pleinement suffisantes.

C’est précisément ce que démontre Elliot : une connaissance complète, aucun signal de valeur, et chaque choix imposé par une analyse explicite des coûts et avantages sans possibilité d’y mettre fin. Il n’a jamais vraiment terminé une telle analyse.

Les études comparatives rendent cette idée plus difficile à rejeter. Dans le modèle proposé par Mendl et Paul, un animal choisit parmi des options affectives : chaque action possible possède une valeur déterminée par les émotions associées aux résultats antérieurs de cette action dans des situations comparables. Anderson et Adolphs énumèrent quatre primitives émotionnelles, à savoir la scalabilité, la valence, la persistance et la généralisation, et les observent chez des organismes aussi éloignés de nous que les poissons et les mouches à fruits.

L’évolution est parvenue à ce design de manière répétée et indépendante au cours de centaines de millions d’années, car un système nerveux incapable de qualifier une expérience comme bonne, mauvaise, coûteuse ou dangereuse doit recalculer le monde à partir de zéro chaque fois qu’il se déplace. L’évolution a créé un mécanisme de transmission des valeurs, car aucun décideur efficace ne peut se passer de celui-ci. Le domaine de l’IA a développé des systèmes dotés d’une connaissance encyclopédique, puis y a intégré des valeurs en les dissolvant au sein de cette connaissance.

Mécanisme adéquat, mise en œuvre insuffisante

Le mécanisme de la biologie est solide : des signaux de valeur appris, indexés par l’expérience, liés à la mémoire et récupérés au moment de prendre une décision. Sa mise en œuvre est insuffisante précisément sur les points qui importent aux ingénieurs :

• Il ne peut pas être inspecté. Personne ne perçoit ses propres marqueurs somatiques comme des valeurs ; au mieux, il y a une sensation.

On ne peut pas en retracer l’origine. Un pressentiment pousse à refuser une offre d’emploi, et toute question sur les raisons se heurte au silence. L’origine disparaît ainsi.

On ne peut pas l’modifier. Une leçon apprise à dix-neuf ans à cause d’une mauvaise expérience ne disparaît pas sur commande. Avec de la chance et du travail acharné, elle s’estompe au fil des années.

Si l’on compare ces trois points aux trois échecs du RLHF mentionnés précédemment, on constate une correspondance. Ce domaine a copié les faiblesses de la biologie tout en abandonnant sa véritable compréhension architecturale. Il serait donc judicieux de conserver le mécanisme tout en corrigeant sa mise en œuvre.

Un mécanisme avec des preuves

Lorsque le problème est formulé de cette manière, la conception s’ensuit presque mécaniquement. Lors du processus d’apprentissage, lorsque le système enregistre un schéma d’expérience, une valeur s’y attache : un nombre signé, généralement compris entre -1 et +1, qui est stocké à côté du schéma plutôt que fusionné avec lui. Lors de la prédiction, lorsque ce schéma correspond à l’observation actuelle, sa valeur accompagne la prédiction et influence le choix de l’action à entreprendre.

C’est tout. Il s’agit d’un marqueur somatique constitué de nombres plutôt que de neurochimie, et ses conséquences sont plus importantes qu’il n’y paraît :

1. Inspectable. Personne ne peut lire les marqueurs somatiques d’une personne, mais un score comme la sécurité à -0,7 selon un modèle appris n’est qu’un nombre situé en un endroit précis. La liste complète des valeurs du système ainsi que leur intensité peuvent être énumérées. Aucune investigation approfondie, aucune inférence comportementale, aucun experiment psychologique nécessaire.
2. Traceable. Une intuition ne conserve aucune preuve, tandis qu’une valence apprise renvoie aux observations spécifiques à partir desquelles elle a été construite et à ce qui s’est produit dans chacune d’elles. L’origine reste identifiable car rien ne l’a effacée.
3. Editable. Lorsqu’une valeur est incorrecte, il suffit de modifier directement le chiffre ou d’apporter un contre-exemple afin que la moyenne en cours l’intègre. Aucune phase d’entraînement n’est requise, et les connaissances non pertinentes restent inchangées. Les personnes peuvent avoir besoin de thérapie ou de pipelines transformateurs renouvelés, mais ici il existe une solution plus simple.

Imaginez un système qui a appris à partir d’un flux d’événements de compte et qui a stocké ce qui suit :

PTRN|a7f3e91   ["login_new_device", "password_reset", "payee_added", <additional context>]
   emotives   →  fraud_risk: -0.62   urgency: +0.85
   provenance →  13 matched occurrences | 9 adverse, 4 benign
                 recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]

Lors de l’apprentissage, chaque occurrence de cette séquence ajoutait une valeur d’issue au schéma : le schéma enregistre ce qui s’est passé, tandis que l’élément émotionnel enregistre comment les choses se sont terminées. Lorsqu’un flux en direct d’événements correspond par la suite à ces trois étapes, le schéma s’active et le score de risque de fraude accompagne la prédiction. Ce chiffre, associé à ce schéma, est ce qui pousse le système à autoriser le transfert.

Supposons maintenant que cette valeur soit incorrecte. Imaginez que neuf des treize résultats négatifs se soient produits au cours d’une même période de trois semaines, pendant laquelle une promotion de mise à niveau des appareils a fait passer de nombreux clients honnêtes par cette même séquence, et que le service anti-fraude a signalé chacun d’eux. Pour détecter cela, aucune théorie sur le fonctionnement interne du modèle n’est nécessaire : il suffit de consulter l’origine des données et de constater que les dates sont regroupées. Pour y remédier, aucune reformation du modèle n’est non plus requise. Il suffit d’ajuster la valeur correspondant à ce schéma, ou de fournir des observations correctives afin que la fenêtre glissante les intègre.

Le rayon d’action se limite à un seul schéma. Tout le reste que le système connaît reste inchangé, car il n’a jamais été lié à celui-ci en premier lieu.

Préserver les valeurs à part des connaissances permet également d’accomplir des choses que les systèmes fusionnés ne peuvent pas faire. Différents ensembles de valeurs peuvent être utilisés avec les mêmes connaissances acquises pour différentes déploiements, les valeurs d’un système peuvent être comparées avant et après une mise à jour, et la liste peut simplement être remise à un auditeur.

Quatre fonctions des émotions

Pfister et Böhm affirment que les émotions remplissent quatre fonctions distinctes dans la prise de décision, et non une seule, chacune correspondant à quelque chose qui vaut la peine d’être développé :

• Information. Le plaisir et la douleur façonnent les préférences chez les êtres vivants. Dans le logiciel, l’étiquette associée à une valeur indique quels résultats ont tendance à être positifs et quels sont négatifs.
• Vitesse. Les gens choisissent rapidement sous pression en omettant la réflexion. Une machine peut utiliser une vérification de seuil pour agir ou refuser sans évaluer chaque option.

Rélevance. L’émotion dirige l’attention vers ce qui est important pour la décision à prendre. Dans le domaine logiciel, les valeurs deviennent le signal de priorisation parmi des prédictions concurrentes.

Engagement. Les gens s’engagent à l’avance sur des choix moralement significatifs et résistent aux intérêts égoïstes momentanés. Dans un système, cela signifie l’existence de règles strictes, comme l’élimination de toute option dont le niveau de sécurité est inférieur à 0,5, règles qui ne sont pas réexaminées à chaque passage.

L’engagement, soulignent Pfister et Böhm, n’a absolument rien à voir avec le plaisir. Il relève du domaine moral et social. Un mécanisme de valeurs bien conçu nécessite donc deux forces opposées plutôt qu’un seul curseur : des choses à poursuivre et des choses à éviter. L’intention et la défense.

Une implémentation fonctionnelle

Le mécanisme a été décrit de manière abstraite intentionnellement, car l’argument tient ou tombe par lui-même. Il existe également sous forme de logiciel en exécution. KATO est une architecture open source qui apprend des motifs de manière déterministe, et ses étiquettes de valeur portent le nom d’émotives. Elles sont attachées aux motifs au cours de l’apprentissage et sont conservées dans chaque objet de prédiction. Une fenêtre déroulante des moyennes récentes permet à une valeur de varier au fil de l’acquisition d’expérience, de sorte qu’aucune observation isolée ne la contrôle. Les émotives se divisent en deux catégories : celles liées à l’intention que le système cherche à maximiser, et celles liées à la défense qu’il cherche à minimiser. Chacune est un nombre qui peut être lu, rattaché à ses observations correspondantes et modifié.

Cette lignée n’est pas nouvelle. Le prédécesseur de KATO, GAIuS, serait le seul algorithme d’apprentissage automatique certifié conformément à la norme FAA DO-178C. Scale n’a pas obtenu cette certification ; en revanche, des décisions explicables, traçables et reproductibles l’ont obtenue, ce qui fait du déterminisme une condition obligatoire plutôt qu’un choix stylistique. Des valeurs explicites et inspectables permettent d’obtenir le même résultat pour la même raison.

Ce que cela ne résout pas

Les systèmes émotionnels ne précisent pas quels valeurs un système doit adopter. Le mécanisme ne peut indiquer à personne quelle est la valence correcte pour un motif, quelles sécurités méritent une attention particulière, ou où l’équité doit céder la place à la précision. Le choix de ces éléments relève de la spécification des valeurs, également appelée alignement externe, et reste une décision de gouvernance à prendre par des humains.

Ce qui change, c’est la visibilité. Avec des valeurs explicites, une personne doit noter le chiffre et une autre doit l’approuver. Les compromis ne sont plus des produits accidentels d’un processus d’annotation non revu. Ils deviennent des décisions écrites avec des responsables désignés.

Ce n’est pas une limitation de cette approche : c’en est l’objectif. L’alignement passe d’un espoir pendant la phase d’entraînement à une propriété d’ingénierie en temps de exécution, qui peut être spécifiée, testée, surveillée et révisée un mardi après-midi sans besoin d’un cluster GPU.

Contrôle, pas portance

Les frères Wright n’ont pas gagné en résolvant le problème de la portance. Les aéroplanes sans moteur volaient déjà depuis des décennies, et les moteurs arrivaient selon leur propre calendrier. Ils ont gagné en résolvant le problème du contrôle, c’est-à-dire en trouvant un moyen de diriger activement quelque chose qui pouvait déjà rester en l’air.

Les transformateurs volent. Cette question est réglée, et l’échelle continuera de le confirmer. Ce qu’ils manquent, sur le plan structurel, c’est une surface de contrôle : un endroit où intervenir pour dire « celui-ci, et non celui-là », en étant sûr que seule la partie visée a été touchée. Les appels à ralentir les recherches en intelligence artificielle frontalière seront probablement ignorés, ce qui rend cette surface de contrôle manquante encore plus urgente.

La biologie en a créé une et l’a affinée bien avant l’apparition des vertébrés. Les notes de conception sont là pour être lues.

Sources

• Damasio, Antonio. Descartes' Error: Emotion, Reason and the Human Brain, publié en 1994.
• Pfister et Böhm sur la multiplicité des émotions, Judgment and Decision Making, volume 3, 2008.
• Anderson et Adolphs, un cadre pour l’étude des émotions entre espèces, Cell, volume 157, 2014.

Bechara et Damasio sur l’hypothèse du marqueur somatique, Games and Economic Behavior, volume 52, 2005.

Mendl et Paul sur l’affect animal et la prise de décision, Neuroscience and Biobehavioral Reviews, volume 112, 2020.