Warum die Ausrichtung künstlicher Intelligenz überprüfbare Werte erfordert: Lektionen von Damasios Elliot

Ein Patient aus der Neurowissenschaftsliteratur verdient einen Platz in jeder Leseliste zu Themen der KI-Alignierung. Antonio Damasio nennt ihn Elliot, und sein Fall bildet die Grundlage des Buches „Descartes’ Error“. Ein Tumor, der auf den ventromedialen präfrontalen Kortex drückte, wurde chirurgisch entfernt – zusammen mit einem Teil des umliegenden Gewebes. Danach erzielte Elliot überdurchschnittliche Ergebnisse bei IQ-Tests. Sein Gedächtnis, seine Sprachfähigkeiten, seine Aufmerksamkeit, sein faktisches Wissen sowie sein logisches Denken waren alle intakt. Wenn es um ein moralisches Dilemma ging, konnte er die Argumente beider Seiten vollständiger darlegen als die meisten Menschen.

Doch sein Leben brach zusammen. Er verlor seinen Job, anschließend durch eine Reihe schlechter Geschäftsentscheidungen auch sein Erspartes, und er durchlief zwei Scheidungen. Bei jedem Schritt konnte er die Optionen detailliert analysieren – doch jedes Mal traf er eine schlechte Entscheidung und lernte nichts daraus. Elliot hatte kein Wissen verloren; er hatte verloren, was das Wissen handlungsfähig macht.

Der Fall beschreibt eindringlicher als alles andere, was „Alignment“ zu beheben versucht. Er dient zugleich als Warnung, denn die Branche hat mit enormen Kosten Systeme mit dem gegenteiligen Mangel entwickelt, und es gibt kaum ein Vokabular, um dies zu erkennen.

Vier ingenieurwissenschaftliche Fragen

Wenn man die Rhetorik beiseite lässt, handelt es sich bei „Alignment“ um ein Problem eines Wertmechanismus. Es lässt sich in vier Fragen aufteilen, die alle ingenieurwissenschaftlicher Natur sind:

1. Wie überträgt ein System einen Wert?
2. Wie wendet es diesen Wert im Moment einer Entscheidung an?
3. Wie können Menschen überprüfen, welchen Wert es angewendet hat?
4. Wie können Menschen den Wert korrigieren, wenn er falsch ist?

„Welche Werte sollte das System beibehalten?“ fehlt absichtlich in dieser Liste. Es handelt sich dabei um ein anderes Problem – eines der Governance und menschlichen Urteils – das erst gegen Ende behandelt wird. Der Verwechslung dieser beiden Aspekte liegt es zugrunde, dass Debatten über Abstimmung so oft in die Philosophie abdriften, obwohl sie eigentlich Konzepte entwickeln sollten. Wie beantworten also die besten Systeme von heute diese vier Fragen?

Was das Reinforcement Learning from Human Feedback erreicht und wo seine Grenzen liegen

Das Reinforcement Learning from Human Feedback (RLHF) verdient Anerkennung. Es funktioniert tatsächlich. Es nahm Modelle, die gerne alles produziert hätten, und machte sie auf eine Weise allgemein nützlich, kooperativ und sicher, wie es ein reines Vortrainieren niemals geschafft hätte. Es zählt zu den wahren ingenieurtechnischen Errungenschaften des letzten Jahrzehnts – wer es ablehnt, hat wohl keine Zeit mit Modellen vor seiner Einführung verbracht.

Doch die Art und Weise, wie es funktioniert, ist wichtig.

RLHF nutzt menschliche Präferenzsignale und integriert sie in die Gewichtsmatrizen, die das restliche Wissen des Modells speichern. Werte und Wissen werden zu einem einzigen Ganzen. Es gibt keine Trennlinie zwischen ihnen, weder sichtbar noch verborgen – es existiert einfach keine.

Das ist im Grunde wie der Versuch, einer Person ein gutes Urteilsvermögen zu verleihen, indem man ihr Gehirn umprogrammiert und hofft, dass dieses Vermögen daraus entsteht. Manchmal klappt das tatsächlich. Daraus ergeben sich drei Probleme:

1. Eine Überprüfung ist unmöglich. Es gibt keinen Weg, herauszufinden, was das Modell wertschätzt. Man kann sein Verhalten untersuchen und Schlussfolgerungen ziehen – was ein psychologisches Experiment ist, keine Überprüfung.
2. Eine Rückverfolgung ist unmöglich. Wenn ein Modell eine Anfrage ablehnt, einen Kredit genehmigt oder eine Anspruchserklärung markiert, kann niemand auf die Erfahrung hinweisen, die diese Präferenz hervorgerufen hat. Die Herkunft wurde bei der Schulung absichtlich zerstört.

Die Bearbeitung ist unmöglich. Findet sich ein falscher Wert – wie beispielsweise eine Voreingenommenheit, eine Überkorrektur oder eine Präferenz, die aus mangelhaften Daten der Annotatoren stammt –, so existiert keine präzise Korrekturmöglichkeit. Ein Neutraining stört dabei alle anderen Aspekte.

Amazon hat das auf die harte Tour erfahren. Ab 2014 entwickelte das Unternehmen ein Modell, das Bewerber mit einer bis fünf Sternen bewertete und dabei auf einem Jahrzehnt an eigenen Lebensläufen aus einer von Männern dominierten Branche trainierte. Das Modell lernte, Lebensläufe zu bestrafen, die das Wort „Frauen“ sowie die Namen bestimmter ausschließlich für Frauen zugänglicher Hochschulen enthielten. Amazon erkannte diese Begriffe und neutralisierte sie. Im Jahr 2017 stellte das Unternehmen das Projekt ein, denn nachdem es die erkennbaren Fälle behoben hatte, fehlte ihm eine Möglichkeit, nachzuweisen, dass das Modell nicht durch irgendeinen anderen, noch nicht überprüften Faktor dieselbe Präferenz zum Ausdruck brachte.

Diese Anekdote fasst die ganze Argumentation zusammen. Der Fehler lag nicht darin, dass das Modell etwas Falsches gelernt hat – schließlich tut das jedes Modell. Der Fehler bestand darin, dass niemand herausfinden konnte, was es sonst noch gelernt hatte, und somit auch niemand erkennen konnte, wann die Korrektur vorgenommen wurde. Das ist wie „Whack-a-Mole“ im Dunkeln. Jahre harter Arbeit gingen verloren, weil die Werte nicht zugänglich waren.

Für einen Rezept-Chatbot ist das ein kleines Problem. Für Systeme, die Kreditentscheidungen, medizinische Priorisierung, Schadensregulierungen oder alles beeinflussen, wofür ein Aufsichtsbehörde eines Tages eine mündliche Erklärung verlangen könnte, sind diese drei Mängel keine Unannehmlichkeiten – sie machen den Ansatz hinfällig.

Wenn undurchsichtige Werte echten Familien schaden

Ausklammern ist keine Abstraktion. Von 2005 bis 2019 beschuldigte die niederländische Steuerverwaltung fälschlicherweise etwa 26.000 Eltern des Betrugs bei Kindergeldleistungen. Ein selbstlernendes Risikoklassifizierungsmodell, das seit 2013 im Einsatz ist, half dabei, zu entscheiden, wer überprüft werden sollte. Die niederländische Staatsangehörigkeit war einer der Eingabefaktoren, wodurch Nicht-Niederländer höhere Bewertungen erhielten, mehr Ermittlungen gegen sie eingeleitet wurden und die Ergebnisse direkt wieder in das Schulungsprozess einfließen konnten. Den Beamten, die die überprüften Fälle bearbeiteten, wurde nie mitgeteilt, warum eine Bewertung hoch ausfiel. Amnesty International bezeichnete dies als schwarzes Loch der Rechenschaftspflicht. Familien verloren ihre Häuser, Arbeitsplätze und Ehen, und die Regierung stürzte im Januar 2021.

Der Mechanismus ist genauso wichtig wie das Ergebnis. Kein Ingenieur hat entschieden, dass „Nicht-Niederländisch ist riskanter“ ein Wert sein sollte. Es ansammelte sich, namenlos und unleserlich, in einem System, in dem Werte und Wissen denselben Raum teilten, und die Verantwortlichen hatten keine Möglichkeit, es zu entdecken.

Wir neigen dazu, dies als den natürlichen Zustand der Dinge zu betrachten, als müssten Werte diffus und unleserlich sein. Die Biologie sagt etwas anderes.

Was Emotionen für das Denken tun

Laut der allgemeinen Ansicht führt eine kühlere, spockähnliche Rationalität zu guten Urteilen, während Emotionen diese verfälschen. Die Beweise deuten jedoch in eine andere Richtung.

Damasios Hypothese vom somatischen Marker besagt, dass emotionale Prozesse Entscheidungen leiten und beeinflussen anstatt sie zu stören. Wenn eine Person ein bestimmtes Ergebnis erlebt, wird damit ein körperlich-affektiver Zustand verbunden. Später, wenn eine ähnliche Option vorliegt, wird dieser Marker erneut aktiviert – manchmal als bewusstes Bauchgefühl und oft unbewusst – und beeinflusst so die Wahl bereits vor Beginn der Abwägung. Bechara und Damasio formulieren die funktionale These so direkt wie möglich: eine solide, rationale Entscheidungsfindung hängt von einer zuvor erfolgten, genauen emotionalen Verarbeitung ab. Kognition ohne emotionale Signale führt nicht zu normalem Verhalten, selbst wenn das Wissen vollständig ausreichend ist.

Genau das zeigt Elliot: Vollständiges Wissen, kein Wertsignal – jede Entscheidung muss durch eine explizite Kosten-Nutzen-Analyse getroffen werden, ohne Möglichkeit, diese Analyse zu beenden. Er hat nie wirklich eine solche Analyse abgeschlossen.

Vergleichende Untersuchungen erschweren es, diese Idee einfach abzutun. Im von Mendl und Paul vorgeschlagenen Modell wählt ein Tier zwischen affektiven Optionen aus: Jede mögliche Handlung trägt einen Wert, der aus den mit früheren Ergebnissen derselben Handlung in vergleichbaren Situationen verbundenen Gefühlen abgeleitet wird. Anderson und Adolphs nennen vier emotionale Primitiven – nämlich Skalierbarkeit, Valenz, Persistenz und Generalisierung – und beobachten sie bei Organismen, die uns so fernstehen wie Fische und Fruchtfliegen.

Die Evolution kam über Hunderte Millionen von Jahren hinweg immer wieder und unabhängig voneinander zu diesem Design, denn ein Nervensystem, das Erfahrungen nicht als gut, schlecht, kostspielig oder gefährlich einstufen kann, muss die Welt jedes Mal von Grund auf neu berechnen, wenn es sich bewegt. Die Evolution schuf einen werttragenden Mechanismus, da kein funktionsfähiger Entscheider ohne einen auskommen kann. Das Bereich der KI entwickelte Systeme mit enzyklopädischem Wissen und fügte anschließend Werte hinzu, indem sie diese in dieses Wissen integrierten.

Richtiger Mechanismus, schlechte Umsetzung

Der Mechanismus in der Biologie ist solide: gelernte Wertsignale, die durch Erfahrungen indiziert werden, mit dem Gedächtnis verknüpft sind und zur Entscheidungszeit abgerufen werden. Ihre Umsetzung ist jedoch genau in den Aspekten schlecht, die Ingenieure wichtig finden:

• Sie lässt sich nicht untersuchen. Niemand liest seine eigenen somatischen Marker als Werte. Im besten Fall entsteht ein Gefühl.

Es lässt sich nicht nachverfolgen. Jemand lehnt ein Stellenangebot ab, und wenn man nach dem Grund fragt, erhält man Schweigen. Die Herkunft ist verschwunden.

Es lässt sich nicht ändern. Eine aus einer schlechten Erfahrung im Alter von neunzehn Jahren gelernte Einstellung verschwindet nicht auf Befehl. Mit Glück und Beharrlichkeit lässt sie sich nach jahrelangen Anstrengungen abschwächen.

Setzt man diese drei Punkte neben die drei oben genannten RLHF-Fehler, stimmen sie überein. Das Feld hat die Schwächen der Biologie übernommen und seine eigentlichen architektonischen Erkenntnisse aufgegeben. Man sollte daher überlegen, das Mechanismus beizubehalten und die Umsetzung zu verbessern.

Ein Mechanismus mit Nachweisen

Sobald das Problem auf diese Weise formuliert ist, folgt die Gestaltung fast mechanisch. Während des Lernens, wenn das System ein Muster von Erfahrungen aufzeichnet, wird ihm eine Valenz zugeordnet: eine gerundete Zahl, üblicherweise im Bereich von -1 bis +1, die zusammen mit dem Muster gespeichert wird anstatt darin integriert zu werden. Bei der Vorhersage, wenn dieses Muster mit der aktuellen Beobachtung übereinstimmt, wird seine Valenz zusammen mit der Vorhersage verwendet, um zu bestimmen, welche Aktion gewählt wird.

Das ist alles. Es handelt sich dabei um einen somatischen Marker, der aus Zahlen statt aus Neurochemie besteht, und die Folgen sind größer, als es auf den ersten Blick scheint:

1. Überprüfbar. Niemand kann die somatischen Marker einer Person lesen, doch ein Wert wie „Sicherheit“ mit -0,7 bei einem bestimmten erlernten Muster ist lediglich eine Zahl an einer bekannten Stelle. Die vollständige Liste der Werte des Systems sowie ihre Stärken können aufgeführt werden. Es gibt weder Nachforschungen noch Verhaltensschlussfolgerungen noch psychologische Experimente.
2. Aufspürbar. Eine Intuition hinterlässt keine Nachweise, während eine erlernte Valenz auf die konkreten Beobachtungen verweist, aus denen sie entstanden ist, sowie auf das, was in jedem Fall geschah. Die Herkunft bleibt erhalten, weil nichts sie beseitigt hat.
3. Änderbar. Wenn ein Wert falsch ist, ändert man die Zahl direkt oder gibt einen Gegenbeispiel ein und lässt den laufenden Durchschnitt diesen aufnehmen. Es ist kein Trainingslauf erforderlich, und unverwandtes Wissen bleibt unberührt. Menschen mögen Therapie oder neue Verarbeitungsschritte benötigen, doch hier gibt es einen einfacheren Ausweg.

Stellen Sie sich ein System vor, das aus einer Reihe von Kontoevénements gelernt hat und Folgendes gespeichert hat:

PTRN|a7f3e91   ["login_new_device", "password_reset", "payee_added", <additional context>]
   emotives   →  fraud_risk: -0.62   urgency: +0.85
   provenance →  13 matched occurrences | 9 adverse, 4 benign
                 recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]

Während des Lernprozesses fügte jedes Auftreten dieser Sequenz einer Vorlage eine Ergebniswertigkeit hinzu: Die Vorlage speichert, was geschehen ist, während die emotionale Komponente festhält, wie das Ergebnis ausfiel. Wenn später ein Live-Stream von Ereignissen mit diesen drei Schritten übereinstimmt, wird die Vorlage aktiviert und der Betrugsrisikoscore begleitet die Vorhersage. Diese Zahl, die der Vorlage zugeordnet ist, ist es, die das System dazu veranlasst, die Überweisung durchzuführen.

Nehmen wir nun an, dieser Wert ist falsch. Stellen Sie sich vor, neun der dreizehn schlechten Ergebnisse traten alle innerhalb eines Zeitraums von drei Wochen auf. Währenddessen führte eine Aktion zur Geräte-Upgrade-Erweiterung dazu, dass viele ehrliche Kunden genau diese Abfolge durchliefen, während ein unzuverlässiger Betrugsabteilung jede dieser Transaktionen markierte. Um das zu erkennen, ist keine Theorie über die internen Funktionsweisen des Modells nötig: Man muss lediglich den Herkunftsort sowie die zusammenfallenden Datumsangaben betrachten. Um das Problem zu beheben, ist ebenfalls kein erneutes Trainieren erforderlich. Man passt den Wert für dieses Muster an oder liefert korrigierende Beobachtungen, damit das rollierende Zeitfenster sie aufnehmen kann.

Der Einflussbereich betrifft lediglich dieses eine Muster. Alles andere, was das System kennt, bleibt unberührt, weil es ursprünglich nie damit verknüpft war.

Das Trennen von Werten und Wissen ermöglicht außerdem Dinge, die integrierte Systeme nicht leisten können. Verschiedene Wertesätze können für unterschiedliche Einsatzszenarien auf denselben erlernten Wissen basieren, die Werte eines Systems können vor und nach einem Update verglichen werden, und dem Prüfer kann einfach die Liste übergeben werden.

Vier Aufgaben, die Emotionen erfüllen

Pfister und Böhm argumentieren, dass Emotionen bei der Entscheidungsfindung vier getrennte Funktionen erfüllen, nicht nur eine, und jede davon entspricht etwas, das es wert ist, entwickelt zu werden:

• Information. Freude und Schmerz prägen die Präferenzen bei Lebewesen. In Software gibt der Tag eines Wertes an, welche Folgeschritte tendenziell gut und welche schlecht ausgegangen sind.
• Geschwindigkeit. Menschen entscheiden unter Zeitdruck schnell, indem sie auf Überlegungen verzichten. Eine Maschine kann eine Schwellenwertprüfung nutzen, um ohne Bewertung aller Optionen zu handeln oder abzulehnen.

Bedeutung. Emotionen lenken die Aufmerksamkeit auf das, was für die anstehende Entscheidung wichtig ist. In der Software werden Werte zum Priorisierungssignal zwischen konkurrierenden Vorhersagen.

Verpflichtung. Menschen treffen sich vorab auf moralisch bedeutsame Entscheidungen und widerstehen kurzfristigem Eigeninteresse. In einem System bedeutet das strenge Grenzen, wie zum Beispiel das Ausschließen jeder Option mit einer Sicherheit unter 0,5, die bei jedem Durchlauf nicht erneut geprüft werden müssen.

Verpflichtung, betonen Pfister und Böhm, hat überhaupt nichts mit Vergnügen zu tun. Sie gehört zum moralischen und sozialen Bereich. Ein gut konstruierter Wertmechanismus benötigt daher zwei gegensätzliche Antriebskräfte statt eines einzigen Reglers: Dinge, die verfolgt werden sollen, und Dinge, die vermieden werden sollen. Absicht und Verteidigung.

Eine funktionierende Implementierung

Der Mechanismus wurde absichtlich abstrakt beschrieben, weil die Argumentation für sich allein steht oder zusammenbricht. Er existiert auch als laufende Software. KATO ist eine Open-Source-Architektur, die Muster deterministisch lernt, und ihre Wertetags tragen den Namen „Emotives“. Sie werden während des Lernens den Mustern zugeordnet und befinden sich in jedem Vorhersageobjekt. Ein sich bewegendes Fenster mit aktuellen Durchschnitten ermöglicht es einem Wert, im Laufe der Erfassung von Daten zu schwanken, sodass keine einzelne Beobachtung ihn kontrolliert. Es gibt zwei Arten von „Emotives“: solche auf der Seite der Absichten, die das System zu maximieren versucht, und solche auf der Seite der Verteidigung, die es zu minimieren versucht. Jeder Wert ist eine Zahl, die gelesen, auf ihre zugrundeliegenden Beobachtungen zurückverfolgt und geändert werden kann.

Die Abstammung ist nicht neu. KATOs Vorgänger, GAIuS, galt Berichten zufolge als einziger maschinelles-Lern-Algorithmus, der nach FAA DO-178C zertifiziert wurde. Scale erhielt diese Zertifizierung nicht. Erklärbare, nachvollziehbare und reproduzierbare Entscheidungen hingegen schon – daher war Determinismus eine Eingangsvoraussetzung und keine stilistische Wahl. Explizite, überprüfbare Werte sind aus demselben Grund eine Art Zugangsberechtigung.

Was damit nicht geklärt wird

Emotives Kriterien geben nicht an, welche Werte ein System haben sollte. Der Mechanismus kann niemandem mitteilen, welche Valenz für ein Muster korrekt ist, wessen Sicherheit mehr Gewicht verdient oder wo Gerechtigkeit dem Prinzip der Genauigkeit weichen muss. Die Auswahl dieser Aspekte stellt eine Wertspezifikation dar, auch als äußere Ausrichtung bezeichnet, und bleibt eine Entscheidung der Menschen.

Was sich ändert, ist die Sichtbarkeit. Bei expliziten Werten muss eine Person die Zahl notieren und eine andere muss sie genehmigen. Kompromisse sind dann keine zufälligen Nebenprodukte eines unüberprüften Annotationssystems mehr – sie werden zu schriftlichen Entscheidungen mit Verantwortlichen.

Das ist keine Einschränkung des Ansatzes, sondern sein Zweck. Die Abstimmung verschiebt sich von einer Hoffnung während des Trainingszeitraums zu einer ingenieurtechnischen Eigenschaft im Laufzeitbetrieb, die ohne GPU-Cluster an einem Dienstagnachmittag festgelegt, getestet, überwacht und geändert werden kann.

Kontrolle statt Auftrieb

Die Brüder Wright gewannen nicht, indem sie den Auftrieb lösten. Schlepper flogen bereits seit Jahrzehnten, und Motoren kamen nach ihrem eigenen Zeitplan. Sie gewannen, indem sie die Kontrolle lösten – eine Möglichkeit, etwas, das bereits in der Luft bleiben konnte, aktiv zu steuern.

Transformers können fliegen. Diese Frage ist bereits geklärt, und die Entwicklung wird sie weiter klären. Was ihnen strukturell fehlt, ist eine Steuerfläche – ein Ort, an dem man eingreifen und „dies, nicht jenes“ sagen kann, in der Gewissheit, dass nur das beabsichtigte Element berührt wird. Appelle, die die Forschung an künstlicher Intelligenz zu verlangsamen fordern, werden voraussichtlich nicht beachtet, was die fehlende Steuerfläche noch dringender macht.

Die Biologie hat bereits eine solche Steuerfläche entwickelt und sie seit der Zeit vor dem Auftreten von Wirbeltieren weiter verfeinert. Die Entwurfsnotizen sind dazu da, gelesen zu werden.

Quellen

• Damasio, Antonio. Descartes' Error: Emotion, Reason and the Human Brain, veröffentlicht 1994.
• Pfister und Böhm zur Vielfalt der Emotionen, Judgment and Decision Making, Band 3, 2008.
• Anderson und Adolphs, ein Rahmenwerk zur Erforschung von Emotionen bei verschiedenen Arten, Cell, Band 157, 2014.

Bechara und Damasio zur Hypothese des somatischen Markers, Games and Economic Behavior, Band 52, 2005.

Mendl und Paul zum Affekt bei Tieren und Entscheidungsfindung, Neuroscience and Biobehavioral Reviews, Band 112, 2020.