Por qué la alineación de la IA necesita valores inspeccionables: lecciones de Elliot de Damasio

Un paciente de la literatura sobre neurociencia merece un lugar en toda lista de lecturas sobre alineación de IA. Antonio Damasio lo llama Elliot, y su caso sirve de base para el libro *El error de Descartes*. Se le extirpó quirúrgicamente un tumor que presionaba el córtex prefrontal ventromedial, y parte del tejido cercano se eliminó junto con él. Después de eso, Elliot obtuvo puntuaciones por encima del promedio en pruebas de CI. Su memoria, lenguaje, atención, conocimientos factuales y razonamiento lógico estaban todos intactos. Ante un dilema moral, podía exponer los argumentos de ambos lados con mayor detalle que la mayoría de las personas presentes.

No obstante, su vida se desmoronó. Perdió su trabajo y luego sus ahorros debido a una serie de decisiones empresariales erróneas, y pasó por dos divorcios. En cada etapa podía analizar las opciones en detalle, pero siempre tomaba decisiones malas sin aprender nada. Elliot no había perdido conocimientos; había perdido lo que permite poner esos conocimientos en práctica.

Ese caso describe, con mayor claridad que cualquier otro, qué es lo que intenta solucionar el concepto de “alineación”. También constituye una advertencia, ya que la industria ha desarrollado, a un costo enorme, sistemas con el déficit opuesto, y apenas existe vocabulario para detectarlo.

Cuatro preguntas de ingeniería

Si dejamos de lado la retórica, la alineación es un problema de mecanismos de valor. Se divide en cuatro preguntas, todas ellas de carácter ingenieril:

1. ¿Cómo transmite un sistema un valor?
2. ¿Cómo aplica ese valor en el momento de tomar una decisión?
3. ¿Cómo pueden las personas verificar qué valor se aplicó?
4. ¿Cómo pueden las personas corregir el valor cuando está incorrecto?

“¿Qué valores debe mantener el sistema?” está intencionadamente ausente de esa lista. Es un problema diferente, relacionado con la gobernanza y el juicio humano, y se aborda hacia el final. Confundir ambos es la razón por la cual los debates sobre alineación a menudo derivan hacia la filosofía cuando deberían generar esquemas concretos. Entonces, ¿cómo responden los mejores sistemas actuales a las cuatro preguntas?

Qué logra el aprendizaje por refuerzo con retroalimentación humana y dónde se detiene

El aprendizaje por refuerzo con retroalimentación humana (RLHF) merece reconocimiento. Funciona. Tomó modelos que antes producían cualquier cosa sin restricciones y los convirtió en herramientas ampliamente útiles, cooperativas y seguras, algo que el entrenamiento previo puro nunca logró. Se cuenta entre los verdaderos logros de ingeniería de la última década, y quien lo descarta no ha tenido contacto con modelos anteriores a él.

No obstante, la forma en que funciona es importante.

RLHF toma las señales de preferencia humana y las integra en las mismas matrices de ponderación que almacenan el resto del conocimiento del modelo. Los valores y el conocimiento terminan siendo una sola cosa. No existe ninguna frontera que los separe, ni siquiera sutil o oculta. Simplemente no hay ninguna.

Esto es más o menos como intentar dotar a una persona de un buen juicio reconfigurando su corteza cerebral con la esperanza de que ese juicio surja. A veces lo hace. De allí surgen tres problemas:

1. Es imposible inspeccionar. No hay forma de averiguar qué valora el modelo. Se puede analizar su comportamiento e inferir, lo cual constituye un experimento psicológico, no una inspección.
2. Es imposible rastrear. Cuando un modelo rechaza una solicitud, aprueba un préstamo o marca una reclamación, nadie puede señalar la experiencia que generó esa preferencia. La procedencia fue destruida durante el entrenamiento, por diseño.

La edición es imposible. Basta encontrar un valor incorrecto, como un sesgo, una sobrecorrección o una preferencia derivada de datos de anotadores deficientes, para que no exista solución precisa. El reentrenamiento perturba todo lo demás en el proceso.

Amazon se dio cuenta de esto a la fuerza. A partir de 2014, la empresa creó un modelo que calificaba a los solicitantes de empleo del uno al cinco estrellas, entrenado con una década de sus propios currículums provenientes de una industria dominada por hombres. El modelo aprendió a penalizar los currículums que contenían la palabra “mujeres” y los nombres de ciertas universidades exclusivamente femeninas. Amazon detectó esos términos y los neutralizó. Luego, en 2017, abandonó el proyecto, porque después de solucionar los casos que pudo identificar, no tenía forma de demostrar que el modelo no estaba expresando la misma preferencia a través de algún otro indicador del que nadie se había dado cuenta.

El anécdota resume todo el argumento. El fallo no radicó en que el modelo aprendiera algo incorrecto, ya que todos los modelos lo hacen. El problema fue que nadie pudo averiguar qué más había aprendido, y por eso nadie supo cuándo se realizó la corrección. Eso es como jugar a “golpea al topo” a oscuras. Años de trabajo se perdieron porque los valores no eran accesibles.

Para un chatbot de recetas, eso es algo sin importancia. Pero para sistemas que influyen en decisiones crediticias, triaje médico, resolución de reclamaciones o cualquier cosa que un regulador pueda pedirte que expliques bajo juramento, esas tres deficiencias no son simples inconvenientes; descartan por completo ese enfoque.

Cuando los valores opacos perjudican a familias reales

Descartar casos no es una cuestión abstracta. De 2005 a 2019, la autoridad fiscal holandesa acusó erróneamente a aproximadamente 26,000 padres de fraude en los beneficios por cuidado infantil. Un modelo de clasificación de riesgos autodidacta, en uso desde 2013, participó en la selección de quienes debían ser señalados. La nacionalidad holandesa era uno de sus parámetros, lo que elevaba las puntuaciones de los ciudadanos no holandeses, generando más investigaciones contra ellos y reutilizando esos resultados directamente en el entrenamiento del modelo. Los funcionarios públicos que manejaban estos casos nunca recibían explicaciones sobre por qué una puntuación era alta. Amnistía Internacional describió esto como un agujero negro en materia de rendición de cuentas. Las familias perdieron sus hogares, empleos y matrimonios, y el gobierno cayó en enero de 2021.

El mecanismo es tan importante como el resultado. Ningún ingeniero decidió que “lo que no es holandés es más arriesgado” debiera ser un valor. Este se acumuló, sin nombre y ilegible, en un sistema donde los valores y el conocimiento compartían el mismo espacio, y quienes lo gestionaban no tenían forma de descubrirlo.

Tendemos a considerar eso como el estado natural de las cosas, como si los valores tuvieran que ser difusos e ilegibles. La biología dice lo contrario.

Qué hace la emoción con el razonamiento

La creencia popular sostiene que una racionalidad fría, al estilo de Spock, permite tomar buenas decisiones, mientras que la emoción la corrompe. La evidencia indica lo contrario.

La hipótesis del marcador somático de Damasio propone que los procesos emocionales guían y sesgan las decisiones en lugar de interferir con ellas. Cuando una persona experimenta un resultado, se asocia a él un estado corporal-afectivo. Más tarde, al enfrentarse a una opción similar, ese marcador se revive, a veces como una sensación intuitiva consciente y con frecuencia sin que sea percibido, lo cual inclina la elección antes incluso de comenzar la deliberación. Bechara y Damasio expresan esta afirmación funcional de la manera más directa posible: una toma de decisiones racional y sólida depende de un procesamiento emocional preciso previo. La cognición sin señales emocionales no produce un comportamiento normal, incluso cuando el conocimiento es completamente adecuado.

Eso es precisamente lo que demuestra Elliot: conocimiento completo, sin señales de valor, y cada elección forzada a través de un análisis explícito de costos-beneficios sin posibilidad de finalizarlo. Nunca llegó realmente a terminar ninguno.

El trabajo comparativo hace que sea más difícil descartar esta idea. En el modelo que proponen Mendl y Paul, un animal elige entre opciones afectivas: cada acción posible lleva consigo un valor determinado por los sentimientos asociados a los resultados anteriores de dicha acción en situaciones comparables. Anderson y Adolphs enumeran cuatro primitivas emocionales, a saber, escalabilidad, valencia, persistencia y generalización, y las encuentran en organismos tan alejados de nosotros como los peces y las moscas de la fruta.

La evolución llegó repetidamente e independientemente a este diseño a lo largo de cientos de millones de años, porque un sistema nervioso que no puede clasificar las experiencias como buenas, malas, costosas o peligrosas debe volver a calcular el mundo desde cero cada vez que se mueve. La evolución creó un mecanismo para transmitir valores, ya que ningún tomador de decisiones eficaz puede prescindir de uno. El campo de la IA desarrolló sistemas con conocimientos enciclopédicos y luego asignó valores al integrarlos en dicho conocimiento.

Mecanismo adecuado, implementación deficiente

El mecanismo de la biología es sólido: señales de valor aprendidas, indexadas por la experiencia, vinculadas a la memoria y recuperadas en el momento de tomar decisiones. Su implementación es deficiente precisamente en los aspectos que importan a los ingenieros:

• No puede ser inspeccionado. Nadie interpreta sus propios marcadores somáticos como valores; en el mejor de los casos surge una sensación.

No se puede rastrear. El instinto hace que uno rechace una oferta de trabajo, y al preguntar por qué solo se obtiene silencio. El origen desaparece.

No se puede modificar. Un valor adquirido tras una mala experiencia a los diecinueve años no desaparece por orden alguna. Con suerte y esfuerzo, se atenúa tras años de trabajo.

Si se comparan esos tres puntos con los tres fracasos de RLHF mencionados anteriormente, coinciden. El campo copió las debilidades de la biología y descartó su verdadero conocimiento arquitectónico. Por lo tanto, considere mantener el mecanismo y corregir su implementación.

Un mecanismo con pruebas

Una vez que el problema se plantea de esa manera, el diseño sigue casi mecánicamente. Durante el proceso de aprendizaje, cuando el sistema registra un patrón de experiencia, se le asigna una valencia: un número con signo, convencionalmente en el rango de -1 a +1, que se almacena junto al patrón en lugar de fusionarse con él. En el momento de la predicción, cuando ese patrón coincide con la observación actual, su valencia se transmite junto con la predicción y determina qué acción se elegirá.

Eso es todo. Se trata del marcador somático formado por números en lugar de neuroquímica, y las consecuencias son mayores de lo que parecen:

1. Inspeccionable. Nadie puede leer los marcadores somáticos de una persona, pero una puntuación como la seguridad en -0.7 según un patrón aprendido específico es simplemente un número en una ubicación conocida. Se puede enumerar la lista completa de valores del sistema y sus fortalezas. Sin indagación, sin inferencias conductuales, sin experimentos psicológicos.
2. Rastreable. Una intuición no deja registros, mientras que una valencia aprendida remite a las observaciones específicas a partir de las cuales se formó y a lo que ocurrió en cada una. El origen se mantiene porque nada lo ha eliminado.
3. Editable. Cuando un valor está incorrecto, basta con cambiar directamente el número o introducir un contraejemplo para que el promedio en tiempo real lo absorba. No se necesita ningún proceso de entrenamiento y los conocimientos no relacionados permanecen intactos. Las personas pueden necesitar terapia o pipelines nuevos, pero aquí existe una solución más sencilla.

Imagínese un sistema que ha estado aprendiendo a partir de una secuencia de eventos de cuenta y que ha almacenado lo siguiente:

PTRN|a7f3e91   ["login_new_device", "password_reset", "payee_added", <additional context>]
   emotives   →  fraud_risk: -0.62   urgency: +0.85
   provenance →  13 matched occurrences | 9 adverse, 4 benign
                 recent window: [-0.9, -0.8, -1.0, -0.4, +0.1]

Durante el proceso de aprendizaje, cada aparición de esa secuencia añadía una valencia de resultado al patrón: el patrón almacena lo que sucedió y la información emocional registra cómo resultó todo. Cuando una secuencia de eventos en tiempo real coincide posteriormente con esas tres etapas, el patrón se activa y la puntuación de riesgo de fraude acompaña a la predicción. Esa cifra, asociada a ese patrón, es lo que impulsa al sistema a autorizar la transferencia.

Supongamos ahora que ese valor es incorrecto. Imagine que nueve de los trece resultados negativos ocurrieron todos dentro de un mismo período de tres semanas, durante el cual una promoción de actualización de dispositivos hizo que muchos clientes honestos siguieran exactamente esa secuencia, y el equipo encargado de detectar fraudes marcó a todos ellos. Deteriorar la situación no requiere ninguna teoría sobre los mecanismos internos del modelo: basta con observar el origen y que las fechas estén agrupadas. Corregirlo tampoco necesita un nuevo proceso de entrenamiento; basta con ajustar el valor de ese patrón o proporcionar observaciones correctivas para que la ventana móvil las procese.

El radio de influencia es un único patrón. Todo lo demás que conoce el sistema permanece intacto, ya que nunca estuvo relacionado con esto en primer lugar.

Mantener los valores separados del conocimiento también permite hacer cosas que los sistemas fusionados no pueden realizar. Diferentes conjuntos de valores pueden utilizarse con el mismo conocimiento adquirido para diferentes implementaciones, los valores de un sistema pueden compararse antes y después de una actualización, y se puede entregar simplemente la lista a un auditor.

Las cuatro funciones de las emociones

Pfister y Böhm sostienen que las emociones cumplen cuatro funciones distintas en la toma de decisiones, no una sola, y cada una corresponde a algo que vale la pena desarrollar:

• Información. El placer y el dolor son los que dan forma a las preferencias en los seres vivos. En el software, la etiqueta de un valor indica qué acciones suelen tener buenos resultados y cuáles malos.
• Velocidad. Las personas toman decisiones rápidamente bajo presión de tiempo, omitiendo la deliberación. Una máquina puede utilizar una verificación de umbral para actuar o rechazar sin evaluar cada opción.

Relevancia. La emoción dirige la atención hacia lo que es importante para la decisión en cuestión. En el software, los valores se convierten en la señal de priorización entre predicciones competidoras.

Compromiso. Las personas se comprometen de antemano con decisiones moralmente significativas y resisten el interés propio momentáneo. En un sistema, eso significa medidas estrictas, como descartar cualquier opción cuya seguridad sea inferior a 0.5, sin volver a discutirlas en cada paso.

El compromiso, enfatizan Pfister y Böhm, no tiene nada que ver con el placer. Pertenece al ámbito moral y social. Por lo tanto, un mecanismo de valores bien diseñado necesita dos impulsos opuestos en lugar de uno solo: cosas que perseguir y cosas que evitar. Intención y defensa.

Una implementación funcional

El mecanismo se describió de forma abstracta a propósito, porque el argumento es válido o inválido por sí mismo. También existe como software en ejecución. KATO es una arquitectura de código abierto que aprende patrones de manera determinística, y sus etiquetas de valor se denominan emotivos. Se adjuntan a los patrones durante el proceso de aprendizaje y se incluyen dentro de cada objeto de predicción. Una ventana móvil con promedios recientes permite que el valor varíe a medida que se acumula experiencia, de modo que ninguna sola observación lo controla. Los emotivos existen en dos tipos: aquellos relacionados con la intención que el sistema intenta maximizar, y aquellos relacionados con la defensa que intenta minimizar. Cada uno es un número que se puede leer, rastrear hasta sus observaciones correspondientes y modificar.

Esa línea de descendencia no es nueva. Se dice que el predecesor de KATO, GAIuS, fue el único algoritmo de aprendizaje automático certificado según la norma FAA DO-178C. Scale no obtuvo esa certificación; en cambio, sí lo lograron las decisiones explicables, rastreables y reproducibles, por lo que el determinismo fue un requisito obligatorio y no una elección estilística. Los valores explícitos e inspeccionables funcionan de manera similar por la misma razón.

Lo que esto no resuelve

Los sistemas emotivos no indican qué valores debe tener un sistema. El mecanismo no puede decirle a nadie cuál es la valencia correcta para un patrón, qué seguridad merece mayor importancia o dónde la equidad debe ceder ante la precisión. Elegir esos aspectos constituye la especificación de valores, también conocida como alineación externa, y sigue siendo una decisión de gobernanza que deben tomar las personas.

Lo que cambia es la visibilidad. Con valores explícitos, una persona debe anotar la cifra y otra debe aprobarla. Los compromisos dejan de ser subproductos accidentales de un proceso de anotación sin revisión. Se convierten en decisiones por escrito con responsables designados.

Eso no es una limitación del enfoque; es su propósito. La alineación pasa de ser una esperanza durante el entrenamiento a ser una propiedad de ingeniería en tiempo de ejecución, algo que se puede especificar, probar, monitorear y revisar una tarde de martes sin necesidad de un clúster GPU.

Control, no sustentación

Los hermanos Wright no ganaron al resolver el problema de la sustentación. Los planeadores ya volaban desde hacía décadas, y los motores llegaban según su propio cronograma. Ganaron al resolver el problema del control, es decir, encontrar una forma de dirigir activamente algo que ya podía permanecer en el aire.

Los transformadores vuelan. Esa cuestión ya está resuelta, y la escala seguirá confirmando su validez. Lo que les falta, desde el punto de vista estructural, es una superficie de control: un lugar al que acceder para indicar “esto, no aquello”, con la certeza de que solo se ha tocado lo pretendido. Es poco probable que se tenga en cuenta las peticiones para ralentizar el desarrollo de la IA de vanguardia, lo que hace aún más urgente la necesidad de esa superficie de control ausente.

La biología ya creó una y la ha perfeccionado desde antes de que existieran los vertebrados. Las notas de diseño están ahí para ser leídas.

Fuentes

• Damasio, Antonio. El error de Descartes: Emoción, razón y el cerebro humano, publicado en 1994.
• Pfister y Böhm sobre la multiplicidad de emociones, Judgment and Decision Making, volumen 3, 2008.
• Anderson y Adolphs, un marco para estudiar las emociones en diferentes especies, Cell, volumen 157, 2014.

Bechara y Damasio sobre la hipótesis del marcador somático, Games and Economic Behavior, volumen 52, 2005.

Mendl y Paul sobre el afecto animal y la toma de decisiones, Neuroscience and Biobehavioral Reviews, volumen 112, 2020.

Lecturas relacionadas

• Sandbox de modelos de lenguaje recursivos: qué falló y qué necesita reconstrucción — Una retrospectiva sobre una plataforma de modelos de lenguaje recursivos: capas de aislamiento, intermediarios, CDR, límites de seguimiento en el espacio de usuario, límites de un único host y por qué la moderación fue lo más importante.
• Pruebas de ataque contra un pipeline multi-agente: páginas no confiables, citas y revisión humana — Refuerzo de un pipeline de investigación-escritura-revisión en LangGraph: tratar el contenido web como datos, verificar las citas, intentar nuevamente solo ante errores temporales de las herramientas y detenerse para que lo revise un humano cuando haya dudas. —