Verificando lo que hacen los agentes de IA: permisos, controles de aprobación y niveles de riesgo
Los agentes de IA que actúan necesitan verificación: los principios de mínimo privilegio, las aprobaciones humanas y la autonomía según el nivel de riesgo permiten que las acciones erróneas tengan un costo bajo y queden contenidas.
Fuentes: When AI Starts Acting on Its Own: Why Verification Is Becoming the Most Important AI Skill
En los últimos años, la mayor parte del esfuerzo en torno a la IA generativa se ha centrado en formular mejores preguntas. A medida que los modelos adquieren la capacidad de utilizar herramientas y modificar sistemas reales, comienza a ser más importante otra habilidad: verificar qué es lo que realmente hizo la IA. Este artículo explica por qué una acción incorrecta constituye un tipo distinto de fallo a una respuesta errónea, y le ofrece un marco práctico para definir permisos, establecer la aprobación humana y adaptar la autonomía al riesgo al crear o adoptar agentes.
De sistemas que responden a sistemas que actúan
Los primeros asistentes de chat eran pasivos. Usted hacía la pregunta, el modelo respondía y usted decidía qué ocurriría a continuación. Un agente cambia esa división del trabajo. Dado un objetivo, puede interpretar la solicitud, planificar pasos, utilizar herramientas, tomar acciones, analizar los resultados y seguir adelante sin esperar a usted entre pasos.
La diferencia se observa más fácilmente con una solicitud cotidiana. Pregúntale a un chatbot cómo organizar un conjunto desordenado de carpetas y obtendrás consejos que puedes seguir o ignorar. Si le das permiso a un agente para que realice la organización, este podrá inspeccionar directorios, renombrar y mover archivos, crear nuevas carpetas, actualizar registros y eliminar lo que considere duplicados. Un chatbot recomienda una acción; un agente la lleva a cabo. Ese simple cambio es la razón por la cual hay que replantear la fiabilidad cuando entran en escena los agentes.
Por qué una acción incorrecta cuesta más que una respuesta errónea
Cuando un modelo te proporciona información incorrecta, tienes varias oportunidades de darte cuenta. Puedes notar que algo no está bien, buscar nuevamente, comparar con otra fuente o simplemente ignorar la respuesta. El ser humano se encuentra entre la salida y cualquier consecuencia.
En un pipeline autónomo, ese búfer ya no existe. El flujo que se muestra a continuación representa la forma típica: el agente lee algo, toma una decisión, llama a otro sistema, cambia de estado y procede. Obsérvese que nada en la cadena se detiene para ser revisado.
Reads information
↓
Makes a decision
↓
Calls another system
↓
Changes something
↓
Continues automatically
Un error en el primer paso se propaga a todos los pasos siguientes. Una entrada mal interpretada conduce a una decisión incorrecta, que a su vez genera una llamada a la API errónea, lo cual resulta en un registro modificado que los pasos posteriores tratan como verdad absoluta. Por esta razón, la pregunta relevante pasa de ser cuán capaz es un modelo a cuán segura puede ser su capacidad para actuar.
Mínimo privilegio: delimitar qué puede tocar el agente
Considere cómo incorporaría a un nuevo empleado. El primer día no le otorgaría acceso ilimitado a las bases de datos de producción, los registros de clientes, los sistemas financieros, el código fuente ni al pipeline de despliegue. Le concedería únicamente lo que requiera su puesto y ampliaría sus derechos a medida que se vaya ganando confianza.
Los agentes merecen el mismo trato. Otorgue solo el acceso necesario para cada tarea, y separe la lectura de la escritura siempre que sea posible:
- Un agente que lee documentos no necesita permiso para eliminarlos.
- Un agente que analiza código fuente no necesita permiso para desplegar versiones de producción.
- Un agente que redacta correos electrónicos no necesita permiso para enviarlos.
La regla es sencilla: un agente solo obtiene el acceso necesario para poder realizar su tarea. En la práctica, eso suele significar herramientas específicas y diseñadas para un propósito concreto, además de credenciales de corta duración, en lugar de un token de uso general; así, lo peor que puede hacer un agente confundido está limitado por el diseño y no por su propio juicio.
Aprobación humana para acciones importantes
Uno de los patrones más efectivos es también uno de los más simples: dejar que el agente realice el trabajo, pero requerir que una persona apruebe las acciones de mayor impacto antes de que se ejecuten. La secuencia que sigue divide el proceso en una fase de preparación a cargo del agente y una fase de ejecución que solo comienza después de que una persona haya revisado y aprobado el cambio propuesto.
AI identifies issue
↓
AI proposes solution
↓
AI prepares changes
↓
Human reviews
↓
Human approves
↓
System executes
Mantienes la mayor parte de la velocidad, ya que el agente sigue investigando, proponiendo y preparando, mientras que la toma de decisiones recae en una persona en el momento crucial. El paso de aprobación funciona mejor cuando el agente presenta un artefacto concreto y revisable, como una diferencia entre versiones, una lista de registros a modificar o un borrador de mensaje, en lugar de una descripción vaga de la intención.
No todo debería requerir aprobación, ya que de lo contrario los revisores comenzarán a aprobar por reflejo. Resumir cien documentos puede realizarse sin supervisión de forma segura. La exigencia debe aumentar significativamente para acciones como estas:
- transferir dinero
- borrar datos de producción
- publicar algo de forma abierta
- desplegar software
- cambiar permisos de seguridad
- contactar a clientes
Si está implementando este patrón, nuestras guías sobre agentes controlados por aprobación con interrupciones y puntos de verificación en LangGraph y sobre estado, aprobación e idempotencia para agentes actuantes abordan los mecanismos correspondientes.
La verificación como habilidad fundamental
La ingeniería de prompts, y más recientemente la ingeniería de contexto, reciben la mayor parte de la atención. La verificación merece igualmente atención: ¿puede determinar si el resultado es realmente correcto?
Eso depende del conocimiento específico del área. Un desarrollador debe ser capaz de analizar críticamente el código generado. Un profesional financiero necesita suficiente expertise para cuestionar los cálculos realizados. Un investigador debe verificar que existan las fuentes citadas y determinar qué se afirma en ellas. Un diseñador debe juzgar si el diseño generado resuelve realmente el problema. La IA puede acelerar enormemente la ejecución, pero una ejecución rápida sin verificación suele significar cometer errores con mayor rapidez.
Alinear la autonomía con el riesgo
Plantear la pregunta como “¿Se puede confiar en la IA?” con una respuesta de sí o no no es útil. La confianza debe otorgarse según cada tarea, en proporción a lo que podría salir mal. Un modelo simple de tres niveles es un buen punto de partida.
Bajo riesgo: dejar que funcione
Resumir las notas de una reunión es un buen ejemplo. Las consecuencias de un error son pequeñas y fáciles de detectar, por lo que es razonable conceder un alto grado de autonomía.
Riesgo medio: automatizar y luego verificar
Cambiar una función del software es un caso típico de nivel intermedio. El agente puede realizar el cambio, pero las pruebas automatizadas y una revisión del código deben confirmar el resultado antes de que se lance.
Riesgo alto: se requiere autorización explícita
Las solicitudes de transferencia de dinero a una cuenta pertenecen a esta categoría. Debe ser obligatoria una autorización humana firme, independientemente de cuán confiado parezca el agente.
El principio se generaliza: la verificación debe escalar según el costo de cometer un error.
Más autonomía no es automáticamente mejor
Es tentador asumir que el agente más autónomo es el mejor. Una pregunta más útil es qué nivel de autonomía se adapta a esta tarea en particular. Los niveles útiles forman una escalera:
- solo sugerir
- preparar el trabajo para que otro lo ejecute
- ejecutar tras confirmación
Los sistemas bien diseñados ubican cada funcionalidad en el nivel adecuado en lugar de concentrar todo en la parte superior.
Preguntas que hacer antes de conectar una herramienta
Los desarrolladores ya no conectan los modelos únicamente a un cuadro de texto. Los agentes se conectan cada vez más a una amplia variedad de sistemas, como los que se enumeran a continuación.
APIs
Databases
Browsers
File systems
Cloud infrastructure
Development tools
Business applications
External services
Cada integración agrega una funcionalidad y, con ella, una nueva forma de fallar. Además de preguntarse si el agente puede completar la tarea, analice estas preguntas para cada herramienta que exponga:
- ¿A qué datos y sistemas puede acceder?
- ¿Cuáles de ellos puede modificar?
- Si falla a mitad de tarea, ¿qué estado queda atrás?
- ¿Existe una forma de deshacer lo que hizo?
- ¿Quién aprueba las operaciones sensibles?
- ¿Todas las acciones se registran de manera que pueda auditarlas posteriormente?
- ¿Cómo se detiene rápidamente?
Estas respuestas pueden ser tan importantes como el modelo que elijas. Una regla práctica es que todo lo irreversible y no registrado nunca debe poder accederse sin la intervención humana.
La alfabetización en IA ahora incluye la alfabetización en riesgos
Saber cómo obtener resultados de una herramienta de IA ya no es suficiente; también hay que comprender dónde falla. Eso no es motivo de miedo, sino lo que diferencia a un usuario competente de uno descuidado. Un usuario maduro no solo se pregunta si la IA puede hacer algo, sino también si debe hacerlo sin supervisión.
Juicio humano, ejecución máquina
Los agentes permiten que una sola persona realice tareas que antes requerían un equipo, en áreas como investigación, análisis, programación, contenido, automatización, procesamiento de datos y operaciones. Esa capacidad adicional conlleva una responsabilidad mayor. Una división de trabajo viable sería la siguiente:
- Los seres humanos definen la intención.
- El agente se encarga de la ejecución.
- El sistema circundante impone límites.
- Los seres humanos verifican los resultados importantes.
Puntos clave
- La primera ola de la IA generativa se centró en hablar con las máquinas; la era de los agentes se trata de delegarles tareas, y esa delegación depende de la confianza, los límites, la verificación y la rendición de cuentas.
- Los errores en los procesos autónomos se acumulan, por lo que es necesario diseñarlos para su contención: privilegios mínimos, acciones reversibles y registros completos.
- Deje que la aprobación humana se aplique solo a las acciones de gran impacto que son difíciles de revertir, y permita que el trabajo de bajo riesgo funcione sin supervisión para que las revisiones sigan siendo significativas.
- La pregunta fundamental está pasando de saber qué puede hacer la IA a determinar qué debería poder hacer por sí sola, y responderla adecuadamente se está convirtiendo en una habilidad esencial de ingeniería.
Lecturas relacionadas
- Puertas de Aprobación en LangGraph.js: Pausando Agentes con interrupt() y Command — Construir una puerta de aprobación mínima en LangGraph.js que haga una pausa antes de un efecto secundario, recoja la decisión humana en la terminal y reanude de forma segura a partir de un punto de control.
- Agentes con Control de Aprobación en LangGraph: interrupt(), Puntos de Control y un Almacén — Construir un agente en LangGraph paso a paso: un grafo ReAct explícito, aprobación humana mediante interrupt(), y memoria entre hilos con un almacén, finalizando con un asistente de bandeja de entrada que pregunta primero.