Cuando un agente de IA falla, ¿a quién culpas? Rastreando la cadena de fallos
Por qué la expresión “el modelo alucinó” es insuficiente: un recorrido por la cadena de fallos del agente, desde la intención y la recuperación de información hasta las herramientas, los intentos repetidos y los seguimientos, y qué observar.
Imagen que muestra a un agente de IA solicitando reservar un vuelo a São Paulo para la mañana del día siguiente, alrededor de las 9 a.m. Unos segundos después, responde que el vuelo ya está reservado. Pero en realidad no lo está: no hay boleto, ni correo de confirmación, ni cargo alguno.
La conclusión tentadora es que la IA generó una ilusión. Quizás así fue. Pero también es posible que el modelo se comportara exactamente como fue diseñado. La API de reservas podría haber devuelto un error que el agente interpretó mal. El agente podría haber buscado vuelos sin usar nunca la herramienta de reservas. La API podría haber agotado su tiempo de espera después de completar la transacción. La herramienta podría haber devuelto una cotización y no una reserva confirmada. O bien, “mañana por la mañana” podría haberse interpretado en la zona horaria incorrecta.
Una vez que los sistemas de IA comienzan a realizar tareas en lugar de limitarse a responder preguntas, los fallos se vuelven mucho más difíciles de explicar. Eso genera un nuevo problema de ingeniería: cuando un agente falla, ¿quién o qué asume la responsabilidad?
El software antiguo era más fácil de depurar
El software convencional puede ser complejo, pero su secuencia de ejecución suele ser familiar:
User
↓
Frontend
↓
Backend
↓
Database
Cuando algo se rompe, los lugares a revisar son bien conocidos: si la solicitud llegó al backend, si la base de datos dejó de funcionar, si una API posterior se detuvo, si se generó una excepción. Los registros, las métricas y las trazas ayudan a reconstruir lo sucedido.
Un agente es bastante diferente:
User Request
↓
Interpret Intent
↓
Retrieve Context
↓
Create a Plan
↓
Select a Tool
↓
Call the Tool
↓
Interpret the Result
↓
Reason Again
↓
Final Answer
Aquí, una respuesta HTTP exitosa dice muy poco. El sistema puede devolver
200 OK
y aún así cometer un error total. Esa es la diferencia fundamental entre la monitorización clásica y la observabilidad basada en IA: un sistema puede estar en buen estado desde el punto de vista operativo pero tener un comportamiento incorrecto.
“El modelo alucinó” es el nuevo “la computadora está rota”
Casi todos los resultados negativos de la IA son etiquetados como alucinaciones, y esa etiqueta se agota rápidamente. Supongamos que un asistente afirma que su empresa concede 30 días de vacaciones pagadas, cuando la política real establece 22. ¿Una alucinación? Posiblemente. Pero imagine que la política correcta se encuentra en el almacén de documentos y la recuperación de información trae una versión obsoleta. El modelo podría haber respondido de manera impecable dada la información con la que contó. El modelo no falló; falló el proceso de procesamiento de contexto, y cambiar de modelo no reparará el sistema.
La cadena de fallos del agente
Un modelo mental útil trata a un sistema agente como una serie de etapas en las que pueden ocurrir errores:
┌───────────────────────────┐
│ User Intent │
├───────────────────────────┤
│ Prompt / Instructions │
├───────────────────────────┤
│ Context / Retrieval │
├───────────────────────────┤
│ Memory │
├───────────────────────────┤
│ Planning / Reasoning │
├───────────────────────────┤
│ Tool Selection │
├───────────────────────────┤
│ Tool Parameters │
├───────────────────────────┤
│ Tool Execution │
├───────────────────────────┤
│ External Systems │
├───────────────────────────┤
│ Orchestration │
├───────────────────────────┤
│ Infrastructure │
└───────────────────────────┘
Podríamos llamarlo la pila de fallos del agente. Lo importante es que la respuesta final es solo la parte visible de un camino de ejecución mucho más largo.
1. El agente entendió algo incorrecto
Pídale a un asistente que cancele la reunión del viernes con John. Este encuentra un evento recurrente llamado “Sincronización semanal con John” y elimina toda la serie. La API del calendario funcionó, la autenticación también, y la eliminación tuvo éxito. El fallo ocurrió antes incluso de que se llamara a ninguna herramienta:
User Intent
↓
Wrong Interpretation
↓
Correct Tool Call
↓
Wrong Outcome
Eso es un fallo en la intención, y es peligroso porque todo lo que sigue después del error inicial puede funcionar perfectamente.
2. La información estaba allí, pero el agente nunca la vio
Imaginemos a un asistente legal leyendo un contrato que establece que cualquiera de las partes puede rescindirlo después de 90 días. La recuperación de información envía al modelo una cláusula vecina sobre un plazo de notificación de 30 días, y la IA concluye que el contrato puede finalizar después de 30 días. Una vez más, el modelo podría estar razonando correctamente a partir de datos erróneos:
Documents
↓
Retrieval
↓
Wrong Chunk
↓
Model
↓
Wrong Answer
El problema radica en la recuperación de información y no necesariamente en su generación. Enfocarse en solucionar un error de RAG a menudo se asemeja más a ajustar un motor de búsqueda que a reparar un chatbot.
3. La memoria puede hacer que un sistema inteligente quede obsoleto sin que se dé cuenta
Cada vez más, los agentes cuentan con memoria, lo cual es útil hasta que esta se vuelve obsoleta. Supongamos que el agente recuerda
Customer Plan = Basic
Pero el cliente realizó una actualización la semana pasada y el estado real es
Customer Plan = Enterprise
El agente rechaza una función a la que el usuario tiene derecho. Nada se colapsó, y el almacenamiento de memoria hizo exactamente lo para lo que fue diseñado: conservar información que ya no era cierta. A veces, olvidar es tan importante como recordar.
Las herramientas aumentan los riesgos
Los LLM generan texto. Los agentes generan acciones, y eso cambia el riesgo. Dale a un agente dos herramientas:
search_customer()
update_customer()
El usuario pregunta qué dirección está registrada para Sarah. La herramienta obvia es
search_customer()
pero el modelo elige
update_customer()
Eso es un fallo en la selección de herramienta. O bien elige la herramienta adecuada y todo funciona bien.
{
"currency": "USD"
}
donde estaba el valor correcto
{
"currency": "BRL"
}
Eso es un fallo en los parámetros de la herramienta. La API puede funcionar sin problemas, pero el resultado sigue siendo incorrecto.
A veces la herramienta falla
Los sistemas externos son complicados. Las APIs se agotan en tiempo, las bases de datos dejan de funcionar, se activan los límites de uso y las permisos caducan. Considere esta cadena de eventos:
Agent
↓
Book Flight API
↓
TIMEOUT
¿Cómo debería reaccionar el agente: intentarlo de nuevo, preguntarle al usuario o verificar primero si existe una reserva? Ahora supongamos que la reserva sí se realizó pero la confirmación se perdió en el camino de regreso, por lo que el agente lo intenta una segunda vez:
First booking → SUCCESS
Response → LOST
Retry → SUCCESS
Ahora el cliente posee dos tickets. Esto ya no es solo un problema de IA; se trata de un problema clásico de sistemas distribuidos, y las reintentos, la idempotencia, la gestión de estados y las transacciones pasan a formar parte de la ingeniería de IA.
Las configuraciones con múltiples agentes complican la atribución de responsabilidades
Imagínese ahora tres agentes en secuencia:
Research Agent
↓
Analysis Agent
↓
Writing Agent
El agente de investigación encuentra los hechos correctos. El agente de análisis los interpreta adecuadamente. El agente de redacción omite una condición importante, y la respuesta final engaña. ¿Cuál agente falló? Los sistemas basados en agentes se asemejan cada vez más a software distribuido cuyos componentes toman decisiones probabilísticas, lo que hace esencial la observabilidad.
Las trazas son más importantes que los registros
Supongamos que un agente genera una respuesta terrible mientras que el panel de control de la infraestructura muestra:
HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0
Todo parece estar en buen estado, pero la respuesta es incorrecta. La supervisión clásica indica que el sistema se ejecutó. Los ingenieros necesitan saber por qué tomó esa decisión. Para ello se requiere algo más similar a un seguimiento de agente:
TRACE #84721
User Request
↓
Intent: "Book Flight"
↓
Retrieved user preferences
↓
Planner created 3 steps
↓
search_flights()
↓
Selected Flight #2
↓
book_flight()
↓
API response: timeout
↓
Agent assumed success
↓
Final response:
"Your flight has been booked."
Ahora el fallo es solucionable. El agente no solo inventó un vuelo; el sistema trató un estado de herramienta desconocido como una transacción completada, y eso es algo que los ingenieros pueden corregir.
Qué debe capturar un seguimiento
Un seguimiento útil del agente podría contener:
trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result
No toda aplicación necesita almacenar todos los campos, ya que la privacidad, la seguridad y el costo siguen siendo factores importantes. Sin embargo, el principio es sencillo: si un agente necesita diez pasos para llegar a una respuesta, registrar solo la primera entrada y la última salida es como depurar una arquitectura de microservicios registrando únicamente la primera solicitud y la respuesta final. No es de mucha ayuda.
El monitoreo no es la observabilidad
Esta distinción es especialmente útil para los sistemas de IA. El monitoreo se pregunta si hay algún problema. El rastreo pregunta qué camino siguió la tarea. La observabilidad pregunta por qué el sistema se comportó de esa manera. La evaluación pregunta si ese comportamiento fue realmente bueno.
Monitoring
"Is the system healthy?"
↓
Tracing
"What path did it follow?"
↓
Observability
"Why did it behave this way?"
↓
Evaluation
"Was the result correct?"
La ingeniería de IA necesita los cuatro.
Las métricas también deben evolucionar
Los servicios convencionales se miden con cifras como
Availability
Latency
Throughput
Error Rate
y esos siguen siendo importantes. Los agentes añaden nuevas preguntas:
Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task
El último de ellos es especialmente revelador. Un agente que cuesta 0,01 dólares por solicitud pero tiene éxito la mitad de las veces podría ser una opción peor que uno que cuesta 0,03 dólares y tiene éxito el 98 % de las veces. El sistema de IA más económico no es necesariamente el que se basa en el modelo más barato; es aquel que ofrece el resultado exitoso más económico.
¿Entonces, quién es el culpable?
Volviendo al vuelo: el usuario pidió una reserva para São Paulo la mañana siguiente, el agente dijo “Hecho”, pero no existe ninguna boleto. ¿El modelo? Quizás. ¿La instrucción dada? Posiblemente. ¿O la función de recuperación de datos, la herramienta de reservas, la API de la aerolínea, el orquestador o la infraestructura?
La respuesta incómoda es que no se puede saber hasta que no se pueda reconstruir la ejecución. Esto marca un giro importante en la ingeniería de la IA. Una vez que los modelos se convierten en agentes, y estos en sistemas completos, la fiabilidad deja de ser una propiedad exclusiva del modelo y pasa a ser una propiedad de todo el camino de ejecución:
Model Quality
+
Context Quality
+
Tool Reliability
+
Orchestration
+
Infrastructure
+
Evaluation
+
Observability
↓
Reliable AI System
Los modelos más potentes sin duda ayudarán, pero la capacidad por sí sola no hará que los sistemas de IA sean fiables. Siguen siendo válidas las cosas básicas que los ingenieros de software han pasado décadas aprendiendo a respetar: registros, seguimientos, tiempos de espera, intentos repetidos, permisos, estado, pruebas, métricas y análisis de fallos. Cuando un agente falla en producción, la frase “el modelo tuvo alucinaciones” acabará sonando tan útil como “la computadora hizo algo extraño”. La ingeniería comienza en el punto en que esa explicación deja de ser suficiente.
Leer más
- Los registros de auditoría de agentes necesitan 12 campos: qué registran realmente seis marcos — Un recuento estático de seis marcos para agentes frente a un borrador de registro de auditoría con 12 campos: la cobertura promedio es de 5 de 12, y ninguno registra evidencias de manipulación ni nivel de confianza.
- Cuando el panel es verde y el agente hace un rastreo incorrecto: el estado de seguimiento — Cómo los fallos del agente se ocultan en el estado transmitido entre pasos funcionales, y qué tipo de seguimiento, restricciones en tiempo de ejecución, registros de enrutamiento y evaluaciones son necesarios para capturarlo.
- Cuando un clasificador cambia silenciosamente su modelo: la necesidad de encabezados para el modelo servido — Un cambio silencioso a un modelo más económico no deja ningún error ni línea en los registros. Cómo leer los datos del modelo servido en las transcripciones de Claude Code, y por qué los proveedores deben exponerlos en las respuestas.