Observabilidad para agentes de IA empresarial con Langfuse y OCI
Por qué los registros, métricas y trazas no son suficientes para los agentes de GenAI, y cómo rastrear prompts, llamadas a herramientas, tokens y sesiones con Langfuse de código abierto en OCI Agents.
Fuentes: Observability for Enterprise AI Agents: an open-source solution
Los registros, las métricas y las trazas no le indicarán por qué un agente de IA empresarial dio una respuesta deficiente. Para comprender estos sistemas también es necesario analizar los prompts, el contexto proporcionado al modelo, las llamadas a herramientas, el uso de tokens, los tiempos de respuesta y la calidad de la salida. Este artículo explica por qué la IA generativa necesita un enfoque diferente para la observabilidad y, a continuación, muestra una configuración concreta que utiliza Langfuse, la cual se integra con los Agentes de IA Empresarial de OCI gracias a su compatibilidad con la API de respuestas de OpenAI.
Por qué es importante
El término “agente” se utiliza para cualquier flujo de trabajo que invoque uno o más modelos de lenguaje grande para generar un resultado. Esto difumina una distinción real. Un verdadero agente aporta autonomía, capacidad para utilizar herramientas y gestión de contexto, lo que conlleva una complejidad operativa mucho mayor.
Un segundo problema es aún más urgente en las empresas. La atención se dirige al “magia” de la IA, mientras que el trabajo necesario para hacer que estos sistemas funcionen de manera fiable, bajo control y con buena calidad queda descuidado. La observabilidad ocupa un lugar destacado en esa lista. Para un agente de IA generativa complejo, no se trata de un detalle técnico menor; es lo que permite comprender el comportamiento, analizar errores, evaluar la calidad de las respuestas y mantener bajo control los costos y la latencia.
La primera mitad describe qué es la observabilidad y su importancia en la IA generativa. La segunda mitad explica una configuración de código abierto fácil de ejecutar en OCI, con ejemplos de los datos que se recopilan y por qué esos datos son útiles.
Qué significa la observabilidad
La observabilidad es una propiedad de los sistemas complejos. En términos sencillos, un sistema es observable si se puede determinar su comportamiento interno a partir de las señales que emite y que se pueden recopilar y analizar. De forma más formal, dos estados internos diferentes deben ser distinguibles a partir de las señales externas. Lo que emite el sistema debe revelar de manera fiable lo que ocurre en su interior.
De esto se derivan dos consecuencias. La observabilidad es especialmente importante cuando existen muchas partes, dependencias e interacciones. Además, no basta con observar desde el exterior, ya que el sistema debe estar diseñado e instrumentado para generar información útil. Ejecutar adecuadamente algo como un agente de IA empresarial implica recopilar telemetría que revele su estado, comportamiento, anomalías y rendimiento.
Es ahí donde la observabilidad difiere del monitoreo clásico. El monitoreo responde a preguntas que se plantean de antemano, como cuánta CPU utiliza un servicio o qué tan lenta fue una solicitud. La observabilidad también debe permitir investigar sorpresas, los problemas y preguntas que nadie anticipó en el momento del diseño, a menudo denominados “lo desconocido desconocido”.
Observabilidad antes de la IA generativa
Por “sistemas tradicionales” aquí se entienden las aplicaciones desarrolladas antes de que la IA generativa se popularizara, aproximadamente antes de 2023. Su capacidad de observabilidad se basaba en tres tipos de datos: registros, métricas y trazas.
Los registros y las métricas son algo familiar. Una traza es el registro completo de una única solicitud o interacción, compuesta por segmentos que describen los pasos individuales. En una arquitectura de microservicios, una traza puede abarcar toda una transacción de la aplicación, con segmentos correspondientes a una llamada a API, una consulta a la base de datos o una llamada a un servicio externo. Para ser eficaz, este enfoque debe seguir la solicitud a través de cada componente que toca.
Para los agentes de GenAI, ese modelo clásico por sí solo no es suficiente. Además de los registros, las métricas y las trazas, también es necesario observar qué hace el modelo, qué contexto recibió, qué herramientas utilizó y cuán buenas fueron realmente sus respuestas.
Qué cambia con GenAI
El software convencional es bastante predecible. Los sistemas basados en IA generativa lo son menos, especialmente cuando tienen cierta libertad para tomar decisiones. La salida de un LLM depende de mucho más que la entrada del usuario, y todos esos factores deben ser visibles.
Una configuración de observabilidad para un sistema de LLM debe capturar al menos cuatro cosas:
- el modelo y los parámetros de la llamada
- las instrucciones y el prompt real enviado
- el contexto proporcionado, incluida la historia de conversaciones anteriores
- cómo ejecutó el sistema, abarcando las llamadas a herramientas, las salidas intermedias, la latencia y el uso de tokens
Analizar solo la respuesta final es insuficiente. Para comprender un sistema de GenAI, se debe poder reconstruir, para cada rastro, todo lo que contribuyó a la respuesta.
Eso es aún más cierto cuando el modelo cuenta con libertad operativa. Si puede elegir qué herramientas utilizar, el orden de las acciones, qué fuentes consultar o cuándo detenerse, entonces los prompts y las salidas no son suficientes. Es necesario observar el proceso de toma de decisiones en sí, incluyendo la secuencia de llamadas a las herramientas, los tiempos y los resultados intermedios.
Incluso un seguimiento completo a menudo no puede indicar si la salida es de calidad. Para ello, generalmente se necesitan puntuaciones asociadas a cada seguimiento. Estas pueden provenir de la lógica convencional o de otro LLM, la técnica ahora común de “LLM como juez”.
Considere evaluar una respuesta RAG. Puede ser parcialmente correcta o parecer plausible sin estar respaldada por las fuentes recuperadas. Entonces debe distinguir al menos dos aspectos: la causa raíz, como la recuperación de información, el reordenamiento o la generación, y el fundamento, es decir, si la respuesta se basa realmente en los documentos recuperados. Las verificaciones de fundamento revelan afirmaciones sin sustento y, por lo tanto, posibles alucinaciones.
Todo esto significa que una plataforma genérica de observabilidad no es suficiente para la GenAI. Necesita una herramienta que capture esta información de forma nativa y mantenga los esfuerzos de instrumentación al mínimo. La verdadera diferencia radica en el alcance: para la GenAI, además de monitorear la infraestructura y la velocidad como antes, también debe observar el contexto que vio el modelo, las decisiones que tomó, la calidad de lo que produjo y cuán consistente es su comportamiento.
De la teoría a una configuración funcional
Por lo tanto, la capacidad de observabilidad para los agentes empresariales debe incluir indicaciones, contexto, llamadas a herramientas, tiempos de respuesta, consumo de tokens, calidad de la salida y las causas probables de errores o respuestas deficientes, además de las señales clásicas. La pregunta práctica es cómo obtener todo eso de manera sencilla y eficaz que se adapte a un entorno empresarial. La solución presentada a continuación es de código abierto y fácil de adoptar en OCI.
Langfuse
Entre las herramientas de código abierto para la observabilidad de LLM y agentes, Langfuse destaca. Es una plataforma para el rastreo, la observabilidad y la evaluación (puntuación) de aplicaciones basadas en LLM, y abarca la mayor parte de los datos mencionados anteriormente: prompts, resultados, rastreos, metadatos, tiempos de respuesta, uso de tokens, llamadas a herramientas y puntuaciones de evaluación. Es más que un servicio de registro. Le brinda una perspectiva estructurada sobre el comportamiento real de una aplicación de GenAI, organizada en torno a rastreos y sesiones en lugar de un flujo plano de líneas de texto que alguien tiene que buscar manualmente.
Por qué OCI facilita la integración
OCI Enterprise AI Agents ofrece una API completamente compatible con la OpenAI Responses API. Esto es importante no solo por comodidad, sino porque permite reutilizar las herramientas, bibliotecas y patrones de desarrollo del amplio ecosistema compatible con OpenAI. En el caso de Langfuse, reduce significativamente el trabajo necesario para recopilar telemetría de las llamadas a los modelos y crear la capa de observabilidad, de modo que se dedica más tiempo al análisis y menos a tareas técnicas. Esa es una de las razones principales por las que OCI y Langfuse funcionan bien juntos en entornos empresariales.
Un despliegue rápido de prueba de concepto
Para una prueba de concepto, Langfuse se instala fácilmente en OCI, por ejemplo en una máquina virtual Linux, utilizando el despliegue oficial de Docker Compose del repositorio de Langfuse. Esa no es necesariamente la arquitectura final para un entorno empresarial de nivel producción. Es más que suficiente para validar la idea, recopilar telemetría real y ver qué análisis es posible tras la integración. En la práctica, permitió crear rápidamente una plataforma funcional, accesible desde un navegador y lista para recibir datos de aplicaciones LLM en Python.
Conexión del código
Con una instancia de Langfuse en ejecución, el siguiente paso es instrumentar la aplicación para que la telemetría de las llamadas al modelo fluya de forma automática. Gracias a la compatibilidad con la API Responses, esto es sencillo para las aplicaciones en Python ya escritas utilizando llamadas al estilo de OpenAI. La aplicación sigue llamando al modelo como siempre lo ha hecho, y Langfuse registra los detalles importantes.
Los cambios son pequeños:
- Establecer algunas variables de entorno.
- Utilizar el cliente proporcionado por la biblioteca Langfuse, que ya está instrumentado para recopilar y enviar registros de actividad.
- Passar el
conversation_idcomosession_id, de modo que las solicitudes de una misma conversación queden vinculadas en la misma sesión. - Opcionalmente, forzar un envío inmediato de los registros de actividad. De lo contrario, se envían automáticamente después de unos segundos.
Qué se recopila
Después de la integración, Langfuse recopila automáticamente mucha información útil. Para los agentes, eso incluye algo más que las entradas y salidas del modelo. También abarca el flujo de ejecución, con intervalos intermedios, llamadas a herramientas y tiempos que ayudan a reconstruir cómo se obtuvo un resultado.
Los elementos más relevantes son:
- el modelo y su versión
- la solicitud enviada
- la salida generada
- los metadatos asociados a la llamada
- la estructura del seguimiento y sus intervalos
- las mediciones de latencia, incluidas las visibles para el usuario como el tiempo hasta el primer token
- el conteo de tokens de entrada y salida, que sirven para el análisis de costos
- las llamadas a herramientas y sus detalles
- las puntuaciones y evaluaciones vinculadas al seguimiento
No todo lo útil llega automáticamente, y eso está previsto así, ya que la plataforma no puede saber qué considera su negocio como una buena respuesta. Las puntuaciones específicas del dominio, los indicadores personalizados y los metadatos empresariales pueden, y a veces deben, ser añadidos por la aplicación. La combinación de recopilación automática y enriquecimiento intencional es lo que hace que la herramienta sea eficaz.
Sesiones
Langfuse puede vincular múltiples registros de una misma sesión de usuario a través de un session_id. En esta configuración, la conversación se identifica mediante el conversation_id estándar de la API de respuestas, por lo que al establecer session_id igual a este valor se correlacionan todas las solicitudes de la misma conversación. Luego se pueden explorar las sesiones en la interfaz de usuario, donde cada una contiene varios registros.
Explorando un registro
Los resultados se muestran durante el análisis. La interfaz de Langfuse permite explorar cada interacción en detalle, sacando a la luz elementos que de lo contrario estarían dispersos entre los registros de la aplicación, los metadatos sueltos y el código. Para una única traza se puede ver el prompt enviado realmente, el modelo, sus parámetros, los tiempos de ejecución, los tokens consumidos, la secuencia de las llamadas y las salidas en cada etapa. Esto es especialmente importante al investigar comportamientos extraños, problemas de latencia, costos crecientes o respuestas de calidad insatisfactoria. Por ejemplo, una respuesta lenta podría deberse a una larga cadena de llamadas a herramientas, un prompt excesivamente largo o un primer token lento, y cada uno de estos casos requiere una solución diferente. Sin los tiempos a nivel de span y los conteos de tokens presentados juntos, tendría que adivinar cuál es el problema.
Un hábito práctico que se deriva de esto es tratar cada conversación como algo que se puede reproducir más tarde. Cuando un usuario reporta una respuesta deficiente una semana después, la vista de la sesión permite abrir los registros exactos, leer la consulta y el contexto reales y ver qué herramienta devolvió qué, en lugar de intentar recrear la situación a partir de la memoria.
Límites a tener en cuenta
Adoptar Langfuse no resuelve todos los desafíos de observabilidad y evaluación en un sistema de GenAI. Los registros detallados cargados de contexto son necesarios, pero no siempre suficientes. Las puntuaciones más útiles suelen depender del dominio de la aplicación y deben diseñarse intencionadamente. Además, los entornos empresariales reales exigen una reflexión cuidadosa sobre la seguridad, los datos sensibles, el almacenamiento de telemetría, el control de acceso y la arquitectura de despliegue.
Aun así, una plataforma de código abierto sumada a la total compatibilidad de API de OCI constituye un punto de partida sólido para una solución concreta de observabilidad para agentes empresariales.
Conclusión
Para los agentes de IA empresariales, la observabilidad no es un detalle técnico ni un complemento opcional. Es una condición previa para comprender el comportamiento, analizar errores, evaluar la calidad de las respuestas y reducir los tiempos de respuesta y los costos operativos. Observar la infraestructura, los registros de las aplicaciones y las métricas estándar no es suficiente. También se necesitan datos mucho más cercanos a lo que hace el agente: instrucciones, contexto, llamadas a herramientas, consumo de tokens, latencia percibida por el usuario y puntuaciones de evaluación.
Langfuse es una opción de código abierto especialmente interesante, ya que captura y organiza una gran parte de esa telemetría, y la API compatible con OpenAI en OCI Enterprise AI Agents facilita su integración. Sin embargo, ninguna plataforma puede resolverlo todo por sí sola. La seguridad, la gobernanza, el manejo de datos sensibles y el diseño de puntuaciones específicas para cada dominio siguen siendo esenciales.
Si estos agentes van a trascender las demostraciones y convertirse en componentes fiables de sistemas reales, la observabilidad no puede quedar en un segundo plano. Su complejidad no puede eliminarse, pero sí puede y debe hacerse visible.
Una continuación lógica es enriquecer las trazas con puntuaciones que midan la calidad de manera más sistemática, en particular aquellas generadas por un modelo de lenguaje como juez, de modo que cada traza incluya evaluaciones de la calidad de la respuesta junto con los datos técnicos de ejecución.
Leer más
- Cómo el almacenamiento del navegador daña silenciosamente la data del usuario y cómo prevenirlo — Las actualizaciones perdidas, las capturas obsoletas, la desviación del esquema y las fugas en dispositivos compartidos pueden dañar los datos de localStorage sin generar ningún error. Patrones para la gestión de derechos de propiedad, la versionado y la validación.
- Notas prácticas: Sistemas RAG: La guía completa de principiante a experto (edición 2026) — Guía paso a paso de las Notas prácticas: Sistemas RAG: La guía completa de principiante a experto (edición 2026): contratos, verificaciones y espacios para código listos para usar para los equipos que implementan este patrón.