Artículos para quien
entrega el stack
Textos sobre React, Node.js, TypeScript y AI. El cuerpo traducido se muestra cuando existe. Si no, ve el texto en inglés y una nota que lo dice.
Etiqueta: Reliability
Por qué las puntuaciones de precisión de los agentes engañan: pass^k, perturbaciones e inyección de fallos
Por qué pass@1 oculta a los agentes de IA poco fiables, y cómo pass^k, los conjuntos de perturbación de entrada y la inyección de fallos revelan brechas en consistencia, estabilidad y tolerancia a fallos.
9 min de lecturaEl Agente Desprotegido: Qué se rompe cuando nada protege al modelo.
Construye el mismo agente de viajes sin protección en el Claude Agent SDK y LangChain Deep Agents, y luego observa tres fallos para identificar qué controles de manejo faltan.
9 min de lecturaPor qué los agentes de IA en producción necesitan más que un buen prompt
Los agentes de IA de producción necesitan algo más que un buen prompt: contexto, herramientas, memoria, manejo de fallos, capacidad de observación, pruebas y autonomía acordes al riesgo real.
7 min de lecturaPrueba de un mecanismo de control que vuelve a intentar la acción final incorrecta de un agente.
Un experimento con 30 casos: un juez basado en un LLM más una repetición redujeron las acciones de soporte incorrectas de 6 a 2, y por qué detectar una violación no siempre implica que el agente la corrija.
7 min de lecturaPor qué es el Agent Harness, y no el modelo, quien decide qué se vuelve real.
Una actualización del CRM con tiempo límite muestra por qué los agentes necesitan contratos de herramientas, estados de resultado desconocido, reintentos idempotentes y verificación de finalización, además de controles que vale la pena mantener.
6 min de lecturaAntes de que un agente de IA obtenga autorización para producción: contratos, gráficos de reclamaciones, pruebas en sombra y canarios
Un proceso de lanzamiento basado en pruebas para agentes de IA: contratos delimitados, escenarios con estado, inyección de fallos, límites de incertidumbre, canarios por fases y promoción impuesta por la máquina.
23 min de lecturaConjunto de herramientas, bucle, grafo: tres capas detrás de la mayoría de los fallos de los agentes en producción.
Las fallas en los agentes de producción rara vez provienen del modelo. Separe el conjunto de herramientas, la condición de detención del bucle y la topología del grafo LangGraph; cada uno tiene un responsable.
24 min de lecturaPor qué los agentes que impresionan en las demostraciones fallan en producción, y qué construir en su lugar.
Por qué los agentes de IA que impresionan en las demostraciones fallan en producción: dónde se rompen, los compromisos entre agente único y múltiples agentes, las reintentos y soluciones alternativas, y el verdadero costo operativo.
9 min de lecturaEvaluación de agentes con un bot de viajes: resultado frente a trayectoria, puertas y pass^k
Un ejemplo práctico de reserva de viajes para evaluar agentes: ejes de resultado y trayectoria, puertas deterministas antes de las puntuaciones ponderadas, una matriz 2x2 y pass@k frente a pass^k.
8 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.