Artículos para quien
entrega el stack
Textos originales sobre React, Node.js, TypeScript y AI — de la misma práctica que nuestro software de operador. Cuerpo de los artículos en inglés.
Etiqueta: Testing
¿Quién califica al calificador? Validación de los conjuntos de evaluación de agentes antes de confiar en ellos.
¿Quién valida el conjunto de pruebas de evaluación? La deriva en los jueces, la puntuación basada únicamente en los resultados, los modos de fallo privados y los costos ocultos pueden hacer que las evaluaciones de los LLM mientan. Se realizan verificaciones del propio conjunto de pruebas.
7 min de lectura¿Por qué los agentes pasan todas las pruebas offline y aún fallan en producción?
Seis modos de deriva envejecen silenciosamente un conjunto de evaluación. Una puntuación de seguimiento de cuatro ejes y un bucle semanal de agrupamiento y promoción mantienen la fiabilidad de los resultados frente a lo que realmente hace el tráfico en tiempo real.
9 min de lecturaQué cambia en las pruebas con agentes para el control de calidad y en qué aspectos sigue siendo insuficiente.
Los conjuntos programados y autoreparables fallan cuando cambia la interfaz de usuario. Los agentes de navegador basados en intenciones reducen el mantenimiento, pero los flujos regulados y las interfaces de usuario inusuales aún requieren atención.
7 min de lecturaNotas prácticas: Ingeniería de agentes de IA fiables: Construcción de evaluaciones para producción
Guía paso a paso operativa de las notas prácticas: Ingeniería de agentes de IA fiables: Construcción para producción, evaluación, contratos, verificaciones y espacios de código listos para uso destinados a los equipos que implementan este patrón.
10 min de lectura¿Playwright o agentes de navegador? Donde la automatización por scripts sigue siendo la mejor opción.
Guiones de Playwright frente a agentes de navegador impulsados por MCP: fragilidad, determinismo y costo, una tarea de facturación realizada de ambas maneras, los riesgos de seguridad y cuándo gana cada uno.
8 min de lecturaPruebas de navegadores front-end que son fiables: rutas de usuario, afirmaciones y pruebas inestables.
Un enfoque práctico para las pruebas front-end: elegir rutas de usuario críticas, redactar afirmaciones de resultados, controlar los datos de entorno de pruebas, reducir la inestabilidad y revisar las pruebas generadas por IA con Playwright.
8 min de lecturaEvaluación de agentes con un bot de viajes: resultado frente a trayectoria, puertas y pass^k
Un ejemplo práctico de reserva de viajes para evaluar agentes: ejes de resultado y trayectoria, puertas deterministas antes de las puntuaciones ponderadas, una matriz 2x2 y pass@k frente a pass^k.
8 min de lecturaEvaluaciones de agentes y habilidades en la práctica: trayectorias, calificadores, pass^k y herramientas
Cómo evaluar agentes y habilidades: conjuntos de activación y ejecución, orden de precisión de los calificadores, precisión y recuperación, pass@k frente a pass^k, un pequeño framework en Python y selección de herramientas.
11 min de lecturaRecuperación semántica con ChromaDB y embeddings para una plataforma multiagente
Pasando una plataforma empresarial multiagente a una recuperación semántica real: segmentación consciente de palabras, distancia de coseno en ChromaDB, capas de prueba y el siguiente paso de RetrievalAgent.
10 min de lectura
Sobre estos artículos
Presupuesto en 24 h
¿Necesitas el mismo stack en una capa de operador? Envía el brief — presupuesto en 24 h.