Qué cambia en las pruebas con agentes para el control de calidad y en qué aspectos sigue siendo insuficiente.
Los conjuntos programados y autoreparables fallan cuando cambia la interfaz de usuario. Los agentes de navegador basados en intenciones reducen el mantenimiento, pero los flujos regulados y las interfaces de usuario inusuales aún requieren atención.
Fuentes: The Rise of Agentic Testing
Con las pruebas basadas en agentes, un agente del navegador recibe el objetivo de la prueba y determina por sí mismo los pasos a seguir. El probador describe el comportamiento esperado y los criterios de aprobación, evitando escribir scripts para cada clic. Un conjunto de pruebas basado en scripts falla cuando el DOM cambia, mientras que las herramientas de autoreparación simplemente corrigen el localizador dañado antes de ejecutar nuevamente la misma secuencia. El agente planifica su ruta de nuevo en cada ejecución, por lo que un cambio en la interfaz de usuario ya no implica la reparación de selectores. Decidir qué se considera correcto está más allá de sus capacidades, y esa tarea sigue siendo responsabilidad de quien gestiona el lanzamiento.
Por qué las pruebas se han vuelto más difíciles
En 2019 apareció un patrón extraño: los pipelines verdes impecables seguían enviando un feed de desplazamiento infinito que repetía las mismas diez a veinte filas una vez que el usuario pasaba a la segunda página. La mayoría de las personas que han dirigido labores de control de calidad durante unos años pueden contar una historia similar.
Las pruebas han estado bajo presión desde hace tiempo, y durante un periodo los equipos simplemente aplicaban parches sin preguntar qué había cambiado. Sin embargo, varias cosas sí cambiaron: las versiones se lanzaron más rápidamente, las interfaces pasaron de ser HTML estático a componentes de React que se vuelven a renderizar con cada actualización de estado, y las banderas de funcionalidad permitieron que la mitad de los usuarios vieran pantallas que el conjunto de pruebas nunca había visto.
“Pruebas agenciales” surgió como la solución del sector. Lo que sigue no tiene como objetivo promover este término. Analiza por qué las pruebas se volvieron más difíciles, qué debería significar realmente “agencial”, por qué es importante para quienes realizan el trabajo y dónde falla. Está dirigido a todo aquel que escribe y revisa pruebas, o que es responsable del lanzamiento cuando algo falla a las 2 a.m.
Velocidad de lanzamiento
Un ciclo de lanzamiento semanal deja tiempo para mantener un conjunto de pruebas en buen estado. Los despliegues diarios no lo permiten, y una vez que un equipo lanza el código cada vez que se fusiona un PR, el conjunto de pruebas no puede esperar a una limpieza los viernes. Debe estar listo para producción en todo momento.
Interfases más complejas
Las interfaces de usuario complicadas se vuelven cada vez más difíciles de manejar, especialmente cuando los componentes se generan a gran velocidad. Un selector que funcionaba en un formulario construido a mano puede dejar de funcionar el día en que MUI reemplaza ese formulario con Autocomplete, ya que el DOM renderizado, el comportamiento de enfoque y el orden de los eventos cambian por completo.
El costo de mantenimiento
Luego está el costo del cual la gente rara vez habla:
- Una prueba con Playwright que pasa localmente pero falla en CI porque un spinner de carga permanece visible 100 ms más de lo necesario.
- Un localizador vinculado al tercer hijo de un contenedor flex, que deja de funcionar cuando un diseñador agrega un botón más.
- Se perdió medio sprint en actualizar los selectores después de lo que se presentó como “solo una limpieza de la interfaz”.
Siempre hay alguien que termina haciendo esa limpieza, aunque en realidad nunca fue su tarea.
La respuesta instintiva es escribir aún más pruebas. Eso no genera confianza. Más pruebas programadas significan más cosas que mantener, y cada flujo nuevo se convierte en otra automatización que debe sobrevivir al siguiente cambio en la interfaz, lo que probablemente la hará obsoleta. En algún momento comienza a parecer que el conjunto de pruebas está trabajando en contra de uno.
Qué significa “agente”
La palabra se usa de manera tan informal que necesita una definición antes de seguir adelante.
Una prueba basada en scripts sigue un conjunto de instrucciones en un orden fijo. Cuando las circunstancias se desvían de ese plan, la prueba resulta inútil. La automatización autoreparadora mejora esta situación al reparar localizadores dañados o volver a intentar clics ambiguos, pero sigue ejecutando un script escrito con antelación.
Las pruebas con agentes son diferentes. Los agentes de software vigilan el estado de la aplicación y deciden qué acción tomar a continuación, sin que nadie supervise cada paso. En la práctica, el probador proporciona las intenciones sin detallar cada interacción. En lugar de docenas de líneas de código de Playwright o Selenium, un comando puede solicitar al agente que verifique si un cliente existente puede cambiar su método de pago sin modificar su dirección.
Eso no significa que el agente entienda bien el producto. Significa que cuenta con suficiente contexto para actuar dentro de él. No puede reemplazar el juicio de los ingenieros. Puede completar un proceso de compra sin darse cuenta de que nunca se aplicó un descuento por fidelidad, o marcar como error de precio un pedido legítimo de $0.00 cuando en realidad se trataba simplemente de una tarjeta regalo canjeada.
Por lo tanto, las personas siguen decidiendo qué se considera correcto, buscando casos límite críticos y juzgando si un fallo es un defecto o solo una mala interpretación de cómo debería comportarse la aplicación. El trabajo diario también cambia: se dedica menos tiempo a la redacción y más a revisar lo que propuso el agente y a decidir dónde se necesita más cobertura o un análisis más detallado.
Desvío en la interfaz de usuario
El desvío en la interfaz de usuario ha sido durante mucho tiempo uno de los mayores problemas. Renombrar un botón de “Continuar” a “Siguiente”, o sustituir un menú desplegable por un cuadro de combinación durante una verificación de accesibilidad, puede desencadenar una serie de fallos incluso cuando la aplicación funciona correctamente.
Algunas plataformas de pruebas de IA abordan esto de manera diferente. Monitorean los recorridos reales de los usuarios y crean un modelo pantalla por pantalla de cómo las personas navegan por la aplicación, incluyendo qué hace cada página o acción. Las pruebas se generan a partir de ese modelo y no de una captura frágil del DOM.
Las pruebas en sí se ejecutan basadas en la intención. Una prueba se escribe como una declaración de lo que debería suceder y qué se considera correcto, y el agente navega por la interfaz como una persona real, haciendo clic y comparando el resultado con las expectativas establecidas.
Nada de esto excluye a las personas del proceso. Los miembros del equipo siguen decidiendo qué flujos de trabajo son los más importantes, definiendo qué significa “correcto” para la empresa y analizando las áreas que requieren conocimiento del producto y no solo conocimiento de la interfaz.
Cómo cambia el trabajo
Cuando se dedica menos tiempo a reparar automatizaciones defectuosas, el propio trabajo cambia. Las horas que antes se invertían en arreglar localizadores o editar scripts frágiles pueden destinarse a ampliar la cobertura, revisar riesgos y detectar problemas que la automatización por sí sola no detecta.
Escribir selectores precisos para Selenium o recordar las API de Playwright ya no es una habilidad escasa. Lo que realmente importa es el juicio. Eso significa saber qué trayectorias de los usuarios merecen la mayor atención, comprender dónde un fallo genera un riesgo real para el negocio y detectar cuándo una prueba generada pasa técnicamente pero no aborda lo que realmente importa. Esas siempre han sido las partes más difíciles de las pruebas, y los equipos simplemente nunca han tenido tiempo para ellas.
Este cambio también modifica el significado de la calidad para los gerentes de ingeniería. Contar las pruebas ejecutadas o los scripts escritos nunca fue una medida fiable de confianza, y un conjunto más amplio de pruebas no garantiza una mejor cobertura, especialmente si la mitad de ellas son inestables o se ignoran tras cambios en la interfaz de usuario. Estas preguntas son más útiles:
- ¿Con qué rapidez se puede validar un lanzamiento?
- ¿Qué nivel de confianza tiene el equipo antes de lanzar?
- ¿Cuál será el costo para mantener esa confianza a lo largo del tiempo?
Dónde falla
Las pruebas basadas en agentes no reemplazan a todas las formas de automatización, y fingir que lo hacen causa daños. Tres casos destacan.
Entornos regulados. En la salud y las finanzas tecnológicas, la ejecución suele tener que ser determinista, con registros de auditoría y pruebas de que una prueba funciona de la misma manera en cada ejecución. El comportamiento adaptativo puede entrar en conflicto con esto. Las secuencias que nunca deben desviarse requieren pasos programados de forma explícita que fallen de manera evidente ante cualquier cambio y dejen rastros legibles de las acciones y razones del agente. Una buena plataforma permite al equipo establecer hasta qué punto puede adaptarse cada prueba.
Seguridad en la producción. Pocos equipos desean que un agente autónomo circule por un entorno en funcionamiento con permiso para realizar pedidos, editar registros de clientes o crear datos de prueba en producción. La mayoría de las organizaciones abordan esto mediante entornos de pruebas aislados, cuentas desechables y permisos estrictamente controlados.
Interfases difíciles de leer. Las aplicaciones desarrolladas con técnicas de arrastrar y soltar, renderizado en lienzo o flujos de trabajo internos altamente personalizados no siempre proporcionan al agente las indicaciones necesarias. La automatización dirigida y la supervisión humana siguen siendo útiles en estos casos.
Los diferentes problemas de pruebas requieren herramientas distintas, y estas tres no son adecuadas para las pruebas con agentes, al menos por ahora.
Comenzando
El problema fundamental es que ahora el software se lanza más rápido de lo que la automatización puede seguirle el ritmo, y los agentes de control de calidad cambian eso. Los ingenieros ya no escriben scripts para cada acción; en su lugar definen la intención, revisan lo que propone el agente e intervienen cuando se necesita juicio humano, mientras el sistema se adapta a lo que haga la interfaz de usuario a continuación.
Quienes estén considerando esta opción no deberían empezar reemplazando todo el conjunto de herramientas. Elijan un flujo de trabajo crítico para el negocio que cambie con frecuencia, como el proceso de pago o la onboarding, y comparen el esfuerzo de mantenimiento a lo largo de varios ciclos de lanzamiento. Eso permitirá tener una idea realista de si funciona para el equipo.
Preguntas frecuentes
¿Es lo mismo que la autoreparación? No. La autoreparación repara pruebas programadas, mientras que las pruebas con agentes persiguen un objetivo y no siguen ningún script preescrito.
¿Reemplaza a los ingenieros de QA? No. Reduce el mantenimiento de las pruebas, pero los ingenieros siguen definiendo las reglas de negocio, validando los resultados e investigando las fallas.
¿Puede ejecutarse junto a un conjunto existente? Sí. La mayoría de los equipos comienzan ejecutando ambos y comparando el esfuerzo de mantenimiento a lo largo del tiempo.
¿Es útil para flujos críticos de cumplimiento? Sí, siempre que haya controles adecuados. Dichos flujos pueden ejecutar pasos explícitos con un seguimiento completo de las acciones del agente, de modo que las pruebas críticas permanezcan deterministas y auditables, mientras que las pruebas restantes pueden adaptarse libremente.
Leer más
- Ornith-1.0: Modelos de codificación de peso abierto de 9B a 397B bajo licencia MIT — Qué logra la versión Ornith-1.0 en las pruebas SWE-Bench y Terminal-Bench, cómo entrena el marco con la solución, y qué podría significar para los agentes de codificación cerrados.
- Analitica agente en la práctica: Un Slackbot, una capa semántica y la opción de comprar o desarrollar — El relato de un científico de datos sobre cómo crear un Slackbot que permite interactuar con los datos, cómo implementarlo, escalar la capa semántica, adquirir Omni y por qué fueron importantes la adopción y las habilidades.