Cómo verificar que un agente de IA no está equivocado: evaluaciones y revisión humana

Un agente de IA que lee documentos o responde preguntas cometerá errores en ocasiones. La pregunta importante no es si comete errores, sino con qué frecuencia, en qué casos, y si alguien se da cuenta antes de que el error llegue a un cliente o a los registros contables. Para responder a esto se necesitan dos cosas: un conjunto de evaluación en el que confíes y un paso de revisión integrado en el flujo de trabajo.

Comienza con un conjunto de pruebas a partir de tus propios datos

Los puntos de referencia genéricos te indican cómo rinde un modelo en tareas de otros. Dicen poco sobre los certificados de tus proveedores o tus plantillas de contrato. El primer resultado esperado de cualquier automatización de IA seria debe ser un conjunto de pruebas creado a partir de casos reales:

• De 50 a 200 ejemplos reales como punto de partida, más en procesos con muchos tipos de documentos;
• La respuesta correcta para cada uno, anotada por la persona que realiza el trabajo actualmente;
• casos difíciles incluidos intencionadamente: escaneos de mala calidad, notas manuscritas, campos faltantes, documentos en otro idioma, dos documentos grapados en un único PDF;
• una nota que indique qué errores son costosos y cuáles son simplemente molestos.

Los datos personales en el conjunto de prueba deben minimizarse o enmascararse, y el conjunto en sí debe almacenarse con las mismas reglas de acceso que los documentos originales.

Mida lo correcto

Un único número de precisión oculta los fallos que realmente importan. Desglose el resultado:

• Exactitud a nivel de campo para la extracción: ¿se leyeron correctamente el número de la factura, la fecha, el monto y la tasa del IVA?
• Verificaciones de reglas para las tareas de revisión: ¿el agente marcó el certificado vencido, la firma faltante o el plazo de pago que difiere del contrato?

Alarmas falsas: cantidad de documentos correctos que fueron marcados. Si son demasiadas, la gente deja de prestar atención a las marcas.

Abstención: frecuencia con la que el agente respondió “no estoy seguro” en lugar de adivinar. Un agente bien diseñado se abstiene en los casos que no puede manejar.

Las reglas que se pueden verificar con código deben hacerse mediante código. Si la pregunta es “¿la fecha del certificado es futura?”, compare las fechas en un programa y utilice el modelo únicamente para encontrar la fecha en el documento. Eso por sí solo elimina toda una categoría de errores.

Ejecutar la evaluación con cada cambio

Los prompts, los modelos, la configuración de OCR y el código de análisis cambian a lo largo de la vida útil de un proyecto. Cada cambio puede solucionar cinco casos y causar problemas en otros tres. El conjunto de evaluación debe ejecutarse automáticamente antes de que cualquier cambio se aplique en producción, y su resultado debe compararse con la versión anterior. Si la calificación disminuye, el cambio debe esperar.

Lo mismo ocurre al cambiar de modelo. Un modelo más reciente o más económico no es necesariamente mejor para los documentos. Ejecuta el conjunto de pruebas, compara los resultados y luego toma una decisión.

Coloca a una persona donde está el riesgo

La revisión humana no indica que la automatización haya fallado. Es la forma de aprovechar los beneficios de la automatización sin arriesgar la empresa con un modelo en particular. Una configuración práctica:

• Los resultados que superen un umbral de confianza acordado y que hayan pasado todas las verificaciones de reglas se procesan automáticamente, o se someten a una verificación rápida;
• Los resultados inciertos, las verificaciones fallidas y los casos de alto valor van a una cola de revisión, donde el documento original se muestra junto a los datos extraídos;
• Cada aprobación y corrección se registra indicando quién la realizó y cuándo;
• Las correcciones se reintegran al conjunto de pruebas, de modo que la siguiente evaluación incluya el caso que presentó errores.

El umbral es una decisión empresarial. Comience con un nivel estricto, mida cuánto cambian realmente los revisores y solo lo relaje cuando los datos lo justifiquen.

Observarlo en producción

El flujo real de datos varía. Un proveedor cambia su plantilla, se reemplaza un escáner o aparece un nuevo tipo de documento. La supervisión por parte de un agente de IA debe mostrar al menos la proporción de documentos enviados a revisión, la proporción de correcciones realizadas por los revisores, los errores de procesamiento y los tiempos de espera, además de la antigüedad del elemento más antiguo en la cola. Un aumento en la tasa de correcciones suele ser la primera señal de que algo en la etapa previa ha cambiado.

Qué significa una buena solución

Puede responder, con datos propios, con qué frecuencia el agente tiene razón en cada campo y cada regla, qué ocurre con los casos en los que se equivoca y cómo se dará cuenta de cualquier cambio. Si un proveedor no puede demostrarle esto, está viendo una demostración y no un sistema en producción.

Construimos esta capa como parte de nuestro servicio de demostración a producción y en los agentes de IA para revisión de documentos. Para conocer quién la desarrolla y a quién pertenece desde el punto de vista organizacional, consulte qué es un ingeniero desplegado de forma avanzada.