Как проверить, что ИИ-агент не ошибается: оценки и проверка человеком

Искусственный интеллект, который читает документы или отвечает на вопросы, иногда будет допускать ошибки. Важный вопрос заключается не в том, делает ли он ошибки, а в том, как часто, в каких случаях, и замечает ли это кто-нибудь до того, как ошибка попадёт к клиенту или в учётные записи. Для ответа на этот вопрос требуются два элемента: набор для оценки, которому вы доверяете, и этап проверки, встроенный в рабочий процесс.

Начните с тестового набора на основе собственных данных

Универсальные критерии оценки показывают, как модель справляется с задачами других. Они мало что говорят о сертификатах поставщиков или шаблонах контрактов. Первым результатом любой серьёзной автоматизации с использованием ИИ должен стать тестовый набор, составленный на основе реальных случаев:

• 50–200 реальных примеров в качестве старта, больше — для процессов с большим количеством типов документов;
• правильный ответ для каждого примера, записанный человеком, который выполняет работу в настоящее время;
• Целенаправленно включены сложные случаи: плохие сканы, рукописные записи, отсутствующие поля, документы на другом языке, два документа, скрепленные в один PDF;
• Примечание о том, какие ошибки сопряжены с серьезными последствиями, а какие лишь вызывают неудобства.

Персональные данные в наборе для тестирования должны быть сведены к минимуму или замаскированы, а сам набор храниться с теми же правилами доступа, что и исходные документы.

Измеряйте то, что действительно важно

Одна цифра точности скрывает те сбои, которые вас интересуют. Разбейте результат на составляющие:

• Правильность на уровне полей при извлечении данных: были ли правильно прочитаны номер счета-фактуры, дата, сумма, ставка НДС?
• Проверка правил при выполнении задач на анализ: обнаружил ли агент истекший сертификат, отсутствующую подпись, срок оплаты, отличающийся от условий контракта?

Ложные сигналы: сколько корректных документов было отмечено как таковые. Если их слишком много, люди перестают обращать внимание на эти отметки.

Воздержание: как часто агент отвечал «не уверен», вместо того чтобы догадываться. Хорошо спроектированный агент воздерживается от принятия решений в тех случаях, с которыми он не может справиться.

Правила, которые можно проверить с помощью кода, следует проверять именно с помощью кода. Если вопрос заключается в том, «находится ли дата сертификата в будущем», необходимо сравнить даты в программе, используя модель лишь для поиска даты в документе. Это уже позволяет устранить целый класс ошибок.

Проводите оценку после каждой изменения

Подсказки, модели, настройки OCR и код обработки постоянно меняются на протяжении всего срока существования проекта. Каждая изменение может решить пять проблем, но вызвать три новые. Набор данных для оценки должен автоматически запускаться перед тем, как любые изменения будут внедрены в производство, причем результаты сравниваются с предыдущей версией. Если показатели ухудшаются, изменения откладываются.

То же самое касается смены моделей. Более новая или дешевая модель не обязательно лучше для обработки ваших документов. Сначала запустите тестирование, сравните результаты, а затем примите решение.

Размещайте человека там, где есть риск

Человеческий контроль — это не признак неудачи автоматизации. Это способ воспользоваться преимуществами автоматизации, не рискуя всем бизнесом из-за одной модели. Практическая схема:

• результаты, превышающие установленный порог надежности и прошедшие все проверки по правилам, автоматически принимаются к рассмотрению или направляются на быструю дополнительную проверку;
• Результаты, не подтвержденные с уверенностью, неудачные проверки и случаи с высокой ценностью попадают в очередь на пересмотр, где рядом с извлеченными данными отображается исходный документ;
• Каждое одобрение и корректировка фиксируются с указанием того, кто их совершил, и когда;
• Корректировки возвращаются в набор тестов, так что следующая оценка будет включать случай, в котором возникли ошибки.

Пороговое значение является деловым решением. Начните с строгих требований, измерьте, насколько реально изменяют данные рецензенты, и снизьте их только тогда, когда есть подтверждающие цифры.

Наблюдение в режиме работы

Реальные данные постоянно меняются: поставщик изменяет свои шаблоны, сканер заменяется, появляются новые типы документов. Мониторинг для ИИ-агента должен показывать как минимум долю документов, отправленных на проверку, долю корректировок, внесенных проверяющими, ошибки обработки и срывы временных ограничений, а также возраст старейшего элемента в очереди. Повышение частоты корректировок обычно является первым признаком того, что где-то на этапе предварительной обработки произошли изменения.

Как должно выглядеть качественное решение

С помощью данных из собственных систем вы можете указать, с какой частотой агент прав в отношении каждого поля и каждого правила, что происходит с случаями, когда он ошибается, и как вы будете замечать изменения в этом аспекте. Если поставщик не может этого показать, перед вами демо-версия, а не производственная система.

Мы создаем этый слой в рамках нашего сервиса от демо-версии до продакшена и в составе ИИ-агентов для анализа документов. Чтобы узнать, кто отвечает за его создание и владение с организационной точки зрения, ознакомьтесь с статьей что такое инженер с передовым развертыванием.