Як пераканацца, што AI-агент не памыляецца: ацэнкі і перагляд чалавекам

АІ-агент, які чытаюць дакументы або адпавядаюць на запытанні, іноды будуць робіць памылкі. Важлівы не тое, чыргуе ён памылкі, а тое, як часта гэта трапляецца, у якіх случаях, і чы гэта хтось зазначае прытым, калі памылка дася да ведома кліенту або у бухгалтерскіх дакументах. Чырагуець на гэтыя запытанні трэба два элемента: набор дадзеных, якім вы давайце доверы, і етап перагляду, які ўключаны ў процес работы.

Пачніце з набора тэстоў на базе вашых сабеўных дадзеных

Універсальныя критэрыя паказваюць, як працюе модель на заданнях іншых людзей. Але яны мало чым паведамляюць пра вашы сертыфікаты прадавца або шаблоны контрактав. Першы результат будь-якай серйознай АІ-автаматызацыі павінен быць набор тэстоў, створаны на базе рэальных случаў:

• 50–200 рэальных прыкладоў для пачатку, больш — для процэсаў з вялікай колькасцю типаў дакументаў;
• правільны адпаведзень для кожнага, запісаныя людзьмом, які выпалоўвае цю работу;
• Свяжаныя з цім складныя прыклады: паспамятныя сканаванні, рукапісныя нотаткі, відсутныя поля, дакументы іншай мовы, два дакументы, склееныя ў адны PDF;
• Прыметка пра тое, якія памылкі є серйознымі, а якія проста дратуючымі.

Персональныя даныя ў наборе для тэставання трэба мінімізаваць або маскуваць, а сам набор хаваць за тымі ж правіламі доступу, які і у выхідных дакументах.

Аналізуйте тое, што справжняя прычына

Адна цифра з показніком точнасці маскуючы не тыя працэзледжанні, якія для вас важлівы. Разбейце рэзультат на часті:

• Точнасць на рэвэлі галузей пад час выкарыстоўвання: чы былі правільна прыняты номер рахунку, дата, сума, ставка ПДВ?
• Перакананні за правіламі пад час перагляду: чы агент пазначыў заканчылыся тэрмін дзеяння сертыфіката, відсутную падпіс, умовы платежа, якія не зусім адпавядаюць кантракту?

Неправдзівыя аўтаматычныя паведамленні: сколькі правільных дакументаў было пазначана. Якщо іх занадта много, людзі перестаюць чытаць такіе пазначкі.

Утриманне: як часта агент казаў «не ведаю» замест таго, каб здагадвацца. Якісны агент утримваецца ад рашэння ў тых случаях, калі не можа іх адмаўіць.

Правілы, якія можна пераканаць за дапамойкай коду, трэба пераканаць за дапамойкай коду. Якшо пытанне — «чы роць выдання сертыфіката ў будучыні», паўпоручыце даты ў програме і выкорыстоўваеце модэль толькі для выявлення даты ў дакументе. Лячэ гэта цэлы клас адносов.

Адрабоўваце ацэнку пасля кожных змян

Прыгвоты, модэлі, настройкі OCR і код для аналізу зменяюцца працаваючы над проектам. Кожная змена можа выправіць пяць випадкаў, але паспрычыніць проблемы ў трох іншых. Набор для ацэнкі павінен запускатыся аўтаматычна перад тым, як будь-яя змена будзе впрынесена ў працэс, пры чым рэзультаты паўінны быць паўставленыя ў адносе да пярэдней версіі. Якщо показнік падые, змена чакае.

То ж самае стосуецца і змены модэляў. Новейшы або дышэўшы модэль не завжды є кращым для вашых дакументаў. Запустіце набор, паўставіце рэзультаты, а потым прыміце рашэнне.

Разместіце чалавека там, дзе ёсць рызык

Людская перагледка — гэта не знак таго, што аўтаматызацыя зазнала нядачы. Цэў спосаб, які дазволяе скорыстацца перавагамі аўтаматызацыі, не рызыкуючы всім бізнесам на аднам модэлі. Практычная наладка:

• рэзультаты, якія перавышаюць узгаданы порог доверы і пры якіх усі перагледы правіл працавалі успешна, праходзяць аўтаматычна або на швыдкі пераглед;
• Няпэўныя рэзультаты, неудачныя пераканальванні і спрабы з вялікай цэннаю прайходзяць у чергу на перагляд, дзе адпаведны даследны дакумент паказваецца паляўкі ўжо выкаранаваных дадзеных;
• Кожна затварэння і пакорэкцыя фіксуецца з адзначэннем таго, хто яе здзейсніў, і калі;
• Пакорэкцыі заносяцца паўтарна ў набір для тэставання, таму наступная ацэнка включае і тыя спрабы, якія пайшлі не так.

Праграма ўстановленая на адпаведнае значэнне — гэта рашэнне кампаніі. Пачніце з строгіх умов, вымерыце, наскількі фактычна зміняюць інформацыю адпаведныя працавнікі, і адпусціце ўмовы толькі тады, калі цыфры гэта падтрымаюць.

Следзіце за ўжыццём у рэальных умовах

Рэальныя даныя змінююцца. Поставщык меняе свой шаблон, сканер заменяецца, з’являецца новы тип дакумента. Кантроль ад АІ-агента должна паказваць прынеймнейша частку дакументаў, нададзеных на перагляд, частку паследніх парадактав, бяговыя і перыяды затрымкі, а таксама вік старэйшаг элемента ў черзі. Адным з першых сігналаў змян вышэй у ланцугу є падышанне часткі паследніх парадактав.

Як выглядае хорашы рэшэння

Вы можете, на адной часці, на адной базе своіх дадзэнняў, паказаць, як часта агент правільна распрацоўвае кожную поль і кожнае правіле, шта выканаецца з тымі кейсамі, дзе ён робіць памылку, і як вы зберагледзіце, калі гэта змяніцца. Якщо прадавець не можа гэта паказаць, значы вы бачыце толькі дэманстрацыю, а не рэальную систему.

Мы ствараем гэты шар як частку нашай службы дэмы да прыемнай сістэмы і ў AI-агентах для адзінакоўвання дакументаў. Чым займаюцца і хто ёй керуе з організацыйной точкі зору, можна дазнацца у што такое інжынер, які працуе у прыемнай сістэме, і калі малая підпрыемство яго патрэбуе.