Jak sprawdzić, że agent AI nie popełnia błędów: oceny i weryfikacja przez ludzi

Agent sztucznej inteligencji, który czyta dokumenty lub odpowiada na pytania, czasami będzie popełniał błędy. Ważne nie jest to, czy je popełnia, ale jak często, w jakich przypadkach i czy ktoś to zauważy, zanim błąd dotrze do klienta lub do księgi rachunkowej. Aby na to odpowiedzieć, potrzebne są dwie rzeczy: zestaw oceny, któremu ufasz, oraz krok przeglądu wbudowany w proces pracy.

Zacznij od zestawu testowego na podstawie własnych danych

Ogólne standardy pomiarowe pokazują, jak model radzi sobie z zadaniami innych osób. Niewiele mówią one o certyfikatach twoich dostawców czy szablonach umów. Pierwszym wynikiem każdej poważnej automatyzacji przy użyciu sztucznej inteligencji powinien być zestaw testowy stworzony na podstawie rzeczywistych przypadków:

• 50 do 200 rzeczywistych przykładów na początek, więcej w przypadku procesów z wieloma typami dokumentów;
• poprawna odpowiedź dla każdego z nich, zapisana przez osobę, która obecnie wykonywa tę pracę;
• celowo dodano trudne przypadki: złe skanowanie, notatki ręczne, brakujące pola, dokumenty w innym języku, dwa dokumenty zszyte w jeden plik PDF;
• uwaga wskazująca, które błędy są kosztowne, a które jedynie irytujące.

Dane osobowe w zestawie testowym powinny być zminimalizowane lub zamaskowane, a sam zestaw przechowywany z takimi samymi regułami dostępu jak dokumenty źródłowe.

Mierz to, co ważne

Jedna liczba dokładności ukrywa te błędy, które są dla nas istotne. Rozbierz wynik na części:

• Prawidłowość na poziomie pól przy wydobywaniu danych: czy numer faktury, data, kwota, stawka VAT zostały poprawnie odczytane?
• Weryfikacja zgodnie z regułami przy zadaniach sprawdzających: czy system zaznaczył wygasły certyfikat, brakujący podpis, termin płatności różniący się od umowy?
• Fałszywe alarmy: ile poprawnych dokumentów zostało oznaczonych. Jeśli jest ich zbyt wiele, ludzie przestają zwracać uwagę na te oznaczenia.
• Wycofanie się: jak często agent odpowiedział „nie jestem pewien” zamiast zgadywać. Dobrze zaprojektowany agent wycofuje się w przypadkach, których nie potrafi rozwiązać.

Zasady, które można sprawdzić za pomocą kodu, powinny być sprawdzane kodem. Jeśli pytanie brzmi „czy data certyfikatu przypada w przyszłości”, należy porównać daty w programie i używać modelu wyłącznie do znalezienia daty w dokumencie. To samo eliminuje całą klasę błędów.

Przeprowadź ocenę po każdej zmianie

Wskazówki, modele, ustawienia OCR oraz kod parsowania zmieniają się w trakcie trwania projektu. Każda zmiana może rozwiązać pięć problemów, ale jednocześnie spowodować problemy u trzech innych. Zbiór do oceny powinien być uruchamiany automatycznie przed wdrożeniem jakiejkolwiek zmiany, a jego wyniki porównywane z poprzednią wersją. Jeśli wynik się pogorszy, zmiana musi poczekać.

To samo dotyczy zmiany modeli. Nowszy lub tańszy model niekoniecznie oznacza lepsze rezultaty w przypadku dokumentów. Należy najpierw uruchomić testy, porównać wyniki, a dopiero potem podjąć decyzję.

Umieść osobę tam, gdzie jest ryzyko

Ludzka weryfikacja nie jest oznaką niepowodzenia automatyzacji. To sposób na czerpanie korzyści z automatyzacji bez stawiania całego biznesu na jednym modelu. Praktyczne rozwiązanie:

• Wyniki przekraczające ustalony próg pewności oraz te, w których wszystkie sprawdzenia reguł przeszły pomyślnie, są przetwarzane automatycznie lub poddawane szybkiej weryfikacji;
• Wyniki niepewne, nieudane sprawdzenia oraz przypadki o wysokiej wartości trafiają do kolejki do ponownej oceny, przy czym dokument źródłowy jest pokazywany obok wydobytych danych;
• Każda akceptacja i korekta jest rejestrowana wraz z informacjami o osoby, która ją dokonała, oraz o czasie jej dokonania;
• Korekty są ponownie włączane do zestawu testowego, dzięki czemu kolejna ocena obejmuje przypadki, w których doszło do błędu.

Progi te są decyzją biznesową. Zacznij od surowych standardów, zmierz, jak wiele faktycznie zmieniają osoby dokonujące oceny, i złagodź je tylko wtedy, gdy dane to potwierdzą.

Obserwuj w środowisku produkcyjnym

Rzeczywiste dane ulegają zmianom. Dostawca zmienia swój szablon, skaner zostaje zastąpiony, pojawia się nowy typ dokumentu. Monitorowanie przez agenta AI powinno pokazywać przynajmniej odsetek dokumentów wysłanych do weryfikacji, odsetek korekt dokonanych przez osoby sprawdzające, błędy przetwarzania i przestoje, a także wiek najstarszego elementu w kolejce. Rosnący odsetek korekt jest zazwyczaj pierwszym sygnałem, że coś w łańcuchu dostaw uległo zmianie.

Jak powinno wyglądać dobre rozwiązanie

Możesz na podstawie danych własnych odpowiedzieć na pytania, jak często agent ma rację w każdej kolumnie i przy każdej zasadzie, co dzieje się z przypadkami, w których się myli, oraz jak zauważysz zmiany w tym zakresie. Jeśli dostawca nie może ci tego pokazać, masz do czynienia z demonstracją, a nie z systemem produkcyjnym.

Budujemy tę warstwę w ramach naszej usługi od demonstracji do produkcji oraz w ramach agentów AI do przeglądania dokumentów. Aby dowiedzieć się więcej na temat aspektów organizacyjnych związanych z tym, kto ją buduje i jest jej właścicielem, zapoznaj się z artykułem co to jest inżynier z zastosowaniem forward-deployed.