Wie man überprüft, ob ein KI-Agent nicht falsch liegt: Bewertungen und menschliche Überprüfung

Ein KI-Agent, der Dokumente liest oder Fragen beantwortet, wird manchmal Fehler machen. Die wichtige Frage ist nicht, ob er Fehler macht, sondern wie oft, in welchen Fällen und ob jemand diese bemerkt, bevor der Fehler einen Kunden oder das Buchhaltungssystem erreicht. Darauf eine Antwort zu geben erfordert zwei Dinge: ein Bewertungssatz, dem man vertraut, sowie einen Überprüfungsschritt, der in den Arbeitsablauf integriert ist.

Beginnen Sie mit einem Testset aus Ihren eigenen Daten

Allgemeine Benchmarks zeigen, wie gut ein Modell bei Aufgaben anderer abschneidet. Sie liefern jedoch nur wenig Informationen über Ihre Lieferantenzertifikate oder Vertragsvorlagen. Die erste Leistungsergebnis jeder ernsthaften KI-Automatisierung sollte ein Testset sein, das aus echten Fällen erstellt wird:

• 50 bis 200 echte Beispiele zum Start, mehr für Prozesse mit vielen Dokumenttypen;
• die richtige Antwort für jedes Beispiel, von der Person notiert, die die Arbeit heute erledigt;
• absichtlich aufgenommene schwierige Fälle: schlechte Scans, handschriftliche Notizen, fehlende Felder, Dokumente in einer anderen Sprache, zwei Dokumente, die zu einem einzigen PDF gestapelt sind;
• eine Anmerkung dazu, welche Fehler kostspielig sind und welche lediglich störend.

Die personenbezogenen Daten im Testset sollten minimiert oder maskiert werden, und das Set selbst sollte unter denselben Zugriffsregeln wie die Queldokumente gespeichert werden.

Die richtigen Metriken messen

Eine einzige Genauigkeitszahl verdeckt die Fehler, die für Sie wichtig sind. Aufschlüsseln Sie das Ergebnis:

• Feldbezogene Korrektheit bei der Extraktion: Wurden die Rechnungsnummer, das Datum, der Betrag sowie der Umsatzsteuersatz richtig erfasst?
• Regelprüfungen bei Überprüfungsaufgaben: Hat der Agent das abgelaufene Zertifikat, die fehlende Signatur oder die vom Vertrag abweichende Zahlungsfrist angezeigt?

Falsche Alarme: Wie viele korrekte Dokumente als solche markiert wurden. Zu viele davon führen dazu, dass die Nutzer die Markierungen ignorieren.

Abstention: Wie oft gab der Agent an, „unsicher“ zu sein, anstatt zu raten. Ein gut konstruierter Agent zieht sich bei Fällen zurück, die er nicht bewältigen kann.

Regeln, die mit Code überprüft werden können, sollten tatsächlich mit Code überprüft werden. Wenn die Frage lautet „Ist das Ausstellungsdatum des Zertifikats in der Zukunft?“, sollten die Daten in einem Programm verglichen werden, und das Modell sollte nur dazu verwendet werden, das Datum im Dokument zu finden. Allein das beseitigt bereits eine ganze Klasse von Fehlern.

Führen Sie die Bewertung bei jeder Änderung durch

Prompten, Modelle, OCR-Einstellungen sowie Parsing-Code ändern sich im Laufe eines Projekts ständig. Jede Änderung kann fünf Fälle lösen, während drei andere beschädigt werden können. Der Bewertungssatz sollte automatisch vor jeder Veröffentlichung in der Produktion ausgeführt werden, wobei das Ergebnis mit der vorherigen Version verglichen wird. Sinkt eine Zahl, muss die Änderung warten.

Das Gleiche gilt beim Wechsel der Modelle. Ein neueres oder günstigeres Modell ist nicht automatisch besser für Ihre Dokumente. Führen Sie den Bewertungssatz aus, vergleichen Sie die Ergebnisse und treffen Sie anschließend eine Entscheidung.

Setzen Sie einen Menschen an die Stelle, wo das Risiko liegt

Menschliche Überprüfung ist kein Zeichen dafür, dass die Automatisierung versagt hat. Sie ermöglicht es Ihnen, die Vorteile der Automatisierung zu nutzen, ohne das Unternehmen auf ein bestimmtes Modell zu setzen. Eine praktische Einrichtung:

• Ergebnisse, die über einen vereinbarten Zuverlässigkeitsschwellenwert liegen und bei denen alle Regelprüfungen bestanden sind, werden automatisch weiterverarbeitet oder einer schnellen Stichprobenprüfung zugeführt;
• Unsichere Ergebnisse, fehlgeschlagene Überprüfungen sowie Fälle mit hohem Wert werden in eine Überprüfungswarteschlange gelegt, wobei das Quelldokument neben den extrahierten Daten angezeigt wird;
• Jede Genehmigung und Korrektur wird mit dem Verfasser und dem Zeitpunkt erfasst;
• Korrekturen fließen wieder in den Testdatensatz ein, sodass die nächste Bewertung auch den fehlerhaften Fall berücksichtigt.

Der Schwellenwert ist eine unternehmerische Entscheidung. Beginnen Sie streng, messen Sie, wie viel die Überprüfer tatsächlich ändern, und lockern Sie ihn nur dann, wenn die Zahlen dies unterstützen.

Beobachten in der Produktion

Die tatsächlichen Eingaben weichen ab. Ein Lieferant ändert sein Template, ein Scanner wird ersetzt oder es taucht ein neuer Dokumententyp auf. Die Überwachung durch einen KI-Agenten sollte zumindest den Anteil der zur Überprüfung gesendeten Dokumente, den Anteil der Korrekturen durch die Überprüfer, Verarbeitungsfehler und Zeitüberschreitungen sowie das Alter des ältesten Elements in der Warteschlange anzeigen. Ein steigender Korrekturanteil ist in der Regel das erste Anzeichen dafür, dass sich etwas weiter oben in der Kette geändert hat.

Was eine gute Lösung ausmacht

Mit Zahlen aus Ihren eigenen Daten können Sie angeben, wie oft der Agent in jedem Feld und bei jeder Regel richtig liegt, was mit den Fällen passiert, in denen er falsch liegt, und wie Sie erkennen werden, wenn sich das ändert. Wenn ein Anbieter Ihnen das nicht zeigen kann, handelt es sich um eine Demo und nicht um ein Produktionsystem.

Wir entwickeln diese Schicht im Rahmen unseres Services von Demo zu Produktivumgebung sowie in KI-Agenten für die Dokumentenprüfung. Zu den organisatorischen Aspekten bezüglich derjenigen, die sie entwickeln und besitzen, siehe was ein vorab eingesetzter Ingenieur ist.