Пяць агентав, якія расследуюць сигналы пра мошчанне, а не проста ставяць ўсё гэта у кантэкст значэння.
Паглядзіце, як система для борьбы з мошчаннем, яка складаецца з пяці агентав, спаўнае значэння XGBoost з аблікаваннем дэтэрміністычных доказаў, корэляцыяй логаў західоў у системе і поясненнямі Gemini, якія ніколі не змянююць гэтае значэння.
Крыніцы: FraudLens AI: Building AI Agents That Investigate Fraud Like a Human Analyst
Модель выявлення шахрайства добра ў аднай роце: ў вказванні, што тая чыгулка выглядае падозрэльна. Але яна значна гірша ў адпаведзенні на запытанні, якія на самай працы мае аналітык, каб закрыць справу. Што тут адбылася? Чаму це выглядае падозрэльна? Што людзі должны зрабіць працэйна?
FraudLens AI, проект з хакатона 2026 года Google Cloud Hackathon, створаны навакола гэтых другіх запытанняў. Ён не намагаецца стварыць кращы рэйтынг шахрайства. У ём вялікі рэйтынг абгрунтаваны пяцьма саўместна працюючымі агентамі, якія веду розследаванне: яны збіраюць доказы паховання, супорядкуюць падтверджэння аутентыкацыі, пішуць падсумак справы і дазваляюць аналітыкам запытваць дадзеныя на простай англійскай мове.
Рэйтынг — гэта не абясненне
Большынства систем борьбы з саботажамі зупыняюцца на такім значэнні, як 0.87. Модель, яка стоіць за імі, можа быць выключнаецкай у выяўленні небяспечнай дзеяльнасці, але следчы, які бачыць гэта значэнне, так і не разумее, што самэўна адбылася і чаму модель на тое звернула увагу.
Сёння гэты прыемак заполняе чалавек. Ён ачынае рахунак, праскролюе історыю транзакцый, пераканаецца, чы не быў устройства раней, чытае логі аутантыкацыі, парабяляе няўзабавную дзеяльнасць з болей старымі шаблонамі, і нарэшце пішае звіт, які падтрымлівае рашэнне.
Усё гэта ўплошанае і паўтаральнае, і гэта не працуе, калі колькасць апавешчэнняў растае. Ідея FraudLens — заставіць модель борьбы з саботажамі такой, якая яе ёсць, і автаматызаваць расследаванне, якое пачынаецца пасля таго, як модель выдае апавешчэнне.
Пяць агентаў, пяць задач
Платформа раздзеляе ацэнку рызыку і расследаванне між пяцьма агентамі. Кожны з іх мае часткавую адпаведнасць, падобна да спецыялістаў, якія дзельняюць работу ў командзе па борьбе з мошчаннем.
Агент дыягностыкі
Ацэнка выканана за дапамогою класыфікатора XGBoost. Ёй была атеставана на адкрытым наборы дадзэных Kaggle Credit Card Fraud Detection, які мае 284 807 транзакцый і 492 падтвердзеныя случаў мошчаннэў. Рэзультаты атеставання:
| Паметака | Значэнне | Простая інтэрпрэтация |
|---|---|---|
| ROC-AUC | 0.985 | практычна ўсё часы атрымляе мошчанне вышэй за легітымныя транзакцыі |
| Точнасць у выяўленні мошчаннэў | 82.8% | прыблізна 1 з 6 апавешчэнняў — галошанне |
| Прыцемнасць у выяўленні мошчаннэў | 82.1% | прыблізна 4 з 5 случаў мошчаннэў выяўляюцца |
| F1 у выяўленні мошчаннэў | 82.5% | саўершынны баланс двух паказваных паметак |
Эты набор дадзэнай з рэальнага света выкорыстоўваецца толькі для паўтарнага атстаўлення модэлю адкрыціі, і гэта разлікаванне знова будзе паведамлена нижэй.
Агент для расследавання
Калі транзакцыя перасягае прагу для расследавання, гэты агент стварае контэкст абоўшчы ёй. Ён аналізуе:
- парадакты рахунку і історыю транзакцый
- сумы, якія не падходзяць да рахунку
- парадакты краіны і контэкст IP
- каторыя прыстроі прыўязаны да каторых рахункоў
- выхылы з історычных шаблонаў
Такім чынам, уместо таго, каб прадаць Risk Score: 0.92, система стварае выводы, па якіх можна дзеяць, напрыклад "гэтая сума значна вышэй за історычны сярэдній показнік рахунку" або "гэты прыстрой быў выкорыстоўваны калькама разных рахункоў". Гэтыя выводы пакулькуюцца ў структураваным файле справы, які выкарыстоўваюць наступныя агенты.
Агент для аналізу логаў
Акты выхадзення ў систему часта являюцца найболей сильнымі доказамі, якія у вас є, особліва калі існуе рызык перэявлення адказу. Проект выкарыстоўвае синтэтычны журнал аутантыкацыі з такімі запісамі, як LOGIN_FAILED, LOGIN_SUCCESS, OTP_FAILED, NEW_DEVICE_REGISTERED і PASSWORD_RESET, і гэты агент паўтарае гэтыя запісы з падазрэльнымі транзакцыямі.
LOGIN_FAILED (Multiple) ──> OTP_FAILED ──> NEW_DEVICE_REGISTERED ──> SUSPICIOUS_TRANSACTION
Такі даныя паведамляюць вам набагато большае, чым сама транзакцыя. Яны адкрываюць сігналы прыемкі кантролю, якія модель, якая б дзеўалася толькі з платэжамі, ніколі не пазнала б.
Дзе падходзіць Gemini, а дзе — ні
Агент адказаў
Google Gemini уключаецца толькі на гэтым этапе. Агенты выкрыцціі та расследавання спачатку ствараюць структураваныя доказы, а агент адказаў перадае гэтыя доказы Gemini, каб тая ператворыла іх у чытальную нарадачку, што ў выглядзе: гэтая транзакцыя пазначаецца як КРЫТЫЧНАя, таму што яна значна выклікаеяцца за нормальную дзеяльнасць абліквата і супараджаецца незвычной дзеяльнасці прыстрою та пры входзе, таму яе трэба негайна пераглядзець.
Важным выборам узора ў Gemini ёсьць тое, што ён ніколі не задае рэйтинга шахрайства. Це пояснюе наявныя доказы таго, што дэтэрміністычны код вже створыў ўсе неабходныя даны. Гэта дапамагае падтрымваць надзеяміснасць ключовых рашэнняў і значыць, што галюцинацыі не можаюць змяніць тое, чы рашынка будзе пазначана як падазрэльная.
Агент запытанняў
Аналітыкі могу пісаць запытанні на кшталт "пакажыце мне критычныя транзакцыі з Нігеріі". Модэлю не разрэшаецца запускаць дэтэрміністычны код чы чысты SQL. У замены функцыя вызову Gemini выкарыстоўваецца для выявлення намеру і ператварэння яго ў перавераныя параметры, якія звычайны код пасля таго выкарыстоўвае для запрашэння дадзэнняў.
Natural Language Request
│
▼
Gemini Function Calling (Intent Extraction)
│
▼
Structured Filters (risk_tier = CRITICAL, country = Nigeria)
│
▼
Application Parameter Validation
│
▼
Controlled Pandas Filtering Layer
│
▼
Filtered Transaction Results
Адміністрацыя застаецца безпечной, прыглядной і лёгкай для аудыту.
Архітектура і даны
Весь проект выкладзены як дапрацоўка Flask у формате Docker, якая розмешчана на Render для жывага дэманстрацыя, пры чым структура контэйнера таксама працюе на Google Cloud Run.
Адзін зумышлены выбор — аддзеліць заявы пра показнікі эфектывнасці ад можнасцяў дэманстрацыі. Даны з Kaggle выкарыстоўваны толькі для паўтарнай пераканання ў правільнасці адкрыцця, адкуль і падыходзіць значэнне 0.985 для ROC-AUC. Жывыя процесы расследавання працуюць на сінтэтычных корпоратыўных даных, адтолькі ўскрытыя показнікі эфектывнасці не абучаюць поля, якія маюць зв’язак, напрыклад, історыю прыстрою, журналы заходжэння чы супраўязі між аблікамі.
┌───────────────────────────────────────┐ ┌───────────────────────────────────────┐
│ REAL KAGGLE DATA │ │ SYNTHETIC ENTERPRISE │
│ 284,807 Transactions │ │ 50,000 Transactions + Logs │
└───────────────────┬───────────────────┘ └───────────────────┬───────────────────┘
│ │
▼ ▼
┌───────────────────────────────────────┐ ┌───────────────────────────────────────┐
│ XGBoost Validation │ │ Live Investigation │
│ ROC-AUC 0.985 | Precision/Recall 82% │ │ Accounts + Devices + Auth Logs │
└───────────────────────────────────────┘ └───────────────────┬───────────────────┘
│
▼
┌───────────────────────────────────────┐
│ Interactive Dashboard │
│ Evidence + Gemini Narrative │
└───────────────────────────────────────┘
Цэлысны працэйны лянцуг
Калі аналітык пачынае расследаванне, працэйны лянцуг выконваецца па праблеме: агент дэтэкцыі оцэнюе транзакцыю, агент расследавання сабірае доказы паведамленняў, агент аналізу логаў дадае контекст аутантыкацыі, агент адпаведзення пішае наратыў, а рэзультат падае на панель керування справай, дзе агент запытанняў можа продаваць расследаванне.
Зроблена для грацыязнага выключэння
API-і AI сталкаюцца з лімітамі колькасці запытанняў і сетавымі адказамі. Чырабець таго, каб гэта не зупініла прыемліванне дапыткі, сервіс наратыўнаў Gemini ўсё аддзельна ад дэтэрміністычнага працэйнага лянцуга.
Якщо вызов у системе Gemini не выйдзе без такога раздзелення, сторанка з’явіцца зі спалюваннем кэшу з адазою 500. У такім случае прыложэнне все рава вяртае всі ключовыя показнікі рызыку, пазнакі прыстрою, адхылэннія ў поведэнцыі та дакладныя даны з логаў, плюс паведамленне, якое не блакуе роботу прыложэння, пра тое, што поясненне тымчасова недоступнае. У найгоршым случае вы отрымаеце звычную панель для расследавання, якая все рава выпалюе свою задачу.
Урокі з процесу стварэння
- Будзьце чыстыя ў паводзе дадзеных. Раздзелэнне пераверкі крэатывных показнікаў ад сінтэтычных дэманстрацый дапамагае здобыць доверлеўнасць у тэхнічных экспертаў, якія інакшыя б запыталіся пра кожную цифру.
- Складзіце доказы ў кодзе, працаваць з LLM. Правілы та агрэгацыяя павінны знаходзіцца ў дэтэрміністычным кодзе. Задача модэлю — ператворыць гэты выхід у прыроднае поясненне.
- Апробавайце тыя элементы, якім не трэба жывага API. У комплекте ёсць 53 тэсты, спрямаваныя на дэтэрміністычны практычны прыем, які падтрымлівае высокую надзеяроўнасць без выкарыстоўвання токенав API пад час кожнага запуску.
Што будзе далей
- прыем дадзеных у формате стріму за дапамою Google Cloud Pub/Sub і Dataflow заместо пакетнай обробкі
- натыўнае зберагачэнне дадзеных у Google Cloud за дапамою BigQuery і Firestore
- графічныя нейронныя сеткі для выявлення канспіратыўных груп, распрастраняюцыхся між многама аблікамі
- багатамодальныя доказы: PDF-файлы з працэсамі спарч, дакументы аб ідэнтыцэті і транскрыпціі чатоў, якія падаюцься ў контэкст Gemini
Прынцып, які стоіць за гэтым
Робота з падежамі не заканчываецца тады, калі модель выдае рэйтынг. Гэты рэйтынг мае значэнне для таго, каб з’ясаваць, якія доказы пояснююць апавешчэнне і што павінен зрабіць аналітык. FraudLens чыстаючы падзелівае эты процес: модель выклікае падазры, дэтэрміністычны код збірае доказы, спецыялізаваныя агенты расследуюць, а LLM толькі пояснюе.