Локальны ІІ для конфідэнцыйных дакументаў: што запускать на вашым саўстаннічным апаратным забезпечэнні
Зберагчыце дакументы контрактов, заробкай і аудыту празвыходна ад клаудовых API: якія етапы процесу павінны быць локальныя, якія апаратныя засобы падходяць, дзе локальныя моделі ўступаюць у прыніжэнне, і вартасці.
Контракты, вырачунак заробкай, медычныя дакументы, аудыты прадавцоў, выкладкі з банку: большасць дакументаў, якія компаніі хочаць автаматызаваць, — гэта тые, якія яны менш за ўсё хочаць адправляць у хмарны API. Местны ІІ значыць, што моделі, выкарыстоўваныя для выкарыстоўвання тэксту і зберагання рэзультатаў, працуюць на апаратнай частцы, якой кантролюе компанія, таму дакументы ніколі не пакідаюць яе. Гэта практычны варыянт сэргодзі, але ён супакоўваеся з певнымі компромісамі, якія трэба добра разумець пры пакупке сервера.
Што павінна включаць „местная“ система
Работа мовнай моделі на вашай сабе машыне — толькі частка працы. Процес обробкі дакументаў складаецца з калькі етапаў, і кожны з іх можа выклікнуць вытэк дадзенаў, якщо ён запрашае сторонніяй службу:
- Выкарыстоўвання тэксту і OCR. Сканаваныя PDF-файлы і фота патрабуюць OCR. Большасць зручных варыянтаў OCR — це хмарныя службы; існуюць таксама местныя двайнікі, якія добра працуюць з чыстымі сканамі.
- Эмбеддынгі і пошук. Якщо дакументы індексуюцца для пошуку або адпаведзення на запытанні, модэль эмбеддынгу і вектарны індэкс таксама павінны знаходзіцца локальна.
- Модэль мовы. Класыфікацыя, выкарыстоўванне інфармацыі, стварэнне кантактных тэкстаў і перакантролька правілаў.
- Логі, чергі і рэзервны копіі. Логі для діагностикі часта маюць цэлы тэкст дакумента. Яны павінны падлягаць тым жа правілам зберагчэння і доступу, як і самі дакументы.
- Тэлеметрыя. Дзеянні дзеяльнасці дзеярых інструментаў за замовчаннем адправляюцца ў ўпраўляючую компанію. Яе трэба выключыць, а таксама заблакаваць выходныя з’ўязкі з сервераў аналізу.
Які апаратныя засобы вам насправды патрэбны
Короткая адказ: памяц вялічыць, якія модэлі будуць завантажаны, а рэшта апаратнага забезпечэння вялічыць, насколькі быстра яны будуць працаваць. Мы перамеравалі гэта на кальколькі машынак з аднаковым наборам тэстаў, і рэзультаты праказаны ў чатырох адзінаковых стацыянарных артыкулах:
- RTX 5060 Ti 16 GB: адна паветраная карта для прыватнага выкарыстоўвання вже можа запускаць модэлі класу 27B; найбыстрэйшы варіант, які мы перамеравалі, дасягаў 115,9 токенаў за секунду.
- RTX 5090: тая ж модэль Qwen3.8-27B працавала з шырокімі разлікамі — ад 67,2 да 253,4 токенаў за секунду залежна ад дваржыцеля вырачэння, што паказвае, насколькі важлівае ўсё програмнае забезпечэнне.
Для роботы з дакументамі чыстая швальдасць рэдкая ўсё тое, што стварае перашкоды. Кілька соткаў рахункоў у дзень — это малая навантажэння для аднаго адпраўнага GPU. Больш важлівае — чы ў модэлі достатньо якосці для обробкі вашых дакументаў, а гэта можна выявіць толькі прабавіўшы яго на іх.
Дзе локальныя модэлі слабейшыя
Сярод большых модэляў на базе хмары яшчэ існуе прынцыповая перадача ў складных вычынкаваннях, працэ са дужа дзялёнымі дакументамі і незвычнымі мовамі. Местныя модэлі значна зменшаюць гэтыя разлікі ў вузькіх, чыста апісаных задачах, ў чымасці, калі ланцоўка обробкі падбіраецца па ўсіх ўмовах, прыемлемых для іх работы:
- дазвольце коду выканаць тое, у чым ён справны: перакананне дат, сум, перакананне VAT, пашук у списку падпраўнікаў;
- давайце модэлю аднае запытанне за раз, а не просьбу «пераглянуць гэты контракт»;
- выкорыстоўвайце структураваны выхід (фіксаваныя поля), каб адпаведзі змаглі быць автаматычна перакананыя;
- пры непэўных случаях адправляйце іх чалавеку, уместо таго каб прымусіваць модэль да адпаведзі.
Чы ўсталяны местны модэль ўсталяны, гэта эмпірычны пытанне. Створыце набор тэстаў з рэальных дакументаў і паўпоручыце кандыдатаў на яго адпрацоўку; нашы прыміткі па ацэнкаванню і перагляду чалавекам апісваюць, як гэта зрабіць.
Гібрыд частае ўсвятленае рашэнне
Не кожны дакумент ўсё такі ж чутлівы. Тыповы падход заключаецца у тым, што конфідэнцыйныя дакументы зберагаюцца на локальных моделях, а для публічных або анонімізаваных матэрыялаў викорыстоўваецца хмарны модель; правіла маршрутацыі задаюцца і рэалізуюцца ў кодзе. Іншы варыянт — аддача прыватнай хмары па контракце, якая падходзіць вашым выкарыстанню правілаў захавання дакументаў. Калькі рашэнне будзе правым залежыць ад вашых дакументаў, контрактаў і ступеня готовасці прымаць рызыкі, і яго трэба прыміць у саавтарстве з тымі, хто адпавядае за захавання дакументаў у вашай компаніі.
Косты, якія трэба прыміць у выкарыстанню
Локальныя AI-распалохі прыкладзяюць выклікі на вартасць апаратуры і процэсаў, а не на плата за кожны запыт. Па-першае, трэба врачуваць саму машыну, а таксама энергію і систему ахалоджэння, аднасобу, які апдэйтуе моделі і драйверы, а таксама механізмы манітарынгу, архіўавання і запасны план на случай збою. Для аднаго калекты з стабільным прытокам дакументаў гэта часта ўсё ж дышэўней і простейш, чым здаецца. Для значных або рэзкіх навантажэнняў хмара можа застацца дышэўней за цэнай.
Мы ствараемя локальныя паўтокі для перагляду дакументаў і інтэграцыі дадзенаў у інфраструктуре кліента. Паглядзіце AI-агентаў для перагляду дакументаў і інтэграцыю дадзенаў кліентаў, або аспекты регулявання ў AI Act і GDPR для AI-автаматызацыі.