Lokalna sztuczna inteligencja do dokumentów poufnych: co uruchomić na własnym sprzęcie

Umowy, wypłaty, dokumenty medyczne, audyty dostawców, wyciągi bankowe: wiele dokumentów, które firmy najchętniej chcą zautomatyzować, to właśnie te, które najmniej chcą wysyłać do chmurowej API. Lokalna sztuczna inteligencja oznacza, że modele, ekstrakcja tekstu oraz przechowywane wyniki działają na sprzęcie kontrolowanym przez firmę, dzięki czemu dokumenty nigdy nie opuszczają jej terenu. Jest to obecnie praktyczna opcja, ale wiąże się z kompromisami, które należy lepiej zrozumieć przed zakupem serwera.

Co musi obejmować „lokalne” rozwiązanie

Uruchamianie modelu językowego na własnym komputerze to tylko jedna z części. Proces przetwarzania dokumentów składa się z kilku etapów, a każdy z nich może prowadzić do wycieku danych, jeśli korzysta z zewnętrznych usług:

• Ekstrakcja tekstu i OCR. Zeskanowane pliki PDF i zdjęcia wymagają funkcji OCR. Wiele wygodnych opcji OCR to usługi chmurowe; istnieją również lokalne silniki, które dobrze funkcjonują przy czystych skanach.
• Embeddingi i wyszukiwanie. Jeśli dokumenty są indeksowane w celach wyszukiwania lub odpowiadania na pytania, model embeddingów oraz indeks wektorowy muszą również znajdować się lokalnie.
• Model językowy. Klasyfikacja, wydobywanie informacji, tworzenie streszczeń oraz weryfikacja zasad.
• Łogi, kolejki i kopie zapasowe. Łogi diagnostyczne często zawierają pełny tekst dokumentu. Muszą podlegać tym samym zasadom przechowywania i dostępu co same dokumenty.
• Telemetria. Niektóre narzędzia domyślnie przesyłają dane o swoim użyciu do producenta. Należy to wyłączyć oraz zablokować połączenia wychodzące z serwerów inferyjnych.

Jaki sprzęt faktycznie potrzebujesz

Odpowiedź w skrócie: pamięć decyduje o tym, które modele zostaną załadowane, a reszta sprzętu określa szybkość ich działania. Pomierzyliśmy to na kilku maszynach przy użyciu tego samego zestawu testowego, a wyniki znajdują się w czterech oddzielnych artykułach:

• RTX 5060 Ti 16 GB: pojedyncza karta konsumencka potrafi już uruchamiać modele klasy 27B; najszybsze ustawienie, które zmierzyliśmy, osiągało 115,9 tokenów na sekundę.
• RTX 5090: ten sam model Qwen3.8-27B działał z prędkością od 67,2 do 253,4 tokenów na sekundę w zależności od silnika inferencji, co pokazuje, jak ważna jest cała warstwa oprogramowania.
• Mac Studio M5 Ultra vs DGX Spark: dwa urządzenia wielkości biurka z dużą pamięcią zintegrowaną przeznaczoną dla modeli, które nie mieszczą się na kartach graficznych do gier.
• Ile pamięci potrzeba do lokalnej sztucznej inteligencji: co może działać w każdej klasie pamięci od 16 GB do 512 GB.

Przy pracy z dokumentami surowa szybkość rzadko stanowi ograniczenie. Kilkaset faktur dziennie to niewielki obciążenie dla porządnej karty graficznej. Ważniejsze jest to, by model dobrze radził sobie z twoimi dokumentami, a o tym można się dowiedzieć tylko poprzez jego testowanie na nich.

Gdzie lokalne modele są słabsze

Największe modele chmurowe wciąż przewyższają inne w trudnych zadaniach rozumowania, obsłudze długich i złożonych dokumentów oraz językach nietypowych. Modele lokalne znacznie zmniejszają tę przepaść w wąsko określonych, dobrze zdefiniowanych zadaniach, szczególnie gdy proces jest zaprojektowany z uwzględnieniem ich ograniczeń:

• pozwalaj kodowi robić to, w czym jest dobry: obliczanie dat, sum, weryfikacja VAT, porównywanie z listą dostawców;
• podawaj modelowi jedno pytanie naraz zamiast prosić o „przegląd tego kontraktu”;
• używaj strukturyzowanych wyników (stałe pola), aby odpowiedzi mogły być automatycznie weryfikowane;
• przesyłaj niepewne przypadki do osoby zamiast wymuszać odpowiedź.

To, czy dany model lokalny jest wystarczająco dobry, to kwestia empiryczna. Stwórz zbiór testowy z rzeczywistych dokumentów i porównaj kandydatów na jego podstawie; nasze notatki na temat ocen i przeglądu przez ludzi opisują, jak to zrobić.

Hybryda to często najuczciwsza odpowiedź

Nie każdy dokument ma takie samo stopień wrażliwości. Powszechnym rozwiązaniem jest przechowywanie dokumentów poufnych na lokalnych modelach, a materiałów publicznych lub anonimizowanych na modelach chmurowych, przy czym zasady routingu są zapisane i realizowane w kodzie. Inną opcją jest wdrożenie prywatnej chmury na podstawie umowy odpowiadającej wymogom ochrony danych. To, które rozwiązanie jest najlepsze, zależy od Twoich danych, umów oraz tolerancji na ryzyko, i powinno być podjęte we współpracy z osobą odpowiedzialną za ochronę danych w Twojej firmie.

Koszty, które należy uwzględnić

Localne AI przenosi koszty z opłat za każdą prośbę na koszty sprzętu i operacji. Oprócz samej maszyny należy uwzględnić koszty zasilania i chłodzenia, osobę odpowiedzialną za aktualizację modeli i sterowników, monitorowanie, kopie zapasowe oraz plan awaryjny na wypadek awarii urządzenia. Dla małego zespołu z stałym przepływem dokumentów jest to często tańsze i prostsze, niż się wydaje. W przypadku dużych lub nieregularnych obciążeń praca w chmurze może nadal być tańsza pod względem kosztów.

Budujemy lokalne procesy do przeglądania dokumentów i integracji danych w infrastrukturze klienta. Zapoznaj się z agentami AI do przeglądania dokumentów oraz integracją danych klientów, a także z aspektami regulacyjnymi w artykule AI Act i GDPR w związku z automatyzacją przy użyciu AI.