Локальний ШІ для конфіденційних документів: що можна запускати на власному обладнанні

Договори, виплата заробітної плати, медичні записи, аудит постачальників, банківські виписки: багато документів, які компанії найбільше хочуть автоматизувати, — це саме ті, які вони найменше хочуть надсилати до хмарного API. Локальний ШІ означає, що моделі, обробка тексту та збережені результати працюють на обладнанні, яким керує компанія, тож документи ніколи не виходять за його межі. Це зараз практичний варіант, але він має певні недоліки, які варто добре зрозуміти перед купівлею сервера.

Що має охоплювати поняття „локальний“

Робота мовної моделі на власному пристрої — це лише одна частина. Процес обробки документів складається з кількох етапів, і кожен з них може призвести до витоку даних, якщо він використовує зовнішні сервіси:

• Обробка тексту та OCR. Скановані PDF-файли та фотографії потребують OCR. Багато зручних опцій OCR — це хмарні сервіси; існують також локальні двигуни, які добре працюють з чистими сканами.
• Ембеддинги та пошук. Якщо документи індексуються для пошуку чи відповідей на запитання, модель ембеддингів та векторний індекс також мають знаходитися локально.
• Модель мови. Класифікація, вилучення інформації, створення резюме та перевірка правил.
• Журнали, черги та резервні копії. Журнали діагностики часто містять повний текст документа. Вони потребують таких самих правил зберігання та доступу, як і самі документи.
• Телеметрія. Деякі інструменти за замовчуванням надсилають інформацію про свою роботу до виробника. Її слід вимкнути, а вихідні з’єднання з серверів обробки даних — заблокувати.

Яке обладнання вам насправді потрібне

Коротка відповідь: пам’ять визначає, які моделі завантажуються, а решта апаратного забезпечення впливає на швидкість їхньої роботи. Ми перевіряли це на кількох пристроях із однаковим набором тестів, і результати опубліковані у чотирьох окремих статтях:

• RTX 5060 Ti 16 GB: одна споживча відеокарта вже може запускати моделі класу 27B; найшвидша конфігурація, яку ми тестували, досягала 115,9 токенів на секунду.
• RTX 5090: та сама модель Qwen3.8-27B працювала зі швидкістю від 67,2 до 253,4 токенів на секунду залежно від двигуна інференсу, що демонструє наскільки важливим є програмний стек.
• Mac Studio M5 Ultra проти DGX Spark: два пристрої розміром з робочий стіл із великою об’єднаною пам’яттю для моделей, які не вміщуються на графічному процесорі для ігор.
• Скільки пам’яті потрібно для локального ШІ: що може працювати з пам’яттю від 16 ГБ до 512 ГБ.

Для роботи з документами чиста швидкість рідко є вузьким місцем. Кілька сотень рахунків на день — це невелике навантаження для хорошого графічного процесора. Важливіше те, наскільки добре модель працює з вашими документами, що можна дізнатися лише шляхом її тестування на них.

Де локальні моделі є слабкішими

Найбільші хмарні моделі все ще мають перевагу у складних міркуваннях, обробці довгих та заплутаних документів та роботі з незвичайними мовами. Локальні моделі значно зменшують цю різницю у вузьких, чітко визначених завданнях, особливо коли процес обробки розроблений з урахуванням їхніх обмежень:

• дозвольте коду робити те, що він робить добре: перевірка дат, сум, ПДВ, порівняння зі списком постачальників;
• надавайте моделі по одному запитанню за раз замість того, щоб просити «переглянути цей контракт»;
• використовуйте структурований вихід (фіксовані поля), щоб відповіді можна було автоматично перевіряти;
• надсилайте сумнівні випадки людині замість того, щоб примушувати модель дати відповідь.

Чи є певна локальна модель достатньо хорошою — це емпіричне питання. Створіть набір тестів з реальних документів та порівняйте кандидатів на ньому; наші примітки щодо оцінювання та людського перегляду пояснюють, як це зробити.

Гібридний підхід часто є найкращою відповіддю

Не кожен документ має однаковий рівень конфіденційності. Поширеним рішенням є зберігання конфіденційних документів на локальних моделях, а для публічних чи анонімізованих матеріалів використання хмарної моделі, причому правила маршрутизації записуються та реалізуються у коді. Іншим варіантом є використання приватної хмари за договором, який відповідає вашим вимогам щодо захисту даних. Вибір залежить від ваших даних, договорів та готовності до ризиків, і його слід узгодити з тим, хто відповідає за захист даних у вашій компанії.

Витрати, які потрібно враховувати

Локальний ШІ переносить витрати з оплати за кожен запит на обладнання та експлуатацію. Окрім самої машини необхідно враховувати витрати на електроенергію та охолодження, людину, яка оновлює моделі та драйвери, моніторинг, резервні копії та запасний план на випадок збою обладнання. Для невеликої команди з постійним потоком документів це часто є дешевшим та простішим, ніж здається. Для значних або нерівномірних обсягів роботи хмарні рішення все ще можуть бути вигіднішими за ціною.

Ми створюємо локальні системи для перегляду документів та інтеграції даних у інфраструктурі клієнта. Дізнайтеся більше про ШІ-агентів для перегляду документів та інтеграцію даних клієнтів, або про регуляторні аспекти у Закон про ШІ та GDPR для автоматизації за допомогою ШІ.