Локальный ИИ для конфиденциальных документов: что можно запускать на собственном оборудовании
Хранение контрактов, данных о заработной плате и аудиторских документов вне облачных API: какие этапы работы должны выполняться локально, какое оборудование подходит, где локальные модели оказываются менее эффективными, и связанные с этим затраты.
Контракты, вычеты по заработной плате, медицинские карты, аудит поставщиков, банковские выписки: большинство документов, автоматизация которых наиболее важна для компаний, — это именно те, которые они меньше всего хотят отправлять в облачный API. Локальный ИИ означает, что модели, выделение текста и сохраняемые результаты обрабатываются на оборудовании, находящемся под контролем компании, поэтому документы никогда не покидают её территорию. Это практический вариант в настоящее время, но он сопряжён с определёнными компромиссами, которые следует тщательно учесть перед покупкой сервера.
Что должно обеспечивать «локальное» решение
Работа языковой модели на собственном компьютере — это лишь одна из составляющих. Процесс обработки документов включает несколько этапов, и каждый из них может привести к утечке данных, если используется внешний сервис:
- Выделение текста и OCR. Для отсканированных PDF-файлов и фотографий необходим OCR. Многие удобные инструменты для OCR представляют собой облачные сервисы; существуют также локальные движки, которые хорошо справляются с чисто отсканированными документами.
- Эмбеддинги и поиск. Если документы индексируются для поиска или ответов на вопросы, модель эмбеддингов и векторный индекс также должны находиться локально.
- Модель языка. Классификация, извлечение информации, составление кратких изводов и проверка правил.
- Логи, очереди и резервные копии. Логи отладки часто содержат полный текст документа. Для них требуются те же правила хранения и доступа, что и для самих документов.
- Телеметрия. Некоторые инструменты по умолчанию отправляют отчеты об использовании своему поставщику. Эту функцию следует отключить, а внешние соединения с серверами инференса — заблокировать.
Какое оборудование вам действительно нужно
Краткий ответ: память определяет, какие модели загружаются, а остальное оборудование — с какой скоростью они работают. Мы измеряли это на нескольких устройствах с одинаковым набором тестов, и результаты представлены в четырех отдельных статьях:
- RTX 5060 Ti 16 GB: одна потребительская карта уже способна запускать модели объемом 27 миллиардов параметров; самая быстрая конфигурация, которую мы тестировали, достигала скорости обработки 115,9 токенов в секунду.
- RTX 5090: та же модель Qwen3.8-27B работала со скоростью от 67,2 до 253,4 токенов в секунду в зависимости от движка инференса, что демонстрирует важность программного стека.
При работе с документами чистая скорость редко является узким местом. Небольшая нагрузка в виде нескольких сотен счётов в день — это незначительная нагрузка для хорошего GPU. Более важно, чтобы модель была достаточно эффективной для обработки ваших документов, а это можно узнать только путём тестирования её на них.
В чём слабость локальных моделей
Самые крупные облачные модели по-прежнему превосходят их в сложных вычислениях, обработке длинных и запутанных документов, а также с нестандартными языками. Локальные модели сокращают этот разрыв в узких, четко определенных задачах, особенно когда работа организована с учетом их ограничений:
- позвольте коду выполнять то, что он делает хорошо: проверку дат, сумм, НДС, сопоставление с списком поставщиков;
- предоставляйте модели по одному вопросу за раз, а не просите ее «проанализировать этот контракт»;
- используйте структурированный вывод (фиксированные поля), чтобы ответы можно было автоматически проверять;
- передавайте неопределенные случаи человеку вместо того, чтобы заставлять модель давать ответ.
Достаточно ли хороша та или иная локальная модель — это вопрос эмпирического анализа. Составьте тестовый набор из реальных документов и сравните кандидатов на его основе; наши записи по теме оценки и человеческий аудит объясняют, как это сделать.
Гибридный вариант часто является наиболее разумным решением
Не все документы одинаково чувствительны. Распространённый подход заключается в хранении конфиденциальных документов на локальных моделях, а для публичных или анонимизированных материалов использовании облачной модели; правила маршрутизации фиксируются и реализуются в коде. Другим вариантом является развертывание в частном облаке по контракту, соответствующему вашим требованиям к защите данных. Выбор оптимального варианта зависит от характера ваших данных, действующих контрактов и уровня готовности к рискам; его следует принимать совместно с ответственным за защиту данных в вашей компании.
Расходы, которые необходимо учесть
Локальный ИИ переносит затраты с платы за каждый запрос на оборудование и операционные расходы. Помимо самой машины необходимо учитывать расходы на электроэнергию и охлаждение, человека, который обновляет модели и драйверы, системы мониторинга, резервное копирование, а также запасной план на случай сбоев оборудования. Для небольшой команды с стабильным потоком документов это часто бывает дешевле и проще, чем кажется. Однако при внезапно возрастающих или очень больших объемах работы облако может оставаться более экономичным с точки зрения цены.
Мы создаем локальные системы обработки для рассмотрения документов и интеграции данных внутри инфраструктуры клиента. Ознакомьтесь с ИИ-агентами для рассмотрения документов и интеграцией клиентских данных, а также с аспектами регулирования в статье AI Act и GDPR для автоматизации с использованием ИИ.