IA local para documentos confidenciales: qué ejecutar en su propio hardware

Contratos, nóminas, registros médicos, auditorías a proveedores, estados de cuenta bancarios: muchos de los documentos que las empresas más desean automatizar son precisamente los que menos quieren enviar a una API en la nube. La IA local significa que los modelos, la extracción de texto y los resultados almacenados se ejecutan en el hardware que controla la empresa, por lo que los documentos nunca salen de allí. Actualmente es una opción práctica, pero conlleva compromisos que es mejor comprender antes de adquirir un servidor.

Qué debe cubrir lo “local”

Ejecutar el modelo de lenguaje en su propia máquina es solo una parte. Un pipeline de documentos tiene varias etapas, y cada una de ellas puede filtrar datos si llama a un servicio externo:

• Extracción de texto y OCR. Los PDF escaneados y las fotos necesitan OCR. Muchas opciones prácticas de OCR son servicios en la nube; existen motores locales que funcionan bien con escaneos nítidos.
• Embebidos y búsqueda. Si los documentos se indexan para búsquedas o respuestas a preguntas, el modelo de embebidos y el índice vectorial también deben estar en el equipo local.
• El modelo de lenguaje. Clasificación, extracción, resúmenes y verificación de reglas.
• Registros, colas y copias de seguridad. Los registros de depuración suelen contener el texto completo de un documento. Necesitan las mismas reglas de retención y acceso que los propios documentos.
• Telemetría. Algunas herramientas informan automáticamente sobre su uso al proveedor. Esto debe desactivarse y bloquearse cualquier conexión saliente desde los servidores de inferencia.

Qué hardware realmente necesitas

La respuesta breve: la memoria decide qué modelos se cargan, y el resto del hardware determina cuán rápido se ejecutan. Medimos esto en varias máquinas con el mismo conjunto de pruebas, y los resultados se presentan en cuatro artículos separados:

• RTX 5060 Ti 16 GB: una sola tarjeta para consumidores ya puede ejecutar modelos de clase 27B; la configuración más rápida que medimos alcanzó 115.9 tokens por segundo.
• RTX 5090: el mismo modelo Qwen3.8-27B funcionó entre 67.2 y 253.4 tokens por segundo, dependiendo del motor de inferencia, lo que demuestra cuán importante es la capa de software.
• Mac Studio M5 Ultra vs DGX Spark: dos equipos del tamaño de un escritorio con gran memoria unificada para modelos que no caben en una GPU de juegos.
• ¿Cuánta memoria se necesita para la IA local?: qué puede ejecutar cada categoría, desde 16 GB hasta 512 GB.

En el trabajo con documentos, la velocidad bruta rara vez es el cuello de botella. Un lote de unas pocas cientos de facturas al día representa una carga pequeña para una GPU decente. Lo que importa más es que el modelo sea lo suficientemente bueno para los documentos, algo que solo se puede saber probándolo con ellos.

Dónde son más débiles los modelos locales

Los modelos en la nube más grandes siguen teniendo ventaja en el razonamiento complejo, los documentos extensos y desordenados, y los idiomas inusuales. Los modelos locales reducen en gran medida esa brecha en tareas específicas y bien definidas, especialmente cuando el proceso está diseñado teniendo en cuenta sus limitaciones:

• dejar que el código haga lo que hace mejor: fechas, sumas, verificaciones de IVA, comparaciones con una lista de proveedores;
• darle al modelo una pregunta a la vez en lugar de pedirle que “revise este contrato”;
• utilizar una salida estructurada (campos fijos) para que las respuestas puedan validarse automáticamente;
• enviar los casos inciertos a una persona en lugar de forzar una respuesta.

Si un modelo local determinado es lo suficientemente bueno es una cuestión empírica. Crea un conjunto de pruebas con documentos reales y compara a los candidatos en él; nuestras notas sobre evaluaciones y revisión humana describen cómo hacerlo.

Un híbrido suele ser la respuesta adecuada

No todos los documentos son igualmente sensibles. Un diseño común consiste en guardar los documentos confidenciales en modelos locales y utilizar un modelo en la nube para el material público o anonimizado, con una regla de enrutamiento definida y aplicada mediante código. Otra opción es una implementación en nube privada bajo un contrato que se ajuste a sus obligaciones de protección de datos. Cuál es la opción correcta depende de sus datos, sus contratos y su tolerancia al riesgo, y debe decidirse en colaboración con quien sea responsable de la protección de datos en su empresa.

Costos a considerar

La IA local traslada el costo de las tarifas por solicitud a los gastos de hardware y operaciones. Además de la propia máquina, hay que planificar la energía y el enfriamiento, a alguien que actualice modelos y controladores, el monitoreo, las copias de seguridad y un plan de respaldo en caso de fallo del equipo. Para un equipo único con un flujo constante de documentos, esto suele ser más económico y sencillo de lo que parece. Para cargas de trabajo irregulares o muy grandes, la nube puede seguir siendo más económica en precio.

Construimos pipelines locales para la revisión de documentos y la integración de datos dentro de la infraestructura del cliente. Consulte agentes de IA para la revisión de documentos y integración de datos de clientes, o el aspecto regulatorio en AI Act y GDPR para la automatización con IA.