Ollama en IBM Z y LinuxONE: LLM locales dentro del límite de confianza
La portación de Ollama a IBM Z y LinuxONE se redujo a la carga de pesos segura desde el punto de vista del endián, de modo que un modelo LLM local puede procesar datos regulados sin que estos salgan del entorno confiable.
Fuentes: **Ollama on IBM Z & LinuxONE (s390x): Enabling Local LLM Inference on the Mainframe**
Por qué los mainframes y los LLM locales pertenecen a la misma oración
Los mainframes ya protegen algunos de los datos empresariales más sensibles del mundo. La pregunta pendiente es si también pueden albergar modelos de lenguaje modernos sin tener que transferir esos datos a nubes GPU externas o dispositivos especializados.
En el caso de cargas de trabajo reguladas, la respuesta no es meramente teórica. Sacar textos financieros, de salud o gubernamentales de la plataforma genera riesgos de incumplimiento normativo, retrasos en las auditorías y mayor latencia. Las plataformas Z y LinuxONE ya incluyen funciones de aislamiento, criptografía y controles operativos que pocas nubes genéricas pueden igualar. La inferencia local amplía ese límite de confianza en lugar de abrir un agujero en él.
En el verano de 2026, el trabajo en el laboratorio de IBM en Poughkeepsie permitió integrar Ollama —un entorno de ejecución local de LLM muy popular— de forma nativa en s390x. Empaquetar el software no fue la parte difícil; lo complicado fue garantizar la corrección al leer los pesos del modelo en formato little-endian en una máquina de tipo big-endian. Una vez resuelto ese problema, el resto de la adaptación fue sencilla.
Qué había que cambiar
Ollama en otras arquitecturas asume layouts en formato little-endian para los tensores GGUF y su metadato relacionado. En el sistema s390x de tipo big-endian, las cargas realizadas de forma directa alteran los valores flotantes e enteros. La solución consiste en realizar un intercambio sistemático de bytes en los límites de carga de los tensores (y en cualquier otra estructura en disco que almacene valores multibyte), además de validar que los embeddings y logits coincidan, dentro de un margen tolerable, con los resultados obtenidos en un entorno little-endian funcional.
Build y CI tenían que realizar compilación cruzada o compilación nativa para s390x, probar la carga y ejecución de modelos, y detectar errores de endianness antes de que pareciera que “el modelo es inútil”. Las situaciones relacionadas con la descarga a GPU difieren entre los sistemas Z y las tarjetas NVIDIA discretas; la inferencia en CPU con criptografía empresarial e aislamiento puede seguir siendo la mejor opción para conjuntos de datos sensibles, incluso cuando las tasas de tokens por segundo son inferiores a las de una GPU para juegos.
Ejecutarlo
Después de la adaptación, los comandos habituales de Ollama son aplicables en LinuxONE/Z Linux:
oc label pvc <pvc-name> opendatahub.io/dashboard=true -n <namespace>
Los operadores cargan un modelo, ejecutan una solicitud y mantienen los pesos dentro de la misma zona regulada que los documentos originales. Ese es el beneficio del producto: la inferencia se realiza donde ya se encuentran los datos.
Quienes deberían preocuparse
- Bancos y compañías de seguros con sistemas de registro centrados en Z
- Instituciones del sector público a las que se les prohíbe acceder a APIs de LLM públicas
Los modelos LLM locales en s390x no son solo una demostración curiosa. Son una forma de mantener el límite de confianza en las inferencias alineado con el límite de confianza de los datos que ya se ha invertido en construir.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un error en el intercambio de datos puede parecer una pérdida aleatoria de calidad y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un error en el intercambio de datos puede parecer una pérdida aleatoria de calidad y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio no realizado puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio no realizado puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio no realizado puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio no realizado puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato de datos como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes que se transmiten desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Nota operativa: trate a los cargadores conscientes del formato endian como código relevante para la seguridad. Un intercambio fallido puede parecer una pérdida de calidad aleatoria y hacer perder días en el “ajuste de prompts”, cuando el verdadero problema son los bytes transmitidos desde el disco.
Lecturas relacionadas
- LLMs locales con Ollama: CLI, API y redes WSL — Elige modelos adecuados con llmfit, inspecciona etiquetas mediante ollama show y accede a una API de Ollama alojada en Windows desde WSL usando la IP del gateway.
- RAG de PDF totalmente local con LangChain, Ollama y Chroma — Procesa PDFs de forma local, incópalos con Ollama, guárdalos en Chroma y responde sin conexión; no se necesitan claves de API en la nube una vez cargados los modelos.
- llama.cpp vs vLLM vs Ollama: Elegir el motor local según las limitaciones — Portabilidad en portátiles, experiencia de uso sencilla o rendimiento GPU para múltiples usuarios: adapta llama.cpp, Ollama y vLLM al hardware y a la concurrencia en lugar de dejarte llevar por el marketing.