Ollama на IBM Z и LinuxONE: локальные LLM внутри зоны доверия

Почему мейнфреймы и локальные LLM должны упоминаться в одном предложении

Мейнфреймы уже обеспечивают защиту некоторых из самых конфиденциальных корпоративных данных в мире. Остается открытым вопрос: могут ли они также хранить современные языковые модели, не передавая эти данные во внешние облака с GPU или специализированные устройства.

Для задач, подлежащих регулированию, ответ не является теоретическим. Перенос финансовых, медицинских или государственных данных вне платформы создаёт риски несоответствия нормам, затрудняет аудит и увеличивает задержки. Платформы Z и LinuxONE уже оснащены функциями изоляции, криптографией и механизмами управления, с которыми едва ли могут сравниться обычные облачные сервисы. Локальная обработка данных расширяет границы этого доверия, вместо того чтобы создавать в нём пробелы.

Летом 2026 года работа в лаборатории IBM в Поуккипси позволила нативно запустить Ollama — популярную местную среду выполнения больших языков моделирования — на процессорах s390x. Упаковка кода не стала сложной частью. Настоящей проблемой оказалась корректность обработки данных: необходимо было читать веса модели в формате little-endian на машине с форматом big-endian. Как только этот аспект был решён, остальная часть портирования последовала за ним.

Что пришлось изменить

Ollama на других архитектурах предполагает использование формата little-endian для тензоров GGUF и связанных с ними метаданных. На процессорах s390x с форматом big-endian простое загрузчик данных искажает значения чисел с плавающей точкой и целых чисел. Решением стало строгое обменение байтами на границах тензоров (а также в любых других местах на диске, где хранятся многобайтовые значения), а также проверка того, чтобы значения эмбеддингов и логитов соответствовали известному корректному варианту с форматом little-endian в пределах допустимой погрешности.

Для совместимости с архитектурой s390x необходимо было либо выполнять кросс-компиляцию, либо создавать приложения нативно, тестировать загрузку и запуск моделей, а также выявлять ошибки, связанные с форматом данных, прежде чем они станут причиной ошибочных выводов вроде «модель несправна». Способы использования графических процессоров для обработки данных отличаются в системах на базе архитектуры Z и отдельных карт NVIDIA; однако инференс на процессоре с использованием корпоративных алгоритмов шифрования и механизмов изоляции может оставаться более предпочтительным вариантом для обработки конфиденциальных данных, даже если скорость обработки в токенах в секунду ниже, чем у игровых графических процессоров.

Запуск

После адаптации приложения на системах LinuxONE/Z Linux можно использовать привычные команды Ollama:

oc label pvc <pvc-name> opendatahub.io/dashboard=true -n <namespace>

Операторы загружают модели, запускают запросы и хранят веса моделей в той же защищенной зоне, что и исходные документы. В этом и заключается преимущество решения: инференс происходит там, где уже находятся данные.

Кому это важно

• Банки и страховые компании с системами хранения данных, ориентированными на архитектуру Z
• Организации государственного сектора, у которых нет доступа к публичным API больших языковых моделей

Команды, которые уже использовали Ollama в других проектах и хотят иметь одинаковый интерфейс оператора в локальной среде

Локальные нейронные сети на процессорах s390x — это не просто демонстрационный инструмент. Это способ согласовать границы доверия к результатам обработки с границами доверия к данным, которые вы уже инвестировали в их создание.

Практический совет: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может привести к случайному снижению качества результата и потере нескольких дней на настройку запросов, в то время как настоящая проблема кроется в байтах, передаваемых с диска.

Практический совет: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может привести к случайному снижению качества результата и потере нескольких дней на настройку запросов, в то время как настоящая проблема кроется в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.

Примечание к эксплуатации: рассматривайте загрузчики, учитывающие эндиан, как код, имеющий значение для безопасности. Неправильная замена данных может выглядеть как случайное снижение качества и привести к потере нескольких дней на «настройку подсказок», в то время как настоящая проблема заключается в байтах, передаваемых с диска.