Ollama на IBM Z та LinuxONE: локальні LLM у межах зони довіри
Перенесення Ollama на IBM Z та LinuxONE зводиться до безпечного завантаження ваг моделей з урахуванням ендіану, щоб локальна ШІ могла обробляти регульовані дані без їх виходу за межі захищеного простору.
Джерела: **Ollama on IBM Z & LinuxONE (s390x): Enabling Local LLM Inference on the Mainframe**
Чому мейнфрейми та локальні LLM належать до одного речення
Мейнфрейми вже захищають деякі з найбільш конфіденційних корпоративних даних у світі. Залишається відкритим питання, чи можуть вони також розміщувати сучасні моделі мов без передачі цих даних до зовнішніх хмар на базі GPU чи спеціалізованих пристроїв.
Для робочих завдань, що підлягають регулюванню, відповідь не є теоретичною. Перенесення фінансових, медичних чи урядових даних за межі платформи створює ризики недотримання правил, ускладнює аудит та збільшує затримки. Платформи Z та LinuxONE вже мають функції ізоляції, криптографію та механізми керування, якими не можуть зрівнятися більшість стандартних хмар. Локальна обробка даних розширює ці межі довіри, замість того щоб створювати в них дірки.
Улітку 2026 року робота в лабораторії IBM у Поукіпсі дозволила нативно впровадити Ollama — популярний місцевий движок для роботи з LLM — на процесорах s390x. Упакування програмного забезпечення не стало складною частиною. Справжньою проблемою була коректність обробки даних: необхідно було читати ваги моделей у форматі little-endian на пристрої з форматом big-endian. Як тільки цей аспект було вирішено, решта процесу портування йшла легко.
Що потрібно було змінити
Ollama на інших архітектурах передбачає використання формату little-endian для тензорів GGUF та відповідних метаданих. На пристроях s390x з форматом big-endian примітивне завантаження даних спричиняє порушення порядку цілих та дробових чисел. Рішенням є систематична заміна байтів на межах тензорів (та в будь-яких інших місцях на диску, де зберігаються багатобайтові значення), а також перевірка на те, чи ембеддинги та логітти відповідають стандартному формату little-endian з допустимою похибкою.
Build та CI мусили здійснювати крос-компіляцію або нативну компіляцію для s390x, тестувати завантаження/запуск моделей та виявляти проблеми з форматом даних ще до того, як це починало виглядати як „модель просто дурна“. Ситуація з використанням GPU для обробки даних відрізняється у системах типу Z та окремих карт NVIDIA; обробка даних на CPU з використанням корпоративних алгоритмів шифрування та ізоляції все ще може бути кращим вибором для конфіденційних даних, навіть якщо швидкість обробки на кожну секунду поступається геймінговим GPU.
Запуск
Після адаптації на LinuxONE/Z Linux можна використовувати знайомі команди Ollama:
oc label pvc <pvc-name> opendatahub.io/dashboard=true -n <namespace>
Оператори завантажують модель, виконують запит та зберігають її ваги у тій самій контрольованій зоні, що й вихідні документи. У цьому полягає перевага продукту: обробка даних відбувається там, де вже знаходяться дані.
Кому це важливо
- Банки та страхові компанії з системами запису даних, орієнтованими на технології типу Z
- Установи державного сектора, яким заборонено використовувати публічні API LLM
Локальні моделі LLM на серверах s390x — це не просто демонстраційні засоби. Це спосіб зберегти взаємозв’язок між межами довіри до результатів обробки та межами довіри до даних, які ви вже інвестували у їх створення.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова знижка якості та призвести до марної втрати днів на налаштування запитів, тоді як справжньою проблемою є байти, що передаються по каналу з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова знижка якості та призвести до марної втрати днів на налаштування запитів, тоді як справжньою проблемою є байти, що передаються по каналу з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.
Примітка щодо експлуатації: сприймайте завантажувачі, які враховують ендіан, як код із значенням для безпеки. Неправильна заміна даних може виглядати як випадкова зниження якості та призводити до втрати кількох днів на „налаштування запитів“, тоді як справжньою проблемою є байти, що передаються з диска.