Ollama на IBM Z і LinuxONE: местныя LLM-ы ў межах прастору доверьня
Пераклад Ollama на IBM Z і LinuxONE заключаецца у безпечным завантажэнні дадзейнаў, якія адпавядаюць правіламам эндыяна, тады локальны LLM можа обслужваць рэгулюемыя даны без таго, каб яны пакінулі межы доверлівага прастору.
Крыніцы: **Ollama on IBM Z & LinuxONE (s390x): Enabling Local LLM Inference on the Mainframe**
Чаму мейнфрэймы і локальныя LLM-мадэлі паслужаюць частым элементам аднае рэчы
Мейнфрэймы ужо захоўваюць некалькі з самых чутлівых корпаратыўных дадзенняў у свеце. Адкрытым пытаннем застаёцца, чы можа ў іх таксама размешчаць савэтныя мовныя мадэлі, не перадаючы гэтыя дадзеныя у зовнішнія GPU-воблака чы спецыяльныя прыстроі.
Для задач, якія падлягаюць рэгулюванню, адпаведны адказ не ёсць тэорычным. Перанесенне фінансавых, медычных чы урадовых дадзенняў за межы платформы стварае рызыкі несанкцыйнасці, ускладнення пад час аўдыту і затрымкі. Платформы Z і LinuxONE ужо маюць функцыі із ізоляцыі, крыптаграфіі і аператывных мерах контролю, якія рэдкая звычайная хмара можа запропанаваць. Локальныя обчысленні расшыруюць гэтыя межы довер'я, а не ствараюць ў яных прычыны для падазроў.
У лета 2026 года работа ў лабараторыі IBM у Паугкіпсі дазволіла адразу запрацаваць Ollama — популярны местны двойчык-мадэль для адпрацоўкі мовных задач — на s390x. Упакоўка не была складным элементам. Складнай была правільнае адпрацоўка дадзеных: чытанне ваг мадэлі у фармаце little-endian на апаратах з фарматам big-endian. Калі гэты аспект быў выправлены, застала толькі адпрацоўка рэшты элементаў.
Што трэба было змяніць
Ollama на іншых архітэктурах прыпускае фармат little-endian для тэнзораў GGUF і супакойных з імі метададзеных. На апаратах s390x з фарматам big-endian простая адпрацоўка дадзеных спануляе значэння флотаў і цалых лічб. Рашэннем была адгукованая замена байтов у месцах чытання тэнзораў (і ў будзь-якіх іншых месцах на дыску, дзе структуры кодуюць багатабайтовыя значэння), а таксама перакананне, што значэнні embeddings і logits падпадаюць пад нормы, вядомыя з правільна працюючага варыянта у фармаце little-endian.
Build і CI павялі былі выконваць крос-кампайляванне або стандартна компіляцыя для s390x, працаваць з мадэлямі, якія запускаюцца, і выловляць багі, связаныя з фарматамі дадзеных, перш чым гэта стане прычыной падзіркі, што “мадэль некалітая”. Способы выкарыстоўвання GPU разныя для сістэмы Z і дыскрэтных карточак NVIDIA; адгукненне CPU з відпаведным шыфраванням і ізоляцыяю можа застацца лепшым выборам для чутлівых дадзеных, нават калі працэсаваськае выданне токеноў/секунду ёст меньшы, чым у геймінговых GPU.
Выконанне
Пасля адаптавання на LinuxONE/Z Linux можна выкорыстоўваць звычныя каманды Ollama:
oc label pvc <pvc-name> opendatahub.io/dashboard=true -n <namespace>
Аператары запускаюць мадэль, задаюць запіт і зберагаюць вагі ў той жа рэгулюемы рэжыон, дзе знаходзяцца выхідныя дакументы. Гэта і ёсць прынцыповая перавага: адгукненне застаецца там, дзе ужо знаходзяцца дадзеныя.
Кому гэта важна
- Банкі і страховыя компаніі, якія выкарыстоўваюць сістэмы зберагача дадзеных, орыентаваныя на Z
- Установы дзяржавнага сектора, якім забаранена адчыненая доступа да API LLM
Локальныя LLM-модулі на с390x — гэта не проста дэманстрацыя. Гэта спосаб зберагчаць грані довярэння практык пры вычысленнях у зусімнай адпаведнасці з гранямі довярэння да дадзеных, якія вы ужо створылі.
Практычны патрабунак: спрыяйце карбаванню чытальнікаў, якія врачуваюць фармат байтов, як коду, значным для безпекі. Неправільная замена дадзеных можа выглядаць як вялікая падышка ў якасці, што прыводзіць да втраты калькама дней на “налашчванне запросаў”, хоча рэальная прычына — байты, якія пераводзяцца па каналу з дыска.
Практычны патрабунак: спрыяйце карбаванню чытальнікаў, якія врачуваюць фармат байтов, як коду, значным для безпекі. Неправільная замена дадзеных можа выглядаць як вялікая падышка ў якасці, што прыводзіць да втраты калькама дней на “налашчванне запросаў”, хоча рэальная прычына — байты, якія пераводзяцца па каналу з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправе прычына — байты, якія пераходзяць па канале з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправе прычына — байты, якія пераходзяць па канале з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправе прычына — байты, якія пераходзяць па канале з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправе прычына — байты, якія пераходзяць па канале з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значны для безпекі. Неадказна замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі рэальныя проблемы стаюць у байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значным для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значным для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значным для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.
Указванне па эксплуатацыі: трэба ставіцца да ладчыкаў, якія ведаюць пра фармат эндыяна, як да коду, значным для безпекі. Неправільная замена можа выглядаць як раптовая падышча якосці і прыводзіць да втраты калькуляў часу на «налагоджэнне запрошэння», калі насправды проблема заключаецца ў байтах, якія пераводзяцца з дыска.