Ollama auf IBM Z und LinuxONE: Lokale LLMs innerhalb der Vertrauensgrenze

Warum Mainframes und lokale LLMs zusammengehören

Mainframes schützen bereits einige der sensibelsten Unternehmensdaten der Welt. Die offene Frage ist, ob sie auch moderne Sprachmodelle hosten können, ohne diese Daten in externe GPU-Clouds oder spezielle Geräte zu übertragen.

Für regulierte Arbeitslasten ist die Antwort keine rein theoretische. Das Verlegen von Finanz-, Gesundheits- oder Regierungsdaten außerhalb der Plattform führt zu Compliance-Risiken, verlängerten Prüfprozessen und höherer Latenz. Die Z- und LinuxONE-Plattformen bieten bereits Isolierungsfunktionen, Kryptografie sowie Betriebskontrollmechanismen, die nur wenige Standard-Clouds bieten können. Lokale Inferenz erweitert diesen Schutzbereich, anstatt Lücken darin zu schaffen.

Ollama – eine beliebte lokale LLM-Laufzeitumgebung – nativ auf s390x ein. Die Verpackung des Programms war nicht der schwierige Teil; das eigentliche Problem lag darin, little-endian-Modellgewichte auf einer big-endian-Maschine zu lesen. Sobald dieser Aspekt geklärt war, folgte der Rest der Portierung.

Was geändert werden musste

Ollama auf anderen Architekturen setzt voraus, dass GGUF-Tensoren sowie zugehörige Metadaten im little-endian-Format vorliegen. Auf dem big-endian-basierten s390x führen naive Ladevorgänge dazu, dass Fließkommazahlen und Ganzzahlen verfälscht werden. Die Lösung besteht darin, an den Grenzen der Tensoren sowie an allen Stellen auf der Festplatte, an denen mehrbytegroße Werte kodiert sind, gezielt Bytes auszutauschen – zusätzlich wird überprüft, ob Embeddings und Logits innerhalb einer zulässigen Toleranz mit einem bekannten, funktionierenden little-endian-Laufzeitmodell übereinstimmen.

Build und CI mussten entweder cross-kompilieren oder native Builds für s390x erstellen, das Laden und Ausführen von Modellen testen sowie Endianness-Fehler vorher erkennen, bevor diese als „das Modell ist dumm“ erschienen. Die Möglichkeiten zur GPU-Offloading unterscheiden sich bei Z-Systemen von herkömmlichen NVIDIA-Grafikkarten; CPU-basierte Inferenz mit Unternehmensverschlüsselung und Isolierung kann auch dann vorteilhaft sein, wenn die Leistung in Tokens pro Sekunde hinter einer Gaming-GPU zurückbleibt, insbesondere bei sensiblen Datensätzen.

Ausführung

Nach dem Portieren gelten die bekannten Ollama-Befehle auf LinuxONE/Z Linux weiterhin:

oc label pvc <pvc-name> opendatahub.io/dashboard=true -n <namespace>

Die Anwender laden ein Modell, führen eine Anfrage aus und speichern die Gewichte in derselben regulierten Zone wie die Queldokumente. Das ist der Vorteil des Produkts: die Inferenz findet dort statt, wo sich die Daten bereits befinden.

Wer sollte sich dafür interessieren?

• Banken und Versicherungen mit auf Z basierenden Datensystemen
• Behörden des öffentlichen Sektors, denen der Zugang zu öffentlichen LLM-APIs verwehrt ist

Teams, die bereits anderswo auf Ollama umgestellt haben und eine lokale Benutzeroberfläche für den Betrieb wünschen

Lokale LLMs auf s390x sind keine bloßen Demonstrationen. Sie stellen eine Möglichkeit dar, den Vertrauensrahmen für die Inferenz mit dem bereits investierten Vertrauensrahmen der Daten in Einklang zu bringen.

Betriebshinweis: Betrachten Sie endianness-konforme Lader als sicherheitsrelevante Codeabschnitte. Ein übersehener Datenaustausch kann wie zufällige Qualitätsverluste erscheinen und Tage an „Prompt-Tuning“ verschwenden, obwohl das eigentliche Problem fehlerhafte Bytes über die Leitung vom Speicher stammen.

Betriebshinweis: Betrachten Sie endianness-konforme Lader als sicherheitsrelevante Codeabschnitte. Ein übersehener Datenaustausch kann wie zufällige Qualitätsverluste erscheinen und Tage an „Prompt-Tuning“ verschwenden, obwohl das eigentliche Problem fehlerhafte Bytes über die Leitung vom Speicher stammen.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.

Betriebshinweis: Behandeln Sie endianness-konforme Lader als sicherheitsrelevante Code. Ein übersehener Datenaustausch kann wie zufälliger Qualitätsverlust aussehen und Tage an „Prompt-Tuning“ verschwenden, obwohl der eigentliche Fehler in den über das Netzwerk vom Festplattenspeicher übertragenen Bytes liegt.