Hardware-Überprüfung für den lokalen Betrieb von 100B-Klassen-Modellen

Der Zugriff nur über API ist nicht länger die einzige Option für große Modelle, doch Anleitungen für Endanwender überspringen oft die Berechnungen zur Speichernutzung. Architekturen wie Mixture-of-Experts (MoE), Quantisierung sowie sorgfältig ausgewählte Bereitstellungsstacks ermöglichen es, enorme Parameterzahlen auf Workstation-GPUs zu verarbeiten – innerhalb der durch VRAM festgelegten Grenzen und nicht aufgrund von Marketingaspekten.

Warum MoE die Kostenkurve verändert

Dichte Modelle aktivieren alle Parameter pro Token. Bei MoE wird jeder Token an eine Untergruppe von Experten weitergeleitet. Die Anzahl der Parameter kann enorm sein, während die aktive Rechenleistung pro Token eher der eines kleineren dichten Modells entspricht. Das verbessert die Durchsatzrate, doch die Gewichte belegen weiterhin Speicher, es sei denn, sie werden quantisiert und/oder ausgelagert.

Einfache Erklärung zur spärlichen Routenvergabe

Stellen Sie sich ein Gremium vor, in dem nur wenige Spezialisten zu jeder Frage Stellung beziehen. Der Router wählt die Experten aus; die anderen bleiben still. Die Implementierungsdetails unterscheiden sich je nach Modellfamilie, doch die hardwareseitigen Auswirkungen bleiben stabil: Man muss viele Experten speichern, auch wenn pro Schritt nur wenige verwendet werden.

[Input Token] ---> [Gating Router]
                        |
            +-----------+-----------+
            | (Top-2 Selected)      |
            v                       v
     [Expert 2: Code]       [Expert 5: Logic]
            |                       |
            +-----------+-----------+
                        |
                        v
                 [Output Token]

VRAM gegen Rechenleistung

Die Unterbringung der Gewichte in der VRAM bestimmt die Machbarkeit für Endanwender. Die durch Sparsamkeit erzielten Recheneinsparungen heben nicht die Notwendigkeit auf, Parameter, KV-Cache und Aktivierungen zu speichern. Lange Kontexte erhöhen schnell den Druck auf den KV-Cache.

import torch
import torch.nn as nn

class TopKGating(nn.Module):
    """
    Simulates a dynamic routing mechanism that selects the top-2 experts
    for an incoming token, demonstrating how MoE limits active computation.
    """
    def __init__(self, input_dim, num_experts, top_k=2):
        super().__init__()
        self.router = nn.Linear(input_dim, num_experts)
        self.top_k = top_k

    def forward(self, x):
        # Calculate router logits for each expert
        logits = self.router(x)
        # Select the top-K experts and their respective scaling weights
        weights, indices = torch.topk(logits, self.top_k, dim=-1)
        # Apply softmax to normalize scaling coefficients
        weights = torch.softmax(weights, dim=-1)
        return weights, indices

# Example input tensor representing 1 token with 512 dimensions
token_embedding = torch.randn(1, 512)
gating_layer = TopKGating(input_dim=512, num_experts=8, top_k=2)
weights, chosen_experts = gating_layer(token_embedding)

# Output shows which 2 experts out of 8 will perform the computation
print(f"Routing Weights: {weights.detach().numpy()}")
print(f"Selected Expert Indices: {chosen_experts.detach().numpy()}")

Abwägungen bei Quantisierung

4-Bit- und ähnliche Verfahren verkleinern die Gewichte, sodass ein MoE-Modell der 100B-Klasse nahezu den Leistungsniveau von Mehr-GPU- oder hochwertigen Ein-GPU-Systemen mit viel VRAM erreichen kann. Perplexität und Aufgabenergebnisse verschlechtern sich mit zunehmender Aggressivität bei der Quantisierung; messen Sie daher an Ihren eigenen Aufgaben und nicht nur an Diagrammen auf Blogs.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

# Configure 4-bit quantization using NF4 (NormalFloat4)
# NF4 is a data type optimized specifically for normally distributed LLM weights
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,  # Compute in BF16 for speed
    bnb_4bit_quant_type="nf4",              # Use the optimized NF4 quantization
    bnb_4bit_use_double_quant=True          # Quantize constants for extra savings
)

model_id = "meta-llama/Llama-3-8B-Instruct"

# Load the tokenizer and model with the active quantization config
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=quantization_config,
    device_map="auto"  # Automatically offloads model layers to fit your GPU VRAM
)

# Test inference to verify the model runs locally
inputs = tokenizer("Explain quantum computing in one sentence.", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Praktische Lademuster

Bibliotheken stellen Quantisierungskonfigurationen sowie Gerätemappe bereit. Beginnen Sie mit dokumentierten Voreinstellungen und analysieren Sie anschließend die Token pro Sekunde sowie Fehlermuster bei Ihrem Batch-Größe.

Model Memory (GB) = (Parameter Count in Billions * (Bits per Weight / 8)) * 1.2

def estimate_vram_requirements(params_in_billions: float, bits_per_weight: int) -> float:
    """
    Calculates the minimum VRAM required to load a model and run inference.
    Includes a 20% safety buffer for KV cache and activation memory.
    """
    bytes_per_weight = bits_per_weight / 8
    base_model_size_gb = params_in_billions * bytes_per_weight
    total_vram_needed_gb = base_model_size_gb * 1.2
    return round(total_vram_needed_gb, 2)

# Estimate for a 70B model quantized to 4-bit precision
print(f"Required VRAM: {estimate_vram_requirements(70, 4)} GB")
# Output: Required VRAM: 42.0 GB

Was man kaufen sollte

Geben Sie Vorrang an ausreichendem GPU-VRAM, einem schnellen Datenträger für das Streamen der Gewichte sowie ausreichendem System-RAM zur Lastabgabe. Für Experimente existieren auch CPU-only-Lösungen, doch diese erfüllen selten die Anforderungen an eine interaktive Latenz bei der Verarbeitung von Modellen im 100B-Klassengrößenbereich. Bei der Sharding-Strategie sind Multi-GPU-NVLink-Verbindungen von Bedeutung.

import openai

# Configure the client to point to your local server instead of the cloud.
# This allows you to test code locally without paying for API tokens.
client = openai.OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="local-placeholder"  # Required by the SDK but ignored by the local server
)

# Call the local model using the standard OpenAI chat completion schema
response = client.chat.completions.create(
    model="meta-llama-3-8b-instruct",
    messages=[
        {"role": "user", "content": "Explain quantized model weight mapping."}
    ],
    temperature=0.7
)

print(response.choices[0].message.content)

Fazit

Die lokale 100B-Klasse MoE ist ein Problem der Speicherkapazitätsplanung, das als Leistungsdemo getarnt ist. Quantisieren Sie bewusst, messen Sie die Qualität und berechnen Sie die Hardwaregröße anhand von Speicherbedarf sowie KV-Anforderungen – und nicht allein anhand der Parameteranzahl. Halten Sie die Testumgebungen umweltfreundlich, messen Sie jede Phase getrennt voneinander und weigern Sie sich, Produkte allein aufgrund von Intuitionen zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen könnte. Halten Sie die Testumgebungen umweltfreundlich, messen Sie jede Phase getrennt voneinander und weigern Sie sich, Produkte allein aufgrund von Intuitionen zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen könnte. Halten Sie die Testumgebungen umweltfreundlich, messen Sie jede Phase getrennt voneinander und weigern Sie sich, Produkte allein aufgrund von Intuitionen zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen könnte. Halten Sie die Testumgebungen umweltfreundlich, messen Sie jede Phase getrennt voneinander und weigern Sie sich, Produkte allein aufgrund von Intuitionen zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen könnte. Halten Sie die Testumgebungen umweltfreundlich.

Halten Sie die Einrichtungen in einem guten Zustand, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu liefern, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Halten Sie die Testgeräte in einem guten Zustand, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen zu vertrauen beim Veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen könnte.Man kann denselben stillen Fehlermodus unter einem neuen Namen wieder einführen. Halten Sie die Geräte in Ordnung, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu versenden, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Geräte in Ordnung, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu versenden, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Geräte in Ordnung, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu versenden, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Geräte in Ordnung, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu versenden, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Geräte in Ordnung, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu versenden, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Bewahren Sie die Geräte in gutem Zustand, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen zu vertrauen beim Veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Halten Sie die Prüfgeräte in Ordnung, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen zu vertrauen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Halten Sie die Testumgebungen intakt, messen Sie jede Phase separat und weigern Sie sich, allein auf Intuitionen zu vertrauen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen könnte.Führen Sie denselben stillen Fehlermodus unter einem neuen Namen ein. Halten Sie die Testumgebungen intakt, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Testumgebungen intakt, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Testumgebungen intakt, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Testumgebungen intakt, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann. Halten Sie die Testumgebungen intakt, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem nHalten Sie die Geräte in einem guten Zustand, messen Sie jede Phase separat und weigern Sie sich, allein auf Intuitionen zu vertrauen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Halten Sie die Prüfgeräte in gutem Zustand, messen Sie jede Stufe getrennt voneinander und weigern Sie sich, allein auf Intuitionen zu vertrauen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Halten Sie die Testumgebungen in einem guten Zustand, messen Sie jede Phase getrennt voneinander und weigern Sie sich, allein auf Intuitionen hin etwas zu veröffentlichen, wenn die nächste Version denselben stillen Fehlermodus unter einem neuen Namen wieder einführen kann.Derselbe stille Fehlermodus unter einem neuen Namen.