Cerebras-Wafer gegen GPU für LLM-Inferenz: ein GPT-OSS-Benchmark

Schlägt ein Cerebras-Wafer bei der LLM-Inferenz tatsächlich eine GPU? Die Antwort hängt von der Art der Anfrage ab, deshalb läuft der Test unten in zwei Stufen. Zuerst kommt ein praktischer Benchmark mit GPT-OSS, dem Reasoning-Modell von OpenAI mit offenen Gewichten, einmal ausgeliefert über Cerebras Cloud und einmal über die gewöhnliche GPU-Infrastruktur von Fireworks AI. Danach taucht dieselbe Hardware hinter einem der kommerziellen Frontier-Modelle von OpenAI selbst auf, GPT-5.6 Sol, und die Frage lautet, wie viel schneller es dort wird.

Erst drei Begriffe klären

• Inferenz heißt, ein bereits trainiertes LLM laufen zu lassen, um zu einer Eingabe eine Antwort zu erzeugen.
• Fast all diese Arbeit läuft heute auf GPUs, Chips voller Kerne, die Tausende Berechnungen parallel erledigen.
• Cerebras geht einen ganz anderen Weg. Seine Wafer-Scale Engine (WSE) nutzt einen kompletten Silizium-Wafer als einen einzigen Prozessor.

Das getestete Modell

GPT-OSS gibt es in den Größen 20B und 120B. Es ist für Reasoning und Tool-Nutzung gebaut und lässt sich auch außerhalb der OpenAI-Infrastruktur betreiben. Für dieses Experiment passt die 120B-Version. Sie ist groß genug, dass die Hardware darunter wirklich zählt, und trotzdem hosten sie mehrere Anbieter, sodass sich dieselben Gewichte über verschiedene Anbieter hinweg vergleichen lassen.

Die genaue Modell-ID lautet openai/gpt-oss-120b. Die Eckdaten:

• 36 Transformer-Schichten mit Mixture-of-Experts-Architektur
• insgesamt 116,8 Milliarden Parameter, davon etwa 5,1 Milliarden pro Token aktiv
• 128 Experten, davon vier pro Token aktiv
• ein Kontextfenster von 128K Tokens
• MoE-Gewichte auf MXFP4 quantisiert

OpenAI hat die Größe so gewählt, dass das Modell auf eine einzige GPU mit 80 GB passt. Das hält die GPU-Seite des Vergleichs mit der WSE einfach und fair.

Warum ein Prompt nicht reicht

Ein einzelner Prompt würde sehr wenig beweisen. Verschiedene Inferenz-Jobs verbrauchen ihre Zeit an verschiedenen Stellen. Bei einer kurzen Antwort dominiert die Startlatenz. Eine lange Antwort zeigt, wie schnell das System dauerhaft Tokens erzeugen kann. Ein riesiger Prompt belastet die Verarbeitung der Eingabe, bevor überhaupt ein Ausgabe-Token erscheint.

Deshalb deckt der Benchmark fünf Workload-Typen ab. Jeder läuft 10-mal auf der WSE und 10-mal auf dem GPU-Setup, und jeder Lauf erfasst, wie lange das erste Token dauerte, wann der erste echte Antworttext kam, die Gesamtlatenz, den Durchsatz, die verbrauchten Tokens und die Kosten.

Das Ganze steckt in einem Google-Colab-Notebook mit den fünf Workload-Stufen, gepaarten Wiederholungsläufen, Token- und Latenzmessung, Kostenrechnung und Aggregation der Ergebnisse. Zum Ausführen braucht man Konten bei Cerebras Cloud und Fireworks AI mit ausreichend Guthaben, und die API-Schlüssel kommen in die Colab Secrets.

Was die Zahlen zeigten

Über die 10 gepaarten Läufe pro Workload lag Cerebras dann am weitesten vorn, wenn das Modell viel zu überlegen oder zu generieren hatte. Je mehr Tokens es ausgeben musste, ob als Denkschritte oder als endgültige Antwort, desto größer war die Beschleunigung von Anfang bis Ende. Eine große Eingabe allein brachte nicht denselben Effekt.

Bei den Kosten lief es andersherum. Jede WSE-Anfrage war teurer. Bei langen Generierungen sah der Tausch trotzdem gut aus: Die mittleren Kosten stiegen um etwa 26 %, während die Ende-zu-Ende-Latenz um etwa 87 % sank.

Dieselbe Idee bei einem kommerziellen Modell

Cerebras ist nicht auf Modelle mit offenen Gewichten beschränkt. OpenAI selbst betreibt GPT-5.6 Sol auf Cerebras-Hardware über eine Service-Stufe namens Ultrafast. Das Modell bleibt gpt-5.6-sol, nur die Art, wie die Anfrage bedient wird, ändert sich. OpenAI gibt an, dass Ultrafast bis zu 750 Ausgabe-Tokens pro Sekunde erreichen kann, also bis zu 14-mal schneller als die Standardverarbeitung. Es ist eine Service-Stufe und kein eigenes GPT-5.6-Modell.

API-Nutzer mit Ultrafast-Zugang setzen einfach eine Option in der Anfrage, um den WSE-gestützten Weg zu nehmen. Zum Zeitpunkt des Schreibens bietet ChatGPT diesen Modus nicht an. Nicht zu verwechseln mit der Reasoning-Einstellung "Ultra" in ChatGPT Work, das ist etwas anderes.

Im Snippet unten wird das normale Modell gpt-5.6-sol gewählt, und service_tier="ultrafast" bittet OpenAI, diesen Aufruf über die Ultrafast-Stufe abzuwickeln.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-5.6-sol",
    service_tier="ultrafast",
    input="Explain why inference latency matters for multi-step AI agents."
)

print(response.output_text)

Auch fürs Training

Schnellere Antworten sind nicht das Einzige, was die Hardware bietet. Cerebras vermietet Wafer-Scale-Kapazität auch für Training und Fine-Tuning. Seine Training Cloud reicht vom Fine-Tuning eines bestehenden Modells bis zum Pretraining eines neuen, für dichte, Mixture-of-Experts-, multimodale, Reasoning- und eigene Architekturen. Das Verkaufsargument ist Einfachheit: Derselbe Trainingscode soll bis zu sehr großen Modellen skalieren, ohne das Modell von Hand zu sharden oder selbst Infrastruktur für Modellparallelität aufzubauen.