Qwen3.8-Flash-Next: Ein 177B-Modell, das auf einer einzigen 24-GB-GPU läuft
Wie Qwen3.8-Flash-Next ein Mixture-of-Experts-Modell mit 177B auf bescheidene Hardware bringt: 6B aktive Parameter, eine N-Gramm-Tabelle, hybride Attention und ehrliche Benchmark-Lücken.
Warum ein 177B-Modell für Leute mit nur einer GPU zählt
Qwen3.8-Flash-Next vom Qwen-Team bei Alibaba bringt das Wissensvolumen eines Frontier-Systems mit, braucht pro Token aber nur so viel Rechenleistung wie ein 6B-Modell, das auf ein Smartphone passen würde. Nach mehreren Messungen schlägt es Claude Opus 4.6 inzwischen beim agentischen Programmieren. Über 100 GB Gewichte nach Hause zu schleppen, statt eine API aufzurufen, lohnt sich aber erst, wenn man versteht, was das für ein Modell ist. Deshalb geht es hier darum, was es ist, warum es gerade jetzt erscheint, wie es sich gegen die Konkurrenz schlägt und wie es auf einer einzigen 24-GB-GPU läuft.
Zeitpunkt des Releases und das Etikett „Next“
Qwen3.8-Flash-Next erschien am 26. August 2026, als drittes Qwen-Release innerhalb von drei Wochen:
| Model | Released | Role | API price (per M tokens) |
|--------------------|----------|--------------------------------|--------------------------|
| Qwen3.8-Max | Aug 3 | Frontier flagship, 2.4T MoE | $2.00 / $6.00 |
| Qwen3.8-27B | Aug 14 | Dense model for local use | self-hosted |
| Qwen3.8-Flash-Next | Aug 26 | Cost tier + architecture probe | $0.16 / $0.47 |
Verwirrend ist vor allem das Suffix „Next“. So nennt Qwen seine Research-Previews. Das ursprüngliche Qwen3-Next vom September 2025 führte ein hybrides Attention-Design ein, das danach ein Jahr lang in jedem Qwen-Release steckte. Flash-Next übernimmt dieselbe Rolle für die nächste Generation, also Qwen4. Laut Launch-Blog veröffentlicht das Team die Architekturänderungen früh, damit die Community sie prüfen kann, bevor die gesamte Qwen4-Familie darauf aufgebaut wird.
Diese Aussage wiegt schwerer als jeder Benchmark. Viele Labs veröffentlichen Paper erst Monate nach den Gewichten, wenn überhaupt. Qwen liefert zuerst funktionierende Gewichte, lässt alle daran herumbrechen und baut die nächste Generation aus dem, was übrig bleibt.
„Flash“ ist die Marke für die günstige Preisstufe. Flash-Next kostet $0.16 pro Million Input-Token und $0.47 pro Million Output-Token, bei beidem etwa zwölfmal weniger als Qwen3.8-Max. Nach Angaben von Qwen hat das Training rund ein Neuntel dessen gekostet, was das vorherige Modell der Plus-Stufe gebraucht hat. Warum also jetzt? Die Architektur ist fertig, die Wirtschaftlichkeit stimmt, und die Community bekommt einen frühen Blick auf das Gerüst von Qwen4.
Was es ist, ganz einfach erklärt
Auf dem Papier hat es 125B Hauptparameter, eine „N-Gram-Embedding“-Tabelle mit 51B und einen Multi-Token-Prediction-Kopf mit 4B, insgesamt also rund 180B gespeicherte Parameter. Pro erzeugtem Token rechnen davon nur etwa 6B. Stellen Sie sich eine Bibliothek mit 177 Gigabyte Büchern vor, in der die Bibliothekarin pro Frage sechs Seiten aufschlägt. Das Gebäude ist riesig, die Arbeit pro Antwort klein.
Drei Zahlen sollte man auseinanderhalten, denn offiziell vermarktet Qwen das als 125B-Modell: etwa 180B gespeichert, ein 125B-Netz und 6B aktiv pro Token. Die rund 180B sind alles auf der Platte, also das 125B-Netz, die 51B-Lookup-Tabelle (Qwen zählt beides zusammen mit etwa 176B) und ein kleiner Vorausschau-Kopf. Nur die 125B sind „das Modell“ im üblichen Sinn, also Gewichte, die tatsächlich rechnen.
Die 51B-Tabelle rechnet überhaupt nicht. Sie ist eingefrorener Speicher: fertige Repräsentationen häufiger Wortmuster, die per Adresse abgerufen werden. Mehr Regale machen das Haus größer, ohne dass mehr Leute darin wohnen.
Drei Bausteine sorgen dafür, dass das funktioniert.
Das Hauptgehirn (125B, Mixture-of-Experts). Jede Schicht enthält 512 Experten, ein Token weckt aber nur 10 davon, also rund 2 % der Gesamtzahl. Hier findet das eigentliche Denken statt.
Der Spickzettel (die N-Gramm-Tabelle mit 51B). Von den dreien hat sie die meiste Aufmerksamkeit bekommen. Statt jede Phrase von Grund auf zu lernen, hält das Modell 20 Millionen vorberechnete Einträge für häufige Wortmuster bereit. Ein Lookup kostet fast keine Rechenleistung, weil die Adresse schon feststeht, bevor das Token auftaucht. Die Hardware kann den Eintrag also vorab holen, während das Hauptgehirn arbeitet. Nutzer haben es als großen Spickzettel für häufige kurze Phrasen zusammengefasst, durch den der kleine aktive Kern seine Kraft auf das schwierigere Denken verwenden kann.
Der Vorausschau-Kopf (4B MTP). Dieses kleine Modul sagt mehrere künftige Token gleichzeitig voraus und beschleunigt die Generierung, wenn ein Serving-Framework es für spekulatives Decoding nutzt. Die Unterstützung in lokalen Runtimes wie llama.cpp kommt gerade erst.
Dann gibt es noch die Attention, also wie sich das Modell merkt, was Sie gesagt haben, und hier wird Flash-Next erfinderisch:
- Gated-DeltaNet-Schichten (36 von 48) pressen alles bisher Gesehene in eine laufende Zusammenfassung fester Größe. Das ist, als würde man einen einzigen Haftzettel aktuell halten, statt das ganze Gespräch neu zu lesen, und der Speicher wächst nicht mit der Kontextlänge.
- Die übrigen 12 Schichten nutzen Qwen Sparse Attention. Sie schlägt Dinge exakt nach, durchsucht aber nur eine begrenzte Menge von Blöcken statt der ganzen Sequenz.
Der Launch-Blog fasst das in einem Satz zusammen: GDN „erinnert“ effizient, QSA „ruft“ präzise „ab“.
Das Ergebnis: Der KV-Cache, der Speicherfresser, der bei gewöhnlichen Modellen Inferenz mit langem Kontext lahmlegt, bleibt selbst bei 262K Token winzig. Diese Länge wird nativ unterstützt, und YaRN kann sie bis in Richtung 1M strecken. Das ist der erste Grund, warum das Modell auf Hardware läuft, die es eigentlich gar nicht fassen dürfte.
Hardware, auf der es läuft
Offizielle Größen: BF16 braucht 335 GB, FP8 173 GB, und ein 4-Bit-GGUF belegt je nach Quantisierung etwa 82 bis 111 GB. Die Liste von Unsloth reicht von einem IQ1_S mit 72,5 GB bis zu einem Q4_K_XL mit 111 GB.
Laut Qwen ist ein 4-Bit-Build für Maschinen der 128-GB-Klasse gedacht (Mac Studio, DGX Spark, Strix Halo), wobei die N-Gramm-Tabelle im normalen Arbeitsspeicher liegt. Einen Haken gibt es. Zum Launch funktionierte der offiziell unterstützte Weg, diese Tabelle auszulagern, nur auf NVIDIA, sodass Nutzer von Apple Silicon auf Community-Builds angewiesen waren.
| Setup | Quant | What fits where |
|----------------------------------|---------|------------------------------------------|
| DGX Spark / Mac Studio (128GB) | 4-bit | Weights split, n-gram in unified RAM |
| Single RTX 3090 + big system RAM | 2-4 bit | Attention on GPU, experts + table in RAM |
| Multi-GPU server (72GB+ VRAM) | 4-bit | Most weights in VRAM, table in RAM |
Die Zeile mit der einzelnen GPU klingt unmöglich und bekommt weiter unten einen eigenen Abschnitt.
Benchmarks: ein Dreikampf
Zuerst eine Warnung. Als dieser Text entstand, war das Modell neun Tage alt, fast alle Benchmark-Zahlen stammen vom Hersteller, und die unabhängige Prüfung holt gerade erst auf. Betrachten Sie das alles als vorläufig.
Im Rennen sind Flash-Next, sein kleineres Geschwister Qwen3.8-27B (ein dichtes Modell), DeepSeek V4 Flash 0731 (direkter Rivale in derselben Preisstufe) und Claude Opus 4.6 (die Frontier-Referenz):
| Benchmark | Flash-Next | Qwen3.8-27B | DeepSeek V4F | Claude Opus 4.6 |
|---------------|------------|-------------|--------------|-----------------|
| SWE-bench Pro | 62.5 | 61.7 | 56.0 | 53.4 |
| DeepSWE 1.1 | 58.7 | 42.2 | 54.4 | - |
| NL2Repo-Bench | 48.1 | 42.3 | 54.2 | 47.6 |
| CoWorkBench | 73.9 | 70.7 | 45.1 | 68.2 |
| GPQA Diamond | 91.7 | 89.2 | 90.8 | 91.3 |
| HLE | 35.9 | 30.8 | 33.8 | 40.0 |
Die Tabelle liest sich am besten in drei Durchgängen.
Erstens die Überraschung. SWE-bench Pro misst echte agentische Softwareentwicklung: Repositories lesen, Patches schreiben, Tests laufen lassen und iterieren. Ein Modell für $0.16 pro Million Token erreicht 62,5, Claude Opus 4.6 kommt auf 53,4. Diese neun Punkte Abstand liegen auf genau dem Benchmark, der für Coding-Agenten am meisten zählt, und das günstigste Modell im Feld holt sie.
Zweitens die Niederlagen. Ehrlicherweise sind es zwei. Bei NL2Repo-Bench, das Codegenerierung auf Repository-Ebene aus natürlicher Sprache testet, liegt DeepSeek mit 54,2 zu 48,1 vorn. Bei HLE, dem Test für Frontier-Reasoning, führt Opus mit 40,0 zu 35,9. Es ist also ein Spezialist mit zwei sichtbaren Lücken und kein universeller Ersatz.
Drittens die unabhängige Bestätigung, und dieser Zahl sollte man am meisten trauen. Artificial Analysis gibt dem Modell einen Intelligence Index von 56, DeepSeek V4 Flash kommt auf 50. Selbst ohne Qwens eigene Zahlen hat die Führung im günstigen Open-Weight-Segment also gewechselt.
Bei der Geschwindigkeit gewinnt DeepSeek im API-Betrieb weiterhin, mit etwa 108 Token pro Sekunde gegenüber rund 88 bei Flash-Next. Die Community sieht das so, dass der Inferenz-Stack von Flash-Next einfach noch nicht ausgereift ist und die Lücke sich in einigen Monaten schließen dürfte.
Was die Community berichtet
Das Lob lässt sich in drei Gruppen einteilen: der Sprung beim agentischen Programmieren (DeepSWE 1.1 stieg gegenüber Qwens vorherigem Plus-Modell von 16,5 auf 58,7, ein Plus um das 3,6-Fache), das Preis-Leistungs-Verhältnis und ein Design, das sich gut lokal betreiben lässt. Ein Nutzer brachte es auf den Punkt: 50 GB der PLE-Tabelle kann man auf NVMe auslagern, und beim Verhältnis von Größe zu Leistung gewinnt Qwen.
Die Kritikpunkte sind genauso aufschlussreich:
- Es denkt viel nach. Bei der Aufgabe eines Nutzers „bau mir ein Spiel“ brauchte es auf bescheidener Hardware etwa 80 Minuten, Qwen3.8-27B auf derselben Maschine 22. Tieferes Reasoning plus langsameres Decoding bedeutet, dass die tatsächliche Laufzeit überraschen kann.
- Quantisierung schadet ihm mehr als den Konkurrenten. Auf einem einzelnen DGX Spark mit niedriger Bitrate sahen mehrere Tester DeepSeek vorn, weil die Architektur noch nicht für quantisierte Inferenz optimiert ist.
- Computer-Use ist noch ein Münzwurf. Die Quote vollständig erfolgreicher Aufgaben bei OSWorld 2.0 liegt bei 19,4 %. Es kommt bei den meisten Aufgaben voran, bringt sie aber selten sauber zu Ende. Lassen Sie es also nicht unbeaufsichtigt auf Ihrem Desktop arbeiten.
- Die Lizenz ist nicht Apache 2.0. Dieser Checkpoint steht unter
qwen-community-1.0. Für den privaten Gebrauch ist das in Ordnung, vor jedem kommerziellen Einsatz sollten Sie aber die Bedingungen lesen.
Für eine bloße Preview ist es zu gut und für ein fertiges Produkt zu roh, und genau so sollte eine Architektur-Sonde sein.
Läuft es wirklich auf einer einzigen 24-GB-GPU?
Auf den ersten Blick wirkt die Behauptung unmöglich. Ein Modell mit rund 177B Parametern passt nicht in 24 GB VRAM, nicht einmal in der kleinsten Quantisierung mit etwa 72 GB. Trotzdem berichten Leute, dass es läuft:
| Setup | Quant | Result |
|--------------------------------|---------|---------------------------------|
| Single RTX 3090 + 256GB RAM | Q4_K_XL | ~25 tok/s at short context |
| RTX 5070 Ti (16GB) + 85GB RAM | IQ3_XXS | ~20 tok/s decode, 130 prefill |
Der Mechanismus ist das zuvor beschriebene Design, bis an die Grenze ausgereizt.
Pro Token sind nur 6B Parameter aktiv. Die Arbeit der GPU, Attention plus ein paar Experten, passt in 16 bis 24 GB. Alles andere kann woanders liegen, ohne dass etwas kaputtgeht, weil der Rest in diesem Moment nicht rechnet.
Der 51B-Spickzettel liegt im Arbeitsspeicher oder auf der SSD. Lookups sind deterministisch. Da jede Adresse vor dem Token berechnet werden kann, lassen sich Einträge im Hintergrund holen, während die GPU rechnet. In llama.cpp genügt ein einziges Flag, um diese Tabelle im CPU-Speicher zu halten.
Auch die ruhenden Experten bleiben im RAM. Ein Offload im Stil von --n-cpu-moe hält nicht ausgewählte Experten aus dem VRAM heraus, und angefasst werden nur die etwa 10 pro Token ausgewählten.
Der KV-Cache ist klein, weil 36 der 48 Schichten eine Zusammenfassung fester Größe halten statt Keys und Values, die mit dem Kontext wachsen. Ein Tester berichtete, dass er beim vollen Kontext von 262K nur 16 GB VRAM brauchte.
Der Haken ist die Bandbreite des Arbeitsspeichers. Dual-Channel-DDR5 schafft etwa 90 Gigabyte pro Sekunde, der Speicherbus einer RTX 3090 dagegen 936. Sobald ein Teil der aktiven Gewichte im Arbeitsspeicher liegt, setzt diese langsamere Leitung die Obergrenze. Deshalb landen solche Setups bei brauchbaren, aber unspektakulären 7 bis 25 Token pro Sekunde.
Stellen Sie sich die GPU als Koch und den Arbeitsspeicher als Vorratskammer vor. Dieses Modell braucht pro Gericht nur sehr wenige Zutaten, und die meisten davon kann es gemächlich holen.
Worauf man achten sollte
Wer Modelle lokal betreibt, sollte es im Auge behalten. Der IQ4_XS-Build ist etwa 90 GB groß. Offene Fragen für Praxistests: Durchsatz bei verschiedenen Kontextlängen, die Ausgabequalität im direkten Vergleich mit Qwen3.8-27B und ob sich die zusätzliche Denkzeit im Arbeitsalltag auszahlt statt nur in Benchmark-Suiten. Das Design zeigt, wohin sich günstige Modelle überall bewegen: weniger Rechenaufwand pro Token, mehr gespeichertes Wissen pro Byte und ein Speicherbedarf, den eine normale Workstation decken kann.