Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: GPU
Warum Dual-RTX-3090-Systeme mit SGLang und DFlash2 nur 55 Tok/s erreichen statt der angegebenen 220 Tok/s.
Ein praktischer Überblick über den Betrieb von Qwen3.8-27B auf zwei RTX 3090-Grafikkarten mit SGLang sowie darüber, wie PCIe x4-Verbindungen, das Fehlen von P2P-Funktionen, ein begrenzter KV-Cache und Stromspitzen die angegebenen Geschwindigkeiten beeinträchtigten.
7 Min. Lesezeitvllm serve: Die wichtigsten Flags mit sinnvollen Startwerten
Ein praktischer Überblick über die vllm-serve-Flags, die man wirklich anpasst: dtype, Speichernutzung, Kontextlänge, Parallelisierung, API-Schlüssel und Quantisierung, mit Startwerten zum Ausprobieren.
4 Min. LesezeitLokale LLM-Workstation: Von 20 auf 60 Tokens pro Sekunde mit zwei GPUs
Eine gebrauchte Xeon-Workstation mit zwei RTX 5060 Ti, Qwen 27B, Tensor-Parallelität und NCCL: Regeln für die Hardwarewahl, echte Geschwindigkeitsgewinne und die Amortisationsrechnung im Vergleich zu API-Preisen.
9 Min. LesezeitFlashAttention und PagedAttention: zwei Lösungen für zwei verschiedene Engpässe
Wie FlashAttention die Attention-Berechnung mit Tiling und Online-Softmax beschleunigt, wie PagedAttention den KV-Cache-Speicher verwaltet und warum Stacks im Stil von vLLM beides nutzen.
7 Min. LesezeitCerebras-Wafer gegen GPU für LLM-Inferenz: ein GPT-OSS-Benchmark
Die Wafer-Scale-Engine von Cerebras im Vergleich zur GPU-Inferenz mit GPT-OSS-120B über fünf Workloads, dazu ein Blick darauf, wie Ultrafast GPT-5.6 Sol über die API beschleunigt.
4 Min. LesezeitLokale Coding-Modelle auf einer RTX 3060 mit 12 GB und einem Modell-Scheduler
Wie man Modelle auswählt, die auf eine 12-GB-GPU passen, und warum der Wechsel zwischen GGUF- und SafeTensors-Backends hinter einem OpenAI-kompatiblen Endpoint zum Scheduling-Problem wird.
5 Min. LesezeitQwen3.8-27B auf einer RTX 3090: 262K Kontext bei 65–80 Tokens pro Sekunde
Ein Rezept, um ein dichtes 27B-Modell mit vollem Kontext auf einer einzigen 24-GB-GPU zu betreiben: ein optimierter llama.cpp-Fork, ein 14,5-GB-Quant, Turbo3-Cache und MTP-Drafting.
8 Min. LesezeitQwen3.8-27B auf einer RTX 5090: vLLM, LACT-Fansteuerung und Konkurrenz-Benchmarks
Qwen3.8-27B wird über eine headless RTX 5090 mit vLLM betrieben: Docker-GPU-Einrichtung, Prometheus und Grafana, Behebung von Temperaturproblemen mit LACT sowie Erkennung des Punkts, an dem die Durchsatzleistung unter Last saturiert.
11 Min. LesezeitDer KV-Cache ist die unsichtbare Datenbank, die im Decodieren von LLMs GPU-Speicher verbraucht.
Der KV-Cache verbraucht während der LLM-Infersion leise den GPU-Speicher: Vorausfüllen versus Dekodieren, KV-Mathematik, GQA und MQA, PagedAttention, Quantisierungs- und Ausschließungsrichtlinien.
9 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.