Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: sglang
Warum Dual-RTX-3090-Systeme mit SGLang und DFlash2 nur 55 Tok/s erreichen statt der angegebenen 220 Tok/s.
Ein praktischer Überblick über den Betrieb von Qwen3.8-27B auf zwei RTX 3090-Grafikkarten mit SGLang sowie darüber, wie PCIe x4-Verbindungen, das Fehlen von P2P-Funktionen, ein begrenzter KV-Cache und Stromspitzen die angegebenen Geschwindigkeiten beeinträchtigten.
7 Min. LesezeitKontinuierliches Batchen und in Blöcken vorgefüllte Daten in vLLM und SGLang
Statische LLM-Batches verschwenden GPU-Ressourcen durch Paddings. Iterationsbasierte Scheduling-Strategien sowie in Blöcken vorbereitete Daten sorgen dafür, dass die Dekodierströme reibungslos verlaufen, während neue Anfragen weiterhin Fortschritte erzielen.
5 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.