Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: sglang
Dlaczego dwie karty RTX 3090 osiągają prędkość 55 tok/s zamiast 220 przy użyciu SGLang i DFlash2.
Praktyczny przegląd uruchamiania Qwen3.8-27B na dwóch karcach 3090 przy użyciu SGLang oraz wyjaśnienie, jak łącza PCIe x4, brak funkcji P2P, mała pamięć cache KV oraz nagłe skoki poboru mocy obniżyły deklarowaną prędkość.
7 min czytaniaCiągłe grupowanie i przedwczesne wypełnianie w partiach w vLLM i SGLang
Statyczne grupy LLM marnują zasoby GPU na wypełnianie danych. Planowanie na poziomie iteracji oraz przedwczesne wypełnianie w blokach zapewniają płynny przepływ dekodowania, nawet gdy nowe polecenia są jeszcze przetwarzane.
5 min czytania
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Źródłem jest angielski. Inny język pojawia się tylko wtedy, gdy istnieje tłumaczenie treści. Brak tłumaczenia zostawia angielski, także pod zlokalizowanym adresem.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.