Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: GPU
Dlaczego dwie karty RTX 3090 osiągają prędkość 55 tok/s zamiast 220 przy użyciu SGLang i DFlash2.
Praktyczny przegląd uruchamiania Qwen3.8-27B na dwóch karcach 3090 przy użyciu SGLang oraz wyjaśnienie, jak łącza PCIe x4, brak funkcji P2P, mała pamięć cache KV oraz nagłe skoki poboru mocy obniżyły deklarowaną prędkość.
7 min czytaniaWyjaśnienie flag vLLM Serve wraz z rozsądnymi wartościami początkowymi.
Praktyczny przewodnik po flagach vLLM Serve, które faktycznie można dostosować: dtype, zużycie pamięci, długość kontekstu, paralelizm, klucze API oraz kwantyzacja, wraz z domyślnymi wartościami do wypróbowania.
4 min czytaniaLokalna stacja robocza z LLM: od 20 do 60 tokenów na sekundę przy użyciu dwóch kart GPU
Używana płyta Xeon z dwiema kartami RTX 5060 Ti, Qwen 27B, paralelizmem tensorowym i NCCL: zasady dotyczące sprzętu, rzeczywiste wzrosty szybkości oraz obliczenie punktu równowagi w porównaniu z cenami API.
9 min czytaniaFlashAttention i PagedAttention: Dwa rozwiązania dla dwóch różnych wąskich gardeł
Dowiedz się, w jaki sposób FlashAttention przyspiesza obliczenia związane z mechanizmem uwagi dzięki technice tiling oraz online softmax, jak PagedAttention zarządza pamięcią cache KV, i dlaczego stosy w stylu vLLM wykorzystują obie te metody.
7 min czytaniaCerebras Wafer kontra GPU do procesowania modeli językowych: testy benchmarkowe GPT-OSS
Porównaj silnik Cerebras w skali waferów z procesowaniem przez GPU przy użyciu GPT-OSS-120B w pięciu różnych zadaniami, a następnie zobacz, jak Ultrafast przyspiesza działanie GPT-5.6 Sol za pośrednictwem API.
4 min czytaniaUruchamianie lokalnych modeli kodowania na karcie RTX 3060 o pojemności 12 GB przy użyciu planerza modeli
Jak wybrać modele pasujące do karty graficznej o pojemności 12 GB i dlaczego zmiana między backendami GGUF a SafeTensors za pośrednictwem jednego punktu końcowego kompatybilnego z OpenAI przekształca się w problem planowania.
5 min czytaniaQwen3.8-27B na karcie RTX 3090: 262 tys. tokenów kontekstu przy szybkości 65–80 tokenów na sekundę.
Przepis na uruchomienie zaawansowanego modelu 27B z pełnym kontekstem na pojedynczej karcie GPU o pojemności 24 GB: dostosowana wersja llama.cpp, kwantyzacja o rozmiarze 14,5 GB, pamięć cache Turbo3 oraz technika MTP drafting.
8 min czytaniaQwen3.8-27B na jednym RTX 5090: vLLM, kontrola obrotów wentylatora LACT oraz testy wydajności konwergencji
Uruchom Qwen3.8-27B na bezgłowym RTX 5090 z vLLM: konfiguracja GPU w Dockerze, Prometheus i Grafana, naprawa problemów termicznych za pomocą LACT oraz określenie punktu nasycenia przepustowości pod obciążeniem.
11 min czytaniaPamięć KV to niewidzialna baza danych, która zużywa pamięć GPU podczas dekodowania modeli LLM.
Cache KV w cichy sposób zużywa pamięć GPU podczas inferencji modeli LLM: prefill kontra decode, matematyka KV, GQA i MQA, PagedAttention, polityki kwantyzacji i usuwania danych.
9 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.