Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: gpu
RTX 5060 Ti 16 GB do lokalnej sztucznej inteligencji: zmierzone prędkości modeli LLM, obrazów i dźwięku.
RTX 5060 Ti 16 GB przetestowany pod kątem lokalnej sztucznej inteligencji: pięć modeli LLM o prędkości od 42 do 116 toków na sekundę, czasy obliczenia pierwszego tokena na poziomie 32K, prędkość przetwarzania obrazów, wideo, treści 3D oraz dźwięku, oraz to, co można na nim uruchomić.
6 min czytaniaDlaczego dwie karty RTX 3090 osiągają prędkość 55 tok/s zamiast 220 przy użyciu SGLang i DFlash2.
Praktyczny przegląd uruchamiania Qwen3.8-27B na dwóch karcach 3090 przy użyciu SGLang oraz wyjaśnienie, jak łącza PCIe x4, brak funkcji P2P, mała pamięć cache KV oraz nagłe skoki poboru mocy obniżyły deklarowaną prędkość.
7 min czytaniaWyjaśnienie flag vLLM Serve wraz z rozsądnymi wartościami początkowymi.
Praktyczny przewodnik po flagach vLLM Serve, które faktycznie można dostosować: dtype, zużycie pamięci, długość kontekstu, paralelizm, klucze API oraz kwantyzacja, wraz z domyślnymi wartościami do wypróbowania.
4 min czytaniaLokalna stacja robocza z LLM: od 20 do 60 tokenów na sekundę przy użyciu dwóch kart GPU
Używana płyta Xeon z dwiema kartami RTX 5060 Ti, Qwen 27B, paralelizmem tensorowym i NCCL: zasady dotyczące sprzętu, rzeczywiste wzrosty szybkości oraz obliczenie punktu równowagi w porównaniu z cenami API.
9 min czytaniaFlashAttention i PagedAttention: Dwa rozwiązania dla dwóch różnych wąskich gardeł
Dowiedz się, w jaki sposób FlashAttention przyspiesza obliczenia związane z mechanizmem uwagi dzięki technice tiling oraz online softmax, jak PagedAttention zarządza pamięcią cache KV, i dlaczego stosy w stylu vLLM wykorzystują obie te metody.
7 min czytaniaCerebras Wafer kontra GPU do procesowania modeli językowych: testy benchmarkowe GPT-OSS
Porównaj silnik Cerebras w skali waferów z procesowaniem przez GPU przy użyciu GPT-OSS-120B w pięciu różnych zadaniami, a następnie zobacz, jak Ultrafast przyspiesza działanie GPT-5.6 Sol za pośrednictwem API.
4 min czytaniaUruchamianie lokalnych modeli kodowania na karcie RTX 3060 o pojemności 12 GB przy użyciu planerza modeli
Jak wybrać modele pasujące do karty graficznej o pojemności 12 GB i dlaczego zmiana między backendami GGUF a SafeTensors za pośrednictwem jednego punktu końcowego kompatybilnego z OpenAI przekształca się w problem planowania.
5 min czytaniaQwen3.8-27B na karcie RTX 3090: 262 tys. tokenów kontekstu przy szybkości 65–80 tokenów na sekundę.
Przepis na uruchomienie zaawansowanego modelu 27B z pełnym kontekstem na pojedynczej karcie GPU o pojemności 24 GB: dostosowana wersja llama.cpp, kwantyzacja o rozmiarze 14,5 GB, pamięć cache Turbo3 oraz technika MTP drafting.
8 min czytaniaQwen3.8-27B na jednym RTX 5090: vLLM, kontrola obrotów wentylatora LACT oraz testy wydajności konwergencji
Uruchom Qwen3.8-27B na bezgłowym RTX 5090 z vLLM: konfiguracja GPU w Dockerze, Prometheus i Grafana, naprawa problemów termicznych za pomocą LACT oraz określenie punktu nasycenia przepustowości pod obciążeniem.
11 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.