Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: vLLM
Wyjaśnienie flag vLLM Serve wraz z rozsądnymi wartościami początkowymi.
Praktyczny przewodnik po flagach vLLM Serve, które faktycznie można dostosować: dtype, zużycie pamięci, długość kontekstu, paralelizm, klucze API oraz kwantyzacja, wraz z domyślnymi wartościami do wypróbowania.
4 min czytaniaDlaczego Ollama przestaje być wystarczający i co zamiast niego uruchomić
Ollama to otoczka wokół llama.cpp. Dowiedz się, gdzie występują jego ograniczenia pod względem obciążenia, formatów modeli i kart graficznych AMD, oraz kiedy llama.cpp, LM Studio lub vLLM nadają się lepiej.
7 min czytaniaFlashAttention i PagedAttention: Dwa rozwiązania dla dwóch różnych wąskich gardeł
Dowiedz się, w jaki sposób FlashAttention przyspiesza obliczenia związane z mechanizmem uwagi dzięki technice tiling oraz online softmax, jak PagedAttention zarządza pamięcią cache KV, i dlaczego stosy w stylu vLLM wykorzystują obie te metody.
7 min czytaniaGdy model nigdy się nie kończy: niewidoczne błędy ukryte przed wynikami halucynacji
Dwa punkty kontrolne, dwie kwantyzacje oraz dwa czasy wykonywania przetestowano przy użyciu wymyślonych nazw: jeden model milczy przez minuty, a uważny oceniający ujawnia, które wyniki są pomijane.
11 min czytaniaRozwiązywanie problemu odrzucenia połączenia Ollama w WSL2 oraz konfiguracja Dify i vLLM
Ollama działa w WSL2, ale Dify odrzuca połączenie? Sprawdź adres bind, ustaw OLLAMA_HOST, dodaj portproxy i uniknij pułapki localhost w Dockerze podczas łączenia z vLLM.
7 min czytaniaUruchamianie lokalnych modeli kodowania na karcie RTX 3060 o pojemności 12 GB przy użyciu planerza modeli
Jak wybrać modele pasujące do karty graficznej o pojemności 12 GB i dlaczego zmiana między backendami GGUF a SafeTensors za pośrednictwem jednego punktu końcowego kompatybilnego z OpenAI przekształca się w problem planowania.
5 min czytaniaModel routera w GCP: jedna zarządzana API przed kilkoma otwartymi modelami LLM
Projekt umożliwiający oddzielenie aplikacji korporacyjnych od poszczególnych modeli LLM: zadania logiczne, selekcja modeli oparta na ograniczeniach, łańcuchy awaryjne, vLLM oraz stabilna API w stylu OpenAI dostępna na GCP.
7 min czytaniaDlaczego metoda round-robin zawodzi w zespołach LLM: Jak llm-d kieruje żądania za pomocą pamięci cache KV i głębokości kolejki.
Równoważenie obciążenia metodą round-robin marnuje trafienia do pamięci cache KV i ignoruje rozmiar żądania. Jak llm-d ocenia repliki vLLM na Kubernetes oraz rozdziela proces wypełniania zdekodowania.
10 min czytaniaQwen3.8-27B na jednym RTX 5090: vLLM, kontrola obrotów wentylatora LACT oraz testy wydajności konwergencji
Uruchom Qwen3.8-27B na bezgłowym RTX 5090 z vLLM: konfiguracja GPU w Dockerze, Prometheus i Grafana, naprawa problemów termicznych za pomocą LACT oraz określenie punktu nasycenia przepustowości pod obciążeniem.
11 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.