Notatki inżynierskie
Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: Mixture of Experts
Dostępna wersja Qwen3.8-Flash-Next na kartach RTX 3090 z użyciem mechanizmu offloadingu tensorów w llama.cpp
Dlaczego model typu „mieszanka ekspertów” o pojemności 88 GB i 180 miliardów parametrów, taki jak Qwen3.8-Flash-Next, pasuje do karty RTX 3090, oraz w jaki sposób llama.cpp z opcjami -ot, -ncmoe i mmap dzieli pamięć VRAM, RAM i NVMe.
12 min czytaniaDlaczego pobranie modelu o pojemności 17 GB nie oznacza, że potrzeba 17 GB pamięci do jego uruchomienia
Dowiedz się, w jaki sposób aktywne parametry, łączna liczba parametrów, wzrost pamięci cache KV oraz wysiłek potrzebny do rozumowania decydują o rzeczywistych kosztach pamięci i obliczeniowych związanych z uruchamianiem modelu językowego lokalnie.
12 min czytania
FAQ
O tych artykułach
Tak. Każdy tekst to oryginalny angielski rewrite na tę stronę. Struktura i kod za źródłem; proza przepisana i sprawdzona pod kątem pokrycia.
Źródłem jest angielski. Inny język pojawia się tylko wtedy, gdy istnieje tłumaczenie treści. Brak tłumaczenia zostawia angielski, także pod zlokalizowanym adresem.
Nowe drafty trafiają do kolejki po redakcji. Import na stronę bierze tylko nowe lub zmienione slugi — bez duplikatów.
Przykłady są ilustracyjne. Sprawdź stack i licencje przed produkcją. W sprawie wdrożenia wyślij brief.
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.