Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: Qwen
TensorFold kontra llama.cpp na Mac Studio M5 Ultra: 1,84 raza wyższa wydajność przy rzeczywistej pracy z JSON
Przeprowadziłem test wydajności TensorFold 1.2.0 w porównaniu z llama.cpp na Mac Studio M5 Ultra z Qwen3.8-27B, przy 80 rzeczywistych żądaniach JSON: wydajność 1,84 raza wyższa przy 8 równoczesnych zapytaniach.
9 min czytaniaDlaczego dwie karty RTX 3090 osiągają prędkość 55 tok/s zamiast 220 przy użyciu SGLang i DFlash2.
Praktyczny przegląd uruchamiania Qwen3.8-27B na dwóch karcach 3090 przy użyciu SGLang oraz wyjaśnienie, jak łącza PCIe x4, brak funkcji P2P, mała pamięć cache KV oraz nagłe skoki poboru mocy obniżyły deklarowaną prędkość.
7 min czytaniaToolCallingAgent kontra CodeAgent w lokalnych modelach Qwen2.5 14B
ToolCallingAgent kontra CodeAgent w smolagents na Macu z procesorem M4: szybkość i dokładność routingu przy użyciu lokalnych modeli Qwen2.5 14B do generowania poleceń i kodowania przy różnych temperaturach.
4 min czytaniaJak ablitracja LLM eliminuje odrzucenia poprzez edycję wag, a nie szkolenie
Techniczny przewodnik po abliteracji: znajdowanie kierunku odrzucenia za pomocą metody różnicy średnich, automatyzacja tego procesu za pomocą Heretic, uruchamianie modelu Qwen3-4B lokalnie oraz wpływ na bezpieczeństwo.
8 min czytaniaAgents-A1: model 35B stworzony do pracy agentów w długoterminowym kontekście.
Agents-A1 to wersja 35B dopracowana w celu zmiany zakresu działania agenta, a nie parametrów. Zobacz, jak radzi sobie w testach SEAL-0, IFBench i BrowseComp, oraz gdzie pobrać wersje GGUF.
5 min czytaniaPodwojenie prędkości dekodowania Qwen3.8-Flash-Next dzięki technologii MTP w kartach graficznych RTX
Dowiedz się, jak stworzyć fork llama.cpp z dekodowaniem spekulatywnym MTP oraz odpowiednimi flagami, aby mniej więcej podwoić prędkość Qwen3.8-Flash-Next na urządzeniach z wieloma kartami GPU RTX.
5 min czytaniaPrzenoszenie pamięci KV między modelami Qwen3 zamiast ponownego jej uzupełniania
Badania NVIDIA przekształcają stan uwagi modelu Qwen3-14B w model Qwen3-32B za pomocą mostu regresji grzbietowej. Sprawdź, co oznaczają wartości opóźnienia, gdzie występują problemy oraz dlaczego są one istotne dla agentów.
8 min czytaniaQwen3.8-Flash-Next: model o wielkości 177B, który działa na jednej karcie GPU o pojemności 24 GB.
Jak Qwen3.8-Flash-Next umożliwia uruchomienie modelu typu mixture-of-experts o wielkości 177B na skromnym sprzęcie z 6 miliardami aktywnych parametrów, tabelą n-gramów i hybrydową uwagą, oraz jakie są luki w jego wynikach testowych.
9 min czytaniaOrnith-1.0-35B: Jakość modelu typu MoE o pojemności 27B na urządzeniu MacBook.
Jak model typu mixture-of-experts o pojemności 35B z 3B aktywnymi parametrami porównuje się z Qwen3.6, czego potrzebuje do działania w środowisku llama.cpp oraz w jakich aspektach sprawdza się najlepiej lub słabo.
4 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.