Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: llama-cpp
TensorFold kontra llama.cpp na Mac Studio M5 Ultra: 1,84 raza wyższa wydajność przy rzeczywistej pracy z JSON
Przeprowadziłem test wydajności TensorFold 1.2.0 w porównaniu z llama.cpp na Mac Studio M5 Ultra z Qwen3.8-27B, przy 80 rzeczywistych żądaniach JSON: wydajność 1,84 raza wyższa przy 8 równoczesnych zapytaniach.
9 min czytaniaHy-MT2-7B w pięciu lokalnych środowiskach działania: Które z nich nadaje się do tłumaczeń na Macu?
Hy-MT2-7B przetestowany pod kątem wydajności w llama.cpp, LM Studio, mlx-lm, Ollama oraz MLX-Serve na dwóch komputerach Mac Studio M5 Ultra: przepustowość, skalowalność, determinizm, pamięć.
9 min czytaniaDeepSeek Harness (dsh): otwarty środowisko działania agentów, które samo edytuje swoją konfigurację.
Co to jest DeepSeek Harness, dlaczego jego agent samoreedycyjny wyróżnia się, jak zareagowała społeczność oraz co należy przygotować przed uruchomieniem go z lokalnymi modelami.
6 min czytaniaUruchamianie modeli Kimi K3 oraz innych dużych modeli lokalnie za pomocą pięciu repozytoriów o otwartym kodzie.
Pięć repozytoriów o otwartym kodzie, które umożliwiają uruchomienie modeli o dużych rozmiarach na laptopie lub pojedynczej karcie graficznej, dzięki transmisji danych z dysku, efektywnemu buforowaniu i przenoszeniu obciążeń, wraz z rzeczywistymi wartościami prędkości.
6 min czytaniaUruchom lokalny model kodowania za pomocą llama.cpp: kwantyzacja, okno kontekstowe i VS Code
Zastąp rachunki z tokenami mierzonymi lokalnym modelem MoE: wybierz metodę kwantyzacji, ustal rozmiar okna kontekstowego, dostosuj llama-server do małych kart GPU CUDA, a następnie połącz z Cline.
8 min czytaniaLokalna stacja robocza z LLM: od 20 do 60 tokenów na sekundę przy użyciu dwóch kart GPU
Używana płyta Xeon z dwiema kartami RTX 5060 Ti, Qwen 27B, paralelizmem tensorowym i NCCL: zasady dotyczące sprzętu, rzeczywiste wzrosty szybkości oraz obliczenie punktu równowagi w porównaniu z cenami API.
9 min czytaniaDlaczego Ollama przestaje być wystarczający i co zamiast niego uruchomić
Ollama to otoczka wokół llama.cpp. Dowiedz się, gdzie występują jego ograniczenia pod względem obciążenia, formatów modeli i kart graficznych AMD, oraz kiedy llama.cpp, LM Studio lub vLLM nadają się lepiej.
7 min czytaniaPodwojenie prędkości dekodowania Qwen3.8-Flash-Next dzięki technologii MTP w kartach graficznych RTX
Dowiedz się, jak stworzyć fork llama.cpp z dekodowaniem spekulatywnym MTP oraz odpowiednimi flagami, aby mniej więcej podwoić prędkość Qwen3.8-Flash-Next na urządzeniach z wieloma kartami GPU RTX.
5 min czytaniaQwen3.8-Flash-Next: model o wielkości 177B, który działa na jednej karcie GPU o pojemności 24 GB.
Jak Qwen3.8-Flash-Next umożliwia uruchomienie modelu typu mixture-of-experts o wielkości 177B na skromnym sprzęcie z 6 miliardami aktywnych parametrów, tabelą n-gramów i hybrydową uwagą, oraz jakie są luki w jego wynikach testowych.
9 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.