Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: apple-silicon
Mac Studio M5 Ultra kontra DGX Spark: szybkość lokalnego działania modeli językowych na tych samych modelach.
Mac Studio M5 Ultra 256 GB kontra jedna, dwie i cztery jednostki DGX Spark na platformach Nemotron, Qwen3.8 oraz DeepSeek-V4.1-Flash: dekodowanie, wypełnianie danych z góry, grupowanie zadań oraz przetwarzanie obrazów.
4 min czytaniaTensorFold kontra llama.cpp na Mac Studio M5 Ultra: 1,84 raza wyższa wydajność przy rzeczywistej pracy z JSON
Przeprowadziłem test wydajności TensorFold 1.2.0 w porównaniu z llama.cpp na Mac Studio M5 Ultra z Qwen3.8-27B, przy 80 rzeczywistych żądaniach JSON: wydajność 1,84 raza wyższa przy 8 równoczesnych zapytaniach.
9 min czytaniaUruchamianie lokalnych agentów kodowania na Macu z oMLX: wyjaśnienie pamięci cache KV zapisywanej na dysku
oMLX przechowuje prefiksy poleceń w pamięci SSD, dzięki czemu lokalne narzędzia programistyczne działają szybko na platformie Apple Silicon. Zainstaluj go i połącz z nim Claude Code, Codex, Cursor oraz OpenCode.
9 min czytaniaPrywatny multimodalny RAG na M1 Mac: selektywne czytanie wykresów z Ollamą
Prywatny multimodalny RAG na Macu z procesorem M1 z Ollamą: PyMuPDF do obsługi tekstu i tabel, mały model wizyjny Qwen wykorzystywany wyłącznie do wykresów, weryfikacji numerów oraz wyszukiwania w ChromaDB.
10 min czytaniaUruchamianie agentów AI na MacBooku: Dlaczego oMLX przewyższa surowy MLX
Raw MLX potrzebował około 20 sekund na obsługę kontekstu agenta składającego się z 8,7 tysiąca tokenów na procesorze M1 Max. oMLX skrócił ten czas do około 3 sekund dzięki zgrupowaniu zadań oraz hierarchicznemu buforowi KV. Liczby i powody.
5 min czytaniaUruchom lokalne modele LLM na Macu za pomocą MLX zamiast domyślnego silnika llama.cpp
Gdy MLX firmy Apple przewyższa llama.cpp w obsłudze lokalnych modeli LLM na chipach Apple Silicon, przy prędkościach zależnych od rozmiaru modelu, trzy sposoby na przejście z Ollamy oraz pułapki, których należy unikać.
5 min czytaniaUruchom Qwen3.8-Flash-Next na MacBooku o pojemności 64GB: pliki, parametry Quants oraz flagi llama.cpp
Uruchomienie modelu MoE z 180 miliardami parametrów na urządzeniu M4 Max lub M1 Max bez przenoszenia obciążenia na CPU: który plik GGUF wybrać, jak tabela n-gramów jest dzielona na fragmenty oraz dokładny rozkaz do llama-server.
9 min czytaniaOd drobnej optymalizacji do precyzji: znaczne zmniejszenie
Dokładna kalibracja w połączeniu z RAG w celu ograniczenia halucynacji: dlaczego sama dokładna kalibracja jest niewystarczająca, architektura z Ollamą oraz to, jak poprawiła się precyzja w wąskiej dziedzinie.
13 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.