Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: MLX
Hy-MT2-7B w pięciu lokalnych środowiskach działania: Które z nich nadaje się do tłumaczeń na Macu?
Hy-MT2-7B przetestowany pod kątem wydajności w llama.cpp, LM Studio, mlx-lm, Ollama oraz MLX-Serve na dwóch komputerach Mac Studio M5 Ultra: przepustowość, skalowalność, determinizm, pamięć.
9 min czytaniaUruchamianie lokalnych agentów kodowania na Macu z oMLX: wyjaśnienie pamięci cache KV zapisywanej na dysku
oMLX przechowuje prefiksy poleceń w pamięci SSD, dzięki czemu lokalne narzędzia programistyczne działają szybko na platformie Apple Silicon. Zainstaluj go i połącz z nim Claude Code, Codex, Cursor oraz OpenCode.
9 min czytaniaWewnątrz LLM: czysta inferyencja w Pythonie dla Qwen3-0.6B na MLX
Krok po kroku budowa mechanizmu inferencji LLM w około 200 liniach kodu w Pythonie przy użyciu MLX: tokenizer, RMSNorm, RoPE, grupowana uwaga do zapytań, SwiGLU, cache KV oraz sampling.
13 min czytaniaUruchamianie agentów AI na MacBooku: Dlaczego oMLX przewyższa surowy MLX
Raw MLX potrzebował około 20 sekund na obsługę kontekstu agenta składającego się z 8,7 tysiąca tokenów na procesorze M1 Max. oMLX skrócił ten czas do około 3 sekund dzięki zgrupowaniu zadań oraz hierarchicznemu buforowi KV. Liczby i powody.
5 min czytaniaUruchom lokalne modele LLM na Macu za pomocą MLX zamiast domyślnego silnika llama.cpp
Gdy MLX firmy Apple przewyższa llama.cpp w obsłudze lokalnych modeli LLM na chipach Apple Silicon, przy prędkościach zależnych od rozmiaru modelu, trzy sposoby na przejście z Ollamy oraz pułapki, których należy unikać.
5 min czytaniaCzy większy LoRA jest tego warte? Oceniaj dokładność w porównaniu z kosztem, a nie tylko jakość.
Mały zestaw, który traktuje receptury LoRA jako dane i podaje dokładność, czas treningu, opóźnienie oraz zużycie pamięci, dzięki czemu wybór rankingu i liczby iteracji opiera się na liczbach.
5 min czytaniaDostarczanie LoRA do drobnej optymalizacji lokalnie: weryfikacja, łączenie i unikanie ukrytych błędów
Udowodnij, że adapter LoRA rzeczywiście poprawił mały model, połącz go i udostępnij za lokalną API kompatybilną z OpenAI, a także wykryj błędy powodujące dostarczanie pewnych, błędnych wyników.
12 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.