Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: local-llm
Lokalna sztuczna inteligencja do dokumentów poufnych: co uruchomić na własnym sprzęcie
Zachowywanie plików umów, wypłat i audytów poza usługami API chmurowymi: które etapy procesu muszą odbywać się lokalnie, jaki sprzęt jest odpowiedni, gdzie modele lokalne są słabsze oraz koszty.
3 min czytaniaIle pamięci potrzeba do lokalnej sztucznej inteligencji? Prędkości od 16 GB do 512 GB.
Pomiar prędkości i jakości lokalnych modeli LLM na maszynach o pojemności 16, 32, 128, 256 i 512 GB, co każda klasa może uruchomić oraz jakie karty GPU, komputery Mac i minikomputery pasują do poszczególnych zastosowań.
5 min czytaniaMac Studio M5 Ultra kontra DGX Spark: szybkość lokalnego działania modeli językowych na tych samych modelach.
Mac Studio M5 Ultra 256 GB kontra jedna, dwie i cztery jednostki DGX Spark na platformach Nemotron, Qwen3.8 oraz DeepSeek-V4.1-Flash: dekodowanie, wypełnianie danych z góry, grupowanie zadań oraz przetwarzanie obrazów.
4 min czytaniaTesty lokalnych modeli LLM na RTX 5090: ten sam Qwen3.8-27B, od 67 do 253 tokenów na sekundę.
Qwen3.8-27B na jednym RTX 5090 przy użyciu TensorFold, NInfer, ExLlamaV3, Qwentin i vLLM: dekodowanie, wypełnianie danych z góry, przepustowość równoległa, jakość oraz wybór odpowiedniego zestawu narzędzi do uruchomienia.
4 min czytaniaRTX 5060 Ti 16 GB do lokalnej sztucznej inteligencji: zmierzone prędkości modeli LLM, obrazów i dźwięku.
RTX 5060 Ti 16 GB przetestowany pod kątem lokalnej sztucznej inteligencji: pięć modeli LLM o prędkości od 42 do 116 toków na sekundę, czasy obliczenia pierwszego tokena na poziomie 32K, prędkość przetwarzania obrazów, wideo, treści 3D oraz dźwięku, oraz to, co można na nim uruchomić.
6 min czytaniaTensorFold kontra llama.cpp na Mac Studio M5 Ultra: 1,84 raza wyższa wydajność przy rzeczywistej pracy z JSON
Przeprowadziłem test wydajności TensorFold 1.2.0 w porównaniu z llama.cpp na Mac Studio M5 Ultra z Qwen3.8-27B, przy 80 rzeczywistych żądaniach JSON: wydajność 1,84 raza wyższa przy 8 równoczesnych zapytaniach.
9 min czytaniaHy-MT2-7B w pięciu lokalnych środowiskach działania: Które z nich nadaje się do tłumaczeń na Macu?
Hy-MT2-7B przetestowany pod kątem wydajności w llama.cpp, LM Studio, mlx-lm, Ollama oraz MLX-Serve na dwóch komputerach Mac Studio M5 Ultra: przepustowość, skalowalność, determinizm, pamięć.
9 min czytaniaPrzepływ pracy lokalnego agenta LLM stworzony z folderów i plików Markdown
Stwórz zamykany, wieloetapowy pipeline lokalnych agentów, w którym każdy etap to folder, prompty są edytowalnymi plikami Markdown, a człowiek sprawdza wyniki przed kosztownym krokiem.
25 min czytaniaPołączenie LM Studio z serwerami MCP dla plików, GitHub oraz przeglądarki
Krok po kroku konfiguracje mcp.json, które umożliwiają lokalnemu modelowi korzystanie z systemu plików, narzędzi GitHub OAuth oraz Playwright, wraz z wyborem modeli i rozwiązaniami dla częstych błędów.
7 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.