Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: local-llm
Lokale KI für vertrauliche Dokumente: Was auf eigener Hardware laufen sollte
Verträge, Lohnunterlagen und Prüfungsakten ohne Cloud-APIs verarbeiten: Welche Pipeline-Schritte lokal bleiben sollten, welche Hardware passt, wo lokale Modelle schwächer sind und was das kostet.
3 Min. LesezeitWie viel Speicher benötigt man für lokale KI? Geschwindigkeiten von 16 GB bis 512 GB.
Gemessene Geschwindigkeit und Qualität lokaler LLMs auf Maschinen mit 16, 32, 128, 256 und 512 GB, was jede Kategorie ausführen kann und welche GPUs, Macs und Mini-PCs für welche Anwendungen geeignet sind.
5 Min. LesezeitMac Studio M5 Ultra gegen DGX Spark: Geschwindigkeit lokaler LLMs mit denselben Modellen.
Mac Studio M5 Ultra 256 GB gegen eine, zwei und vier DGX Spark-Boxen auf Nemotron, Qwen3.8 und DeepSeek-V4.1-Flash: Dekodierung, Vorausfüllen, Batching und Verarbeitung von Bildern.
4 Min. LesezeitLokale LLM-Benchmarks für RTX 5090: Derselbe Qwen3.8-27B, 67 bis 253 Token pro Sekunde.
Qwen3.8-27B auf einer RTX 5090 unter Verwendung von TensorFold, NInfer, ExLlamaV3, Qwentin und vLLM: Dekodierung, Vorausfüllen, paralleler Durchsatz, Qualität sowie welche Plattform zum Ausführen geeignet ist.
4 Min. LesezeitRTX 5060 Ti 16 GB für lokale KI: Gemessene Geschwindigkeiten von LLMs, Bildern und Sprache.
RTX 5060 Ti 16 GB im Test für lokale KI: Fünf LLMs mit Geschwindigkeiten von 42 bis 116 Token pro Sekunde, Zeiten für den ersten Token bei 32 K, Geschwindigkeiten bei Bildern, Videos, 3D-Inhalten und Sprache sowie Anwendungen, die damit laufen können.
6 Min. LesezeitTensorFold gegen llama.cpp auf einem Mac Studio M5 Ultra: 1,84-fach höhere Durchsatzrate bei echten JSON-Aufgaben
Ich habe TensorFold 1.2.0 im Vergleich zu llama.cpp auf einem Mac Studio M5 Ultra mit Qwen3.8-27B sowie 80 echten JSON-Anfragen getestet: Eine Durchsatzrate von 1,84-fach bei 8 parallelen Anfragen.
9 Min. LesezeitHy-MT2-7B auf fünf lokalen Laufzeiten: Welche eignet sich am besten für Übersetzungsaufgaben auf einem Mac?
Hy-MT2-7B wurde unter Nutzung von llama.cpp, LM Studio, mlx-lm, Ollama und MLX-Serve auf zwei Mac Studio M5 Ultra-Geräten auf Belastbarkeit getestet: Durchsatz, Skalierbarkeit, Determinismus, Speicherverbrauch.
9 Min. LesezeitEin lokaler LLM-Agent-Arbeitsablauf, der aus Ordnern und Markdown-Dateien erstellt wird
Erstellen Sie einen gesicherten, mehrstufigen Pipeline für lokale Agenten, wobei jede Stufe ein Ordner ist, die Anfragen in editierbarem Markdown vorliegen und ein Mensch die Ausgabe vor dem kostspieligen Schritt überprüft.
25 Min. LesezeitVerbindung von LM Studio zu MCP-Servers für Dateien, GitHub und einen Browser.
Schritt-für-Schritt-Anleitungen für mcp.json-Konfigurationen, die es einem lokalen Modell ermöglichen, den Dateisystemzugriff, GitHub OAuth-Tools sowie Playwright zu nutzen, inklusive Modellauswahl und Lösungen für häufige Fehler.
7 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.