Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: benchmarks
Wie viel Speicher benötigt man für lokale KI? Geschwindigkeiten von 16 GB bis 512 GB.
Gemessene Geschwindigkeit und Qualität lokaler LLMs auf Maschinen mit 16, 32, 128, 256 und 512 GB, was jede Kategorie ausführen kann und welche GPUs, Macs und Mini-PCs für welche Anwendungen geeignet sind.
5 Min. LesezeitMac Studio M5 Ultra gegen DGX Spark: Geschwindigkeit lokaler LLMs mit denselben Modellen.
Mac Studio M5 Ultra 256 GB gegen eine, zwei und vier DGX Spark-Boxen auf Nemotron, Qwen3.8 und DeepSeek-V4.1-Flash: Dekodierung, Vorausfüllen, Batching und Verarbeitung von Bildern.
4 Min. LesezeitLokale LLM-Benchmarks für RTX 5090: Derselbe Qwen3.8-27B, 67 bis 253 Token pro Sekunde.
Qwen3.8-27B auf einer RTX 5090 unter Verwendung von TensorFold, NInfer, ExLlamaV3, Qwentin und vLLM: Dekodierung, Vorausfüllen, paralleler Durchsatz, Qualität sowie welche Plattform zum Ausführen geeignet ist.
4 Min. LesezeitRTX 5060 Ti 16 GB für lokale KI: Gemessene Geschwindigkeiten von LLMs, Bildern und Sprache.
RTX 5060 Ti 16 GB im Test für lokale KI: Fünf LLMs mit Geschwindigkeiten von 42 bis 116 Token pro Sekunde, Zeiten für den ersten Token bei 32 K, Geschwindigkeiten bei Bildern, Videos, 3D-Inhalten und Sprache sowie Anwendungen, die damit laufen können.
6 Min. LesezeitTensorFold gegen llama.cpp auf einem Mac Studio M5 Ultra: 1,84-fach höhere Durchsatzrate bei echten JSON-Aufgaben
Ich habe TensorFold 1.2.0 im Vergleich zu llama.cpp auf einem Mac Studio M5 Ultra mit Qwen3.8-27B sowie 80 echten JSON-Anfragen getestet: Eine Durchsatzrate von 1,84-fach bei 8 parallelen Anfragen.
9 Min. LesezeitHy-MT2-7B auf fünf lokalen Laufzeiten: Welche eignet sich am besten für Übersetzungsaufgaben auf einem Mac?
Hy-MT2-7B wurde unter Nutzung von llama.cpp, LM Studio, mlx-lm, Ollama und MLX-Serve auf zwei Mac Studio M5 Ultra-Geräten auf Belastbarkeit getestet: Durchsatz, Skalierbarkeit, Determinismus, Speicherverbrauch.
9 Min. LesezeitGemini 3.8 Flash bei der Markteinführung: Geschwindigkeit, Frist für die Preisgestaltung und Sicherheitsbedenken.
Eine Übersicht zu Gemini 3.8 Flash: offizielle Benchmark-Ergebnisse, eine Leistung von 304 Tokens pro Sekunde, Promo-Preise bis 2027, das Cyber-Modell sowie Einschränkungen bei der Mehrsprachigkeit im Sicherheitsbereich.
7 Min. LesezeitWarum Dual-RTX-3090-Systeme mit SGLang und DFlash2 nur 55 Tok/s erreichen statt der angegebenen 220 Tok/s.
Ein praktischer Überblick über den Betrieb von Qwen3.8-27B auf zwei RTX 3090-Grafikkarten mit SGLang sowie darüber, wie PCIe x4-Verbindungen, das Fehlen von P2P-Funktionen, ein begrenzter KV-Cache und Stromspitzen die angegebenen Geschwindigkeiten beeinträchtigten.
7 Min. LesezeitMiniCPM5-2B gegen 4B Rivalen: Warum ein agiler Harness eine andere Geschichte erzählt
MiniCPM5-2B schneidet bei Einzelversuchen besser ab als seine 4B-Konkurrenten, fällt aber bei agierenden Frameworks zwei- bis dreimal zurück. Der Benchmark-Test sowie die Durchsatzleistung von Ollama.
10 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.