Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: apple-silicon
Mac Studio M5 Ultra gegen DGX Spark: Geschwindigkeit lokaler LLMs mit denselben Modellen.
Mac Studio M5 Ultra 256 GB gegen eine, zwei und vier DGX Spark-Boxen auf Nemotron, Qwen3.8 und DeepSeek-V4.1-Flash: Dekodierung, Vorausfüllen, Batching und Verarbeitung von Bildern.
4 Min. LesezeitTensorFold gegen llama.cpp auf einem Mac Studio M5 Ultra: 1,84-fach höhere Durchsatzrate bei echten JSON-Aufgaben
Ich habe TensorFold 1.2.0 im Vergleich zu llama.cpp auf einem Mac Studio M5 Ultra mit Qwen3.8-27B sowie 80 echten JSON-Anfragen getestet: Eine Durchsatzrate von 1,84-fach bei 8 parallelen Anfragen.
9 Min. LesezeitLokale Codierungsagenten auf einem Mac mit oMLX ausführen: Erklärung des auf der Festplatte gespeicherten KV-Caches
oMLX speichert die Präfixe für Befehle auf der SSD, damit lokale Programmieragenten auf Apple Silicon weiterhin schnell arbeiten können. Installieren Sie es und verbinden Sie Claude Code, Codex, Cursor sowie OpenCode damit.
9 Min. LesezeitPrivater Multimodal-RAG auf einem M1-Mac: Selektives Lesen von Charts mit Ollama
Privater multimodaler RAG auf einem M1 Mac mit Ollama: PyMuPDF für Texte und Tabellen, ein kleines Qwen-Vision-Modell ausschließlich für Diagramme, Zahlenerfassung sowie Abrufe aus ChromaDB.
10 Min. LesezeitDer Einsatz von KI-Agenten auf einem MacBook: Warum oMLX Raw MLX übertrifft.
Raw MLX benötigte etwa 20 Sekunden für einen Kontext von 8.700 Token bei einem Agenten auf einem M1 Max. oMLX reduzierte diese Zeit durch Batching sowie einen gestuften KV-Cache auf etwa 3 Sekunden. Zahlen und der Grund dafür.
5 Min. LesezeitLokale LLMs auf dem Mac: MLX statt der Standard-Engine llama.cpp
Wenn Apples MLX bei lokalen LLMs auf Apple Silicon schneller ist als llama.cpp – wobei die Geschwindigkeit je nach Modellgröße variiert – drei Möglichkeiten, auf Ollama umzusteigen, sowie Fehlerquellen, die man vermeiden sollte.
5 Min. LesezeitQwen3.8-Flash-Next auf einem MacBook mit 64 GB: Dateien, Quants und llama.cpp-Flags
Ein MoE mit 180 Mrd. Parametern auf M4 Max oder M1 Max ohne CPU-Offload: welches GGUF passt, wie die N-Gramm-Tabelle auf Shards verteilt ist und der genaue llama-server-Befehl.
9 Min. LesezeitVom Feintunen bis zur Präzision – eine erhebliche Reduzierung
Feinabstimmung plus RAG zur Reduzierung von Halluzinationen: Warum allein die Feinabstimmung nicht ausreicht, die Architektur mit Ollama und wie die Genauigkeit in einem eng begrenzten Bereich verbessert wurde.
13 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.