Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: MLX
Hy-MT2-7B auf fünf lokalen Laufzeiten: Welche eignet sich am besten für Übersetzungsaufgaben auf einem Mac?
Hy-MT2-7B wurde unter Nutzung von llama.cpp, LM Studio, mlx-lm, Ollama und MLX-Serve auf zwei Mac Studio M5 Ultra-Geräten auf Belastbarkeit getestet: Durchsatz, Skalierbarkeit, Determinismus, Speicherverbrauch.
9 Min. LesezeitLokale Codierungsagenten auf einem Mac mit oMLX ausführen: Erklärung des auf der Festplatte gespeicherten KV-Caches
oMLX speichert die Präfixe für Befehle auf der SSD, damit lokale Programmieragenten auf Apple Silicon weiterhin schnell arbeiten können. Installieren Sie es und verbinden Sie Claude Code, Codex, Cursor sowie OpenCode damit.
9 Min. LesezeitIm Inneren eines LLM: Reine Python-Inferenz für Qwen3-0.6B auf MLX
Schrittweise Implementierung der LLM-Infersion in etwa 200 Python-Sätzen mit MLX: Tokenisierer, RMSNorm, RoPE, gruppierte Abfragedaten-Attention, SwiGLU, KV-Cache und Sampling.
13 Min. LesezeitDer Einsatz von KI-Agenten auf einem MacBook: Warum oMLX Raw MLX übertrifft.
Raw MLX benötigte etwa 20 Sekunden für einen Kontext von 8.700 Token bei einem Agenten auf einem M1 Max. oMLX reduzierte diese Zeit durch Batching sowie einen gestuften KV-Cache auf etwa 3 Sekunden. Zahlen und der Grund dafür.
5 Min. LesezeitLokale LLMs auf dem Mac: MLX statt der Standard-Engine llama.cpp
Wenn Apples MLX bei lokalen LLMs auf Apple Silicon schneller ist als llama.cpp – wobei die Geschwindigkeit je nach Modellgröße variiert – drei Möglichkeiten, auf Ollama umzusteigen, sowie Fehlerquellen, die man vermeiden sollte.
5 Min. LesezeitLohnt sich ein größeres LoRA? Genauigkeit gegen Kosten messen statt nach Gefühl
Ein kleines Test-Harness, das LoRA-Rezepte als Daten behandelt und Genauigkeit, Trainingszeit, Latenz und Speicher ausgibt, damit Entscheidungen über Rang und Iterationen auf Zahlen beruhen.
5 Min. LesezeitLoRA-Feinabstimmung lokal ausführen: Überprüfen, kombinieren und stille Fehler vermeiden
Beweisen, dass ein LoRA-Adapter tatsächlich ein kleines Modell verbessert hat, es mit anderen Komponenten verknüpfen und hinter einer lokalen, OpenAI-kompatiblen API bereitstellen, sowie die Fehler aufspüren, die zu zuverlässig falschen Ausgaben führen.
12 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.