Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: llama-cpp
TensorFold gegen llama.cpp auf einem Mac Studio M5 Ultra: 1,84-fach höhere Durchsatzrate bei echten JSON-Aufgaben
Ich habe TensorFold 1.2.0 im Vergleich zu llama.cpp auf einem Mac Studio M5 Ultra mit Qwen3.8-27B sowie 80 echten JSON-Anfragen getestet: Eine Durchsatzrate von 1,84-fach bei 8 parallelen Anfragen.
9 Min. LesezeitHy-MT2-7B auf fünf lokalen Laufzeiten: Welche eignet sich am besten für Übersetzungsaufgaben auf einem Mac?
Hy-MT2-7B wurde unter Nutzung von llama.cpp, LM Studio, mlx-lm, Ollama und MLX-Serve auf zwei Mac Studio M5 Ultra-Geräten auf Belastbarkeit getestet: Durchsatz, Skalierbarkeit, Determinismus, Speicherverbrauch.
9 Min. LesezeitDeepSeek Harness (dsh): Die offene Agenten-Laufzeitumgebung, die ihre eigene Konfiguration umschreibt.
Was DeepSeek Harness ist, warum sein selbstbearbeitender Agent hervorsticht, wie die Community reagiert hat und was man vor dem Ausführen mit lokalen Modellen vorbereiten sollte.
6 Min. LesezeitKimi K3 und andere große Modelle lokal betreiben: fünf offene Repos
Fünf Open-Source-Repos, die Modelle im Frontier-Maßstab per Disk-Streaming, Expert-Caching und Offloading auf einen Laptop oder eine einzelne GPU bringen – mit echten Geschwindigkeitswerten.
6 Min. LesezeitFühren Sie ein lokales Kodierungsmodell mit llama.cpp aus: Quantisierung, Kontextfenster und VS Code
Ersetzen Sie die meterbasierten Token-Rechnungen durch ein lokales MoE-Modell: Wählen Sie eine Quantisierung, legen Sie die Größe des Kontextfensters fest, optimieren Sie den llama-server für kleine CUDA-GPUs und verbinden Sie anschließend Cline.
8 Min. LesezeitLokale LLM-Workstation: Von 20 auf 60 Tokens pro Sekunde mit zwei GPUs
Eine gebrauchte Xeon-Workstation mit zwei RTX 5060 Ti, Qwen 27B, Tensor-Parallelität und NCCL: Regeln für die Hardwarewahl, echte Geschwindigkeitsgewinne und die Amortisationsrechnung im Vergleich zu API-Preisen.
9 Min. LesezeitWarum Ollama irgendwann nicht mehr reicht und was man stattdessen nutzt
Ollama ist ein Wrapper um llama.cpp. Wo es bei Last, Modellformaten und AMD-GPUs an Grenzen stößt und wann llama.cpp, LM Studio oder vLLM besser passen.
7 Min. LesezeitDie Decode-Geschwindigkeit von Qwen3.8-Flash-Next mit MTP auf RTX-GPUs verdoppeln
So bauen Sie einen llama.cpp-Fork mit spekulativem MTP-Decoding und wählen die richtigen Flags, um die Generierung von Qwen3.8-Flash-Next auf Multi-GPU-RTX-Systemen etwa zu verdoppeln.
5 Min. LesezeitQwen3.8-Flash-Next: Ein 177B-Modell, das auf einer einzigen 24-GB-GPU läuft
Wie Qwen3.8-Flash-Next ein Mixture-of-Experts-Modell mit 177B auf bescheidene Hardware bringt: 6B aktive Parameter, eine N-Gramm-Tabelle, hybride Attention und ehrliche Benchmark-Lücken.
9 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.