Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: gguf
Agents-A1: Ein 35B-Modell für lang andauernde Agentenarbeit
Agents-A1 ist ein 35B-Finetune, das den Agentenhorizont skaliert statt der Parameter. So schneidet es bei SEAL-0, IFBench und BrowseComp ab, und hier gibt es die GGUF-Builds.
1235 WörterArtikel lesenDie Decode-Geschwindigkeit von Qwen3.8-Flash-Next mit MTP auf RTX-GPUs verdoppeln
So bauen Sie einen llama.cpp-Fork mit spekulativem MTP-Decoding und wählen die richtigen Flags, um die Generierung von Qwen3.8-Flash-Next auf Multi-GPU-RTX-Systemen etwa zu verdoppeln.
1248 WörterArtikel lesenLokale Coding-Modelle auf einer RTX 3060 mit 12 GB und einem Modell-Scheduler
Wie man Modelle auswählt, die auf eine 12-GB-GPU passen, und warum der Wechsel zwischen GGUF- und SafeTensors-Backends hinter einem OpenAI-kompatiblen Endpoint zum Scheduling-Problem wird.
1256 WörterArtikel lesenQwen3.8-Flash-Next auf einem MacBook mit 64 GB: Dateien, Quants und llama.cpp-Flags
Ein MoE mit 180 Mrd. Parametern auf M4 Max oder M1 Max ohne CPU-Offload: welches GGUF passt, wie die N-Gramm-Tabelle auf Shards verteilt ist und der genaue llama-server-Befehl.
2060 WörterArtikel lesen
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.