Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Qwen
TensorFold gegen llama.cpp auf einem Mac Studio M5 Ultra: 1,84-fach höhere Durchsatzrate bei echten JSON-Aufgaben
Ich habe TensorFold 1.2.0 im Vergleich zu llama.cpp auf einem Mac Studio M5 Ultra mit Qwen3.8-27B sowie 80 echten JSON-Anfragen getestet: Eine Durchsatzrate von 1,84-fach bei 8 parallelen Anfragen.
9 Min. LesezeitWarum Dual-RTX-3090-Systeme mit SGLang und DFlash2 nur 55 Tok/s erreichen statt der angegebenen 220 Tok/s.
Ein praktischer Überblick über den Betrieb von Qwen3.8-27B auf zwei RTX 3090-Grafikkarten mit SGLang sowie darüber, wie PCIe x4-Verbindungen, das Fehlen von P2P-Funktionen, ein begrenzter KV-Cache und Stromspitzen die angegebenen Geschwindigkeiten beeinträchtigten.
7 Min. LesezeitToolCallingAgent gegen CodeAgent bei lokalen Qwen2.5-14B-Modellen
ToolCallingAgent gegen CodeAgent in smolagents auf einem M4-Mac: Geschwindigkeit und Routinggenauigkeit mit lokalen Qwen2.5 14B-Instruct- und Coder-Modellen bei verschiedenen Temperaturen.
4 Min. LesezeitWie LLM-Abliteration Verweigerungen durch Gewichtsänderungen statt Training entfernt
Ein technischer Rundgang durch Abliteration: die Verweigerungsrichtung per Mittelwertdifferenz finden, mit Heretic automatisieren, Qwen3-4B lokal ausführen und die Folgen für die Sicherheit.
8 Min. LesezeitAgents-A1: Ein 35B-Modell für lang andauernde Agentenarbeit
Agents-A1 ist ein 35B-Finetune, das den Agentenhorizont skaliert statt der Parameter. So schneidet es bei SEAL-0, IFBench und BrowseComp ab, und hier gibt es die GGUF-Builds.
5 Min. LesezeitDie Decode-Geschwindigkeit von Qwen3.8-Flash-Next mit MTP auf RTX-GPUs verdoppeln
So bauen Sie einen llama.cpp-Fork mit spekulativem MTP-Decoding und wählen die richtigen Flags, um die Generierung von Qwen3.8-Flash-Next auf Multi-GPU-RTX-Systemen etwa zu verdoppeln.
5 Min. LesezeitKV-Cache zwischen Qwen3-Modellen übertragen statt neu zu prefillen
Eine NVIDIA-Studie überträgt den Attention-Zustand von Qwen3-14B per Ridge-Regression auf Qwen3-32B. Was die Latenzzahlen bedeuten, wo die Methode scheitert und warum Agenten davon profitieren.
8 Min. LesezeitQwen3.8-Flash-Next: Ein 177B-Modell, das auf einer einzigen 24-GB-GPU läuft
Wie Qwen3.8-Flash-Next ein Mixture-of-Experts-Modell mit 177B auf bescheidene Hardware bringt: 6B aktive Parameter, eine N-Gramm-Tabelle, hybride Attention und ehrliche Benchmark-Lücken.
9 Min. LesezeitOrnith-1.0-35B: Die Qualität eines dichten 27B als MoE auf dem MacBook
Wie sich ein 35B-Mixture-of-Experts-Modell mit 3B aktiven Parametern gegen Qwen3.6 schlägt, was es unter llama.cpp braucht und wo es glänzt oder zurückfällt.
4 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.