Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: Local AI
Qwen3.8-27B wird auf einer RTX 3090 mit einem gepatchten vLLM und DFlash2 ausgeführt.
Wie ein gepinnter vLLM 0,28,0-Branch mit neu quantisierten Embeddings und DFlash2-Spekulationen ein 27-Billionen-Modell auf einer Karte mit 24 GB ausführt – und wo ein langer Kontext die Leistung verlangsamt.
15 Min. LesezeitErklärung zur rekurrenten Tiefe: Schleifenbasierte Transformer und verstecktes Reasoning
Wie rekurrent-tiefe (geschlossene) Transformer im versteckten Zustand reasoning betreiben, warum die Labore sie wollen, was acht Jahre an wissenschaftlichen Arbeiten zeigen und was dies für lokale KI-Systeme sowie die Überwachung bedeutet.
12 Min. LesezeitQwen3.8-Flash-Next unter Verwendung von RTX 3090-Grafikkarten mit Tensor-Offloading über llama.cpp
Warum ein 88 GB großes Experten-Mischmodell mit 180 Milliarden Parametern wie Qwen3.8-Flash-Next auf RTX 3090-Grafikkarten läuft, und wie llama.cpp mit den Optionen -ot, -ncmoe sowie mmap den VRAM, RAM und NVMe aufteilt.
12 Min. LesezeitWarum ein 17-GB-Modell, das heruntergeladen wird, nicht bedeutet, dass 17 GB Speicher zum Betrieb benötigt werden
Erfahren Sie, wie aktive Parameter, Gesamtparameter, das Wachstum des KV-Caches sowie die Rechenaufwand die tatsächlichen Speicher- und Rechenkosten für den lokalen Betrieb eines Sprachmodells bestimmen.
12 Min. LesezeitErstellung eines lokalen Angry Birds-Klons mit Qwen3.8-27B und Pi
Eine vollständig lokale KI-Programmierumgebung mit LM Studio und dem Pi-Agenten Qwen3.8-27B erstellt ein spielbares Angry Birds-Niveau ohne Cloud-API, wobei jeder Installationsschritt dargestellt wird.
9 Min. LesezeitWarum der Zugang zu KI und nicht die Leistungsfähigkeit das eigentliche Abhängigkeitsrisiko darstellt.
Dieser Artikel untersucht jüngste Vorfälle im Bereich der Exportkontrolle bezüglich Claude und GPT-5.6, um zu zeigen, dass der Zugang zu KI-Modellen eine volatile Größe ist, die unabhängig von der grundlegenden Leistungsfähigkeit ist.
11 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.