Engineering-Notizen
Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: vram
Wie viel Speicher benötigt man für lokale KI? Geschwindigkeiten von 16 GB bis 512 GB.
Gemessene Geschwindigkeit und Qualität lokaler LLMs auf Maschinen mit 16, 32, 128, 256 und 512 GB, was jede Kategorie ausführen kann und welche GPUs, Macs und Mini-PCs für welche Anwendungen geeignet sind.
5 Min. LesezeitHardware-Überprüfung für den lokalen Betrieb von 100B-Klassen-Modellen
Kann eine Workstation ein LLM der 100B-Klasse lokal ausführen? Entscheidend sind dabei die MoE-Sparsität, Quantisierung, Größe des KV-Caches sowie die VRAM-Beschränkungen – nicht die in den Schlagzeilen angegebene Anzahl der Parameter.
11 Min. Lesezeit
FAQ
Über diese Artikel
Ja. Jeder Text ist ein originales englisches Rewrite für diese Site. Struktur und Code folgen der Quelle; Prosa wird neu geschrieben und auf Überlappung geprüft.
Englisch ist die Quelle. Eine andere Sprache erscheint nur, wenn dieser Übersetzungstext existiert. Ein fehlender Text bleibt Englisch, auch unter einer lokalisierten Adresse.
Neue Entwürfe kommen nach der Redaktion in die Queue. Der Site-Import nimmt nur neue oder geänderte Slugs — ohne Duplikate.
Beispiele sind illustrativ. Prüfen Sie Stack und Lizenzen vor Produktion. Für Umsetzung den Brief senden.
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.