Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Quantization
turbovec: Komprimiere RAG-Embeddings 16x mit TurboQuant in Rust
TurboVec bringt Googles TurboQuant nach Rust und verkleinert RAG-Embedding-Indizes um das 16-Fache ohne Training. Wo es FAISS übertrifft und wann ein anderes Tool besser geeignet ist.
10 Min. LesezeitMiniCPM5-2B gegen 4B Rivalen: Warum ein agiler Harness eine andere Geschichte erzählt
MiniCPM5-2B schneidet bei Einzelversuchen besser ab als seine 4B-Konkurrenten, fällt aber bei agierenden Frameworks zwei- bis dreimal zurück. Der Benchmark-Test sowie die Durchsatzleistung von Ollama.
10 Min. LesezeitBitNet und Cassandra: Wie ternäre Gewichte lokale LLMs auf CPUs beschleunigen
Sechs Erkenntnisse zu 1,58-Bit-BitNet, spekulativer Dekodierung und Cassandra: Lokale LLM-Inferenz bis zu 6,17-mal schneller auf x86-Prozessoren, 82,2 % weniger Energieverbrauch, gleiche Genauigkeit.
4 Min. LesezeitWenn ein Modell nie fertig wird: stille Ausfälle, die Halluzinationswerte verschweigen
Zwei Checkpoints, zwei Quantisierungen und zwei Runtimes, getestet an erfundenen Namen: Ein Modell schweigt minutenlang, und ein sorgfältiger Grader zeigt, was Scores übersehen.
11 Min. LesezeitWie QLoRA große Modelle auf kleinen GPUs feintunt: 4-Bit-Grundlagen
QLoRA von Grund auf verstehen: warum volles Fine-Tuning teuer ist, wie LoRA-Adapter und 4-Bit-Quantisierung zusammenspielen und wann der Ansatz zu Ihrem Projekt passt.
8 Min. LesezeitVergleich der Vektorquantisierung: Int8 gegen Binär – Genauigkeit und Speicherbedarf
Ermitteln Sie, wie Int8- und Binärquantisierung die Genauigkeit sowie den Speicherbedarf für Embeddings verändern, warum Binärquantisierung zu Verlusten führen kann und wie man ein sicheres Kompressionsniveau wählt.
4 Min. LesezeitHardware-Überprüfung für den lokalen Betrieb von 100B-Klassen-Modellen
Kann eine Workstation ein LLM der 100B-Klasse lokal ausführen? Entscheidend sind dabei die MoE-Sparsität, Quantisierung, Größe des KV-Caches sowie die VRAM-Beschränkungen – nicht die in den Schlagzeilen angegebene Anzahl der Parameter.
11 Min. LesezeitWenn die Quantisierungsphasen die Verwirrung erhöhen und heimlich die Sicherheit des Modells gefährden
Die Quantisierung des Low-Bit KV-Caches kann die Ablehnungsrate eines Modells beseitigen, während sich die Perplexität kaum verändert; hier ist der Grund, warum die Standardmetriken dies übersehen, und was Sie zu Ihren Gate-Funktionen hinzufügen sollten.
7 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.