Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: kv-cache
Kontextengineering für langlaufende Agenten: Vektordatenbanken, KV-Caches, Claude Code
Kontextengineering für Agenten, die 200 Schritte ausführen: Warum lange Kontexte verfallen, die Kostenstruktur von KV-Caches, der Speicherverbrauch von Vektordatenbanken sowie die Unterschiede zwischen Claude Code und anderen Tools.
13 Min. LesezeitQUOKA erklärt: Welche KV-Historie die Attention lesen sollte
Wie QUOKA das Prefill langer Prompts beschleunigt: Grundlagen des KV-Cache, Chunked Prefill, Auswahl abweichender Queries, Max-Scoring und günstige Voraggregation für Grouped-Query Attention.
9 Min. LesezeitDer KV-Cache erklärt: Warum langer Kontext eine Speicherrechnung ist und keine Intelligenz
Eine verständliche Erklärung des KV-Caches: was er speichert, wie man seine Größe berechnet, warum langer Kontext Speicher frisst und vier Wege, die Kosten bei lokalen Modellen zu senken.
8 Min. LesezeitKV-Cache zwischen Qwen3-Modellen übertragen statt neu zu prefillen
Eine NVIDIA-Studie überträgt den Attention-Zustand von Qwen3-14B per Ridge-Regression auf Qwen3-32B. Was die Latenzzahlen bedeuten, wo die Methode scheitert und warum Agenten davon profitieren.
8 Min. LesezeitWarum Round-Robin bei LLM-Flotten versagt: Wie llm-d über KV-Cache und Warteschlangentiefe leitet.
Das Round-Robin-Lastausgleich verschwendet KV-Cache-Aufrufe und ignoriert die Anfragegröße. Wie llm-d die vLLM-Replicas auf Kubernetes bewertet und Vorausfüllung von Dekodierung trennt.
10 Min. LesezeitDer KV-Cache ist die unsichtbare Datenbank, die im Decodieren von LLMs GPU-Speicher verbraucht.
Der KV-Cache verbraucht während der LLM-Infersion leise den GPU-Speicher: Vorausfüllen versus Dekodieren, KV-Mathematik, GQA und MQA, PagedAttention, Quantisierungs- und Ausschließungsrichtlinien.
9 Min. LesezeitEnd-to-End-Inferenz von LLMs: Vorausbefüllung, Dekodierung, KV-Cache und Stichprobenziehung
Eine für Whiteboards geeignete Einführung in den Tokenisierungsprozess im Streaming – warum die Vorausbefüllung durch Rechenleistung begrenzt ist, die Dekodierung durch Bandbreite und wie GQA, Paginieren sowie Spekulationen die Kostenstruktur verändern.
40 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.