Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: llm-inference
QUOKA erklärt: Welche KV-Historie die Attention lesen sollte
Wie QUOKA das Prefill langer Prompts beschleunigt: Grundlagen des KV-Cache, Chunked Prefill, Auswahl abweichender Queries, Max-Scoring und günstige Voraggregation für Grouped-Query Attention.
2028 WörterArtikel lesenFlashAttention und PagedAttention: zwei Lösungen für zwei verschiedene Engpässe
Wie FlashAttention die Attention-Berechnung mit Tiling und Online-Softmax beschleunigt, wie PagedAttention den KV-Cache-Speicher verwaltet und warum Stacks im Stil von vLLM beides nutzen.
1662 WörterArtikel lesenDer KV-Cache erklärt: Warum langer Kontext eine Speicherrechnung ist und keine Intelligenz
Eine verständliche Erklärung des KV-Caches: was er speichert, wie man seine Größe berechnet, warum langer Kontext Speicher frisst und vier Wege, die Kosten bei lokalen Modellen zu senken.
1921 WörterArtikel lesenCerebras-Wafer gegen GPU für LLM-Inferenz: ein GPT-OSS-Benchmark
Die Wafer-Scale-Engine von Cerebras im Vergleich zur GPU-Inferenz mit GPT-OSS-120B über fünf Workloads, dazu ein Blick darauf, wie Ultrafast GPT-5.6 Sol über die API beschleunigt.
861 WörterArtikel lesenKV-Cache zwischen Qwen3-Modellen übertragen statt neu zu prefillen
Eine NVIDIA-Studie überträgt den Attention-Zustand von Qwen3-14B per Ridge-Regression auf Qwen3-32B. Was die Latenzzahlen bedeuten, wo die Methode scheitert und warum Agenten davon profitieren.
1817 WörterArtikel lesen
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.