Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: Inference
Im Inneren eines LLM: Reine Python-Inferenz für Qwen3-0.6B auf MLX
Schrittweise Implementierung der LLM-Infersion in etwa 200 Python-Sätzen mit MLX: Tokenisierer, RMSNorm, RoPE, gruppierte Abfragedaten-Attention, SwiGLU, KV-Cache und Sampling.
13 Min. LesezeitKimi K3 und andere große Modelle lokal betreiben: fünf offene Repos
Fünf Open-Source-Repos, die Modelle im Frontier-Maßstab per Disk-Streaming, Expert-Caching und Offloading auf einen Laptop oder eine einzelne GPU bringen – mit echten Geschwindigkeitswerten.
6 Min. Lesezeitvllm serve: Die wichtigsten Flags mit sinnvollen Startwerten
Ein praktischer Überblick über die vllm-serve-Flags, die man wirklich anpasst: dtype, Speichernutzung, Kontextlänge, Parallelisierung, API-Schlüssel und Quantisierung, mit Startwerten zum Ausprobieren.
4 Min. LesezeitSchlussfolgerungen jenseits des Textes: Anpassung von VLMs, Embeddings, Sprache, Bildern und Videos
Jede Modalität weist ihre eigenen Engpässe auf. Erfahren Sie, wie man VLMs, Embedder, ASR-, TTS-Systeme sowie Bild- und Videogeneratoren durch geeignete Batching-Strategien, Kernel, Caching-Verfahren und Quantisierung optimiert.
11 Min. LesezeitDer KV-Cache ist die unsichtbare Datenbank, die im Decodieren von LLMs GPU-Speicher verbraucht.
Der KV-Cache verbraucht während der LLM-Infersion leise den GPU-Speicher: Vorausfüllen versus Dekodieren, KV-Mathematik, GQA und MQA, PagedAttention, Quantisierungs- und Ausschließungsrichtlinien.
9 Min. LesezeitPraktische Anwendung von LLM-Servern: Ollama, vLLM und TGI
Die Bereitstellungs Schicht, die Modelldateien in eine LLM-API umwandelt: Ollama für lokale Nutzung, vLLM und Hugging Face TGI für GPUs – sowie das, was herkömmliche Transformers nicht bieten.
5 Min. Lesezeitllama.cpp gegen vLLM gegen Ollama: Der lokale Engine nach Engpass auswählen
llama.cpp, Ollama oder vLLM für einen lokalen LLM? Passen Sie den Motor zum Engpass an: Portabilität des Laptops, benutzerfreundliche DX-Funktionen oder GPU-Leistung für mehrere Benutzer unter Last.
5 Min. LesezeitOllama auf IBM Z und LinuxONE: Lokale LLMs innerhalb der Vertrauensgrenze
Die Portierung von Ollama auf IBM Z und LinuxONE hing von einer endianness-sicheren Gewichtsladung ab, sodass ein lokales LLM regulierte Daten bereitstellen kann, ohne dass diese den Vertrauensbereich verlassen.
6 Min. LesezeitEnd-to-End-Inferenz von LLMs: Vorausbefüllung, Dekodierung, KV-Cache und Stichprobenziehung
Eine für Whiteboards geeignete Einführung in den Tokenisierungsprozess im Streaming – warum die Vorausbefüllung durch Rechenleistung begrenzt ist, die Dekodierung durch Bandbreite und wie GQA, Paginieren sowie Spekulationen die Kostenstruktur verändern.
40 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.