Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: vLLM
vllm serve: Die wichtigsten Flags mit sinnvollen Startwerten
Ein praktischer Überblick über die vllm-serve-Flags, die man wirklich anpasst: dtype, Speichernutzung, Kontextlänge, Parallelisierung, API-Schlüssel und Quantisierung, mit Startwerten zum Ausprobieren.
4 Min. LesezeitWarum Ollama irgendwann nicht mehr reicht und was man stattdessen nutzt
Ollama ist ein Wrapper um llama.cpp. Wo es bei Last, Modellformaten und AMD-GPUs an Grenzen stößt und wann llama.cpp, LM Studio oder vLLM besser passen.
7 Min. LesezeitFlashAttention und PagedAttention: zwei Lösungen für zwei verschiedene Engpässe
Wie FlashAttention die Attention-Berechnung mit Tiling und Online-Softmax beschleunigt, wie PagedAttention den KV-Cache-Speicher verwaltet und warum Stacks im Stil von vLLM beides nutzen.
7 Min. LesezeitWenn ein Modell nie fertig wird: stille Ausfälle, die Halluzinationswerte verschweigen
Zwei Checkpoints, zwei Quantisierungen und zwei Runtimes, getestet an erfundenen Namen: Ein Modell schweigt minutenlang, und ein sorgfältiger Grader zeigt, was Scores übersehen.
11 Min. LesezeitOllama auf WSL2 meldet „Connection Refused“: Fehler beheben und Dify sowie vLLM anbinden
Ollama läuft in WSL2, aber Dify bekommt Connection Refused? Bind-Adresse prüfen, OLLAMA_HOST setzen, einen portproxy anlegen und beim Anbinden von vLLM die Docker-localhost-Falle umgehen.
7 Min. LesezeitLokale Coding-Modelle auf einer RTX 3060 mit 12 GB und einem Modell-Scheduler
Wie man Modelle auswählt, die auf eine 12-GB-GPU passen, und warum der Wechsel zwischen GGUF- und SafeTensors-Backends hinter einem OpenAI-kompatiblen Endpoint zum Scheduling-Problem wird.
5 Min. LesezeitEin Model Router auf GCP: eine kontrollierte API vor mehreren offenen LLMs
Ein Design, das Unternehmensanwendungen von einzelnen LLMs entkoppelt: logische Tasks, Modellwahl nach Constraints, Fallback-Ketten, vLLM und eine stabile API im OpenAI-Stil auf GCP.
7 Min. LesezeitWarum Round-Robin bei LLM-Flotten versagt: Wie llm-d über KV-Cache und Warteschlangentiefe leitet.
Das Round-Robin-Lastausgleich verschwendet KV-Cache-Aufrufe und ignoriert die Anfragegröße. Wie llm-d die vLLM-Replicas auf Kubernetes bewertet und Vorausfüllung von Dekodierung trennt.
10 Min. LesezeitQwen3.8-27B auf einer RTX 5090: vLLM, LACT-Fansteuerung und Konkurrenz-Benchmarks
Qwen3.8-27B wird über eine headless RTX 5090 mit vLLM betrieben: Docker-GPU-Einrichtung, Prometheus und Grafana, Behebung von Temperaturproblemen mit LACT sowie Erkennung des Punkts, an dem die Durchsatzleistung unter Last saturiert.
11 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.