Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: vLLM
Прапорці vllm serve з розумними стартовими значеннями
Практичний огляд прапорців vllm serve, які справді доводиться налаштовувати: dtype, використання пам'яті, довжина контексту, паралелізм, API-ключі та квантизація, зі значеннями для старту.
4 хв читанняЧому Ollama перестає вистачати і що запускати замість неї
Ollama — обгортка над llama.cpp. Розбираємося, де вона впирається в навантаження, формати моделей і GPU від AMD, і коли краще підходять llama.cpp, LM Studio чи vLLM.
7 хв читанняFlashAttention і PagedAttention: два рішення для двох різних вузьких місць
Як FlashAttention пришвидшує обчислення уваги завдяки тайлінгу й онлайн-softmax, як PagedAttention керує пам'яттю KV-кешу і чому стеки на кшталт vLLM використовують обидва.
7 хв читанняКоли модель так і не відповідає: тихі збої, яких не видно в оцінках галюцинацій
Два чекпойнти, дві квантизації та два рантайми на вигаданих назвах: одна модель мовчить по кілька хвилин, а уважний грейдер показує те, що пропускають оцінки.
11 хв читанняOllama на WSL2 відповідає «connection refused»: лагодимо й підключаємо Dify та vLLM
Ollama працює у WSL2, а Dify отримує connection refused? Перевіряємо адресу прив'язки, задаємо OLLAMA_HOST, додаємо portproxy й оминаємо пастку localhost у Docker під час підключення vLLM.
7 хв читанняЛокальні моделі для програмування на RTX 3060 з 12 ГБ і планувальнику моделей
Як дібрати моделі під GPU з 12 ГБ і чому перемикання між бекендами GGUF і SafeTensors за одним OpenAI-сумісним ендпоінтом перетворюється на задачу планування.
5 хв читанняМаршрутизатор моделей на GCP: один керований API перед кількома відкритими LLM
Схема, що відв'язує корпоративні застосунки від конкретних LLM: логічні задачі, вибір моделі за обмеженнями, ланцюжки резервування, vLLM і стабільний API у стилі OpenAI на GCP.
7 хв читанняЧому раунд-робін не підходить для флотів LLM: як llm-d визначає маршрути через кеш KV та глибину черги.
Раунд-робінне балансування навантаження марнує запити до кешу KV та ігнорує розмір запиту. Як llm-d оцінює репліки vLLM у Kubernetes та розділяє процеси попереднього заповнення та декодування.
10 хв читанняQwen3.8-27B на одному RTX 5090: vLLM, керування вентилятором LACT та тестування паралельної обробки
Запустіть Qwen3.8-27B на безголовому RTX 5090 за допомогою vLLM: налаштування Docker для GPU, Prometheus та Grafana, корекція параметрів охолодження за допомогою LACT, а також визначення місця, де пропускна здатність досягає свого максимуму під навантаженням.
11 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.