Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: vLLM
Флаги vllm serve с разумными стартовыми значениями
Практический обзор флагов vllm serve, которые реально приходится настраивать: dtype, использование памяти, длина контекста, параллелизм, API-ключи и квантизация, с значениями для старта.
4 мин чтенияПочему Ollama перестаёт хватать и что запускать вместо неё
Ollama — обёртка над llama.cpp. Разбираемся, где она упирается в нагрузку, форматы моделей и GPU от AMD, и когда лучше подходят llama.cpp, LM Studio или vLLM.
7 мин чтенияFlashAttention и PagedAttention: два решения для двух разных узких мест
Как FlashAttention ускоряет вычисление внимания за счёт тайлинга и онлайн-softmax, как PagedAttention управляет памятью KV-кэша и почему стеки в духе vLLM используют оба.
7 мин чтенияКогда модель так и не отвечает: тихие сбои, которых не видно в оценках галлюцинаций
Два чекпойнта, две квантизации и два рантайма на выдуманных названиях: одна модель молчит по несколько минут, а аккуратный грейдер показывает то, что упускают оценки.
11 мин чтенияOllama на WSL2 отвечает «connection refused»: чиним и подключаем Dify и vLLM
Ollama работает в WSL2, а Dify получает connection refused? Проверяем адрес привязки, задаём OLLAMA_HOST, добавляем portproxy и обходим ловушку localhost в Docker при подключении vLLM.
7 мин чтенияЛокальные модели для программирования на RTX 3060 с 12 ГБ и планировщике моделей
Как подобрать модели под GPU с 12 ГБ и почему переключение между бэкендами GGUF и SafeTensors за одним OpenAI-совместимым эндпоинтом превращается в задачу планирования.
5 мин чтенияМаршрутизатор моделей на GCP: один управляемый API перед несколькими открытыми LLM
Схема, отвязывающая корпоративные приложения от конкретных LLM: логические задачи, выбор модели по ограничениям, цепочки резервирования, vLLM и стабильный API в стиле OpenAI на GCP.
7 мин чтенияПочему раунд-робин не справляется с флотами LLM: как llm-d определяет маршруты через кэш KV и глубину очереди.
Раунд-робинное балансирование нагрузки тратит ресурсы кэша KV и игнорирует размер запросов. Как llm-d оценивает реплики vLLM на Kubernetes и разделяет операции предзаполнения и декодирования.
10 мин чтенияQwen3.8-27B на одной RTX 5090: тесты vLLM, контроля скорости вентиляторов LACT и конкурентоспособности
Запуск Qwen3.8-27B на безголовом RTX 5090 с vLLM: настройка GPU в Docker, Prometheus и Grafana, коррекция температур с помощью LACT, а также определение точки насыщения пропускной способности при нагрузке.
11 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.