Інжынерныя нататкі

Артыкулы для тых, хто
выводзіць стэк у прод

Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.

20 артыкулаў · Старонка 1 з 3

Тэг: vLLM

vllm llm-serving gpu inference
Поясненне флагів сэрвісу vLLM з розумнымі початковымі значэннямі.
Практычны ўражынкі пра флагі сэрвісу vLLM, якія вы насправдзе зможаце налаштаваць: dtype, выкарыстоўванне памяці, дужына контэкста, паралелізм, кантыяцыйныя ключы та іншы параметры, з стандартнымі значэннямі для працы.
23 кас 20264 хв чытання
ollama llama-cpp vllm
Чаму Ollama большэй не падходзіць і што запускать заместа яго
Ollama — это абстракцый слой над llama.cpp. Дазвольце дазнайцаця, дзе ён сталквічаецца з абмежэннямі па гучнасць, форматах модэляў і GPU AMD, а таксама калі llama.cpp, LM Studio чы vLLM падходзяць лепей.
23 кас 20267 хв чытання
flash-attention paged-attention vllm
FlashAttention і PagedAttention: два рішення для двох різних проблем
Навчыцеся, як FlashAttention працяўка прыбаўляе скорост матэматычыя вычысленяў пры уваге за допамагай тилінгу та онлайн-softmax, як PagedAttention керуеў KV кешем памяці, і чычою vLLM-стильныя стаки використаюць обабо.
23 кас 20267 хв чытання
llm-evaluation hallucination vllm
Калі модель ніколі не завершае роботу: мовчазныя невыпадкі, якія залишаюцца непазначанымі у рэйтингах галюцинацый.
Два пункты контролю, две формы квантавання і два часу виконання булі прыменены на выдуманных назвах: адзін модель застаецца мовчазным прыблізна на калькі хвілін, а рэтельны оценяльнік выявляе тыя балы, якія працяглі залишыцца незафіксаванымі.
23 кас 202611 хв чытання
ollama wsl2 dify
Вылечыце проблему «З’явілася парадоксальная падтрымка з’яўлення з’ўязку Ollama» у WSL2 і наладзіце работу Dify і vLLM.
Ollama працюе ў WSL2, але Dify падае з памылкай адмовы ў з’яўленні з’ўязку? З’ясавайце адресу прыўязкі, задаце значэнне OLLAMA_HOST, дадзіце портпраксі, і ухіліцеся ад проблемы з localhost у Docker пад час підключэння да vLLM.
23 кас 20267 хв чытання
local-llm gguf llama-cpp
Заўядзенне локальных модэляў кодавання на картцы RTX 3060 з памяцю 12 ГБ за дапамогою планавальніка модэляў
Як выбраць модэлі, які падходзяць для GPU на 12 ГБ, і чаму змена адпалатоў GGUF і SafeTensors за дапамой аднаго канцэнтраба, сумесабельнага з OpenAI, ператвараецца на проблему планавання.
23 кас 20265 хв чытання
llm gcp vllm
Модельны рутэр на GCP: адмініструемая API падае пад кантроль пры наявнасці калькольных адкрытых LLM-модэляў
Дзяржавныя прыемкі для аддзейнаўкі дапытакоў практычных аплікацыяў ад адзінаковых LLM: логічныя задачы, выбір модэлю на адзеўнанні з абмежэннямі, альтернатыўныя ланцоўкі, vLLM і стабільны API у стыле OpenAI на GCP.
23 кас 20267 хв чытання
llm-d vllm llm-inference
Чаму раунд-робін не падходзіць для флотаў LLM: як llm-d керуе за дапамогою KV-кэшу та глыбі календара.
Раунд-робін-балансаванне навантажэння марнуе запыткі да KV-кэшу і ігнаруе розмер запытку. Як llm-d оцэнюе реплікі vLLM на Kubernetes і раздзеляе прадзейнаванне та декодаванне.
23 кас 202610 хв чытання
vllm rtx-5090 qwen
Qwen3.8-27B на адаптары RTX 5090: vLLM, кантроллер швейцароў LACT і тэсты на паралельную працю
Служыць Qwen3.8-27B з безгалоўнага RTX 5090 за дапамогай vLLM: настройка GPU у Docker, Prometheus і Grafana, карэкцыя проблем з тэплам за дапамогай LACT, а таксама выявленне момента, калі працэздольнасць досягае свайго максімуму пад навантажэнням.
23 кас 202611 хв чытання

FAQ

Пра гэтыя артыкулы

Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.

Крыніца — англійская. Іншая мова паказваецца толькі калі ёсць пераклад цела. Пусты пераклад застаецца англійскім, у тым ліку на лакалізаваным адрасе.

Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.

Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.

Ацэнка за 24 гадзіны

Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.

Даслаць брыф React-прыкладанні

Артыкулы для тых, хтовыводзіць стэк у прод

Пра гэтыя артыкулы

Ацэнка за 24 гадзіны

Артыкулы для тых, хто
выводзіць стэк у прод