Інжынерныя нататкі

Артыкулы для тых, хто
выводзіць стэк у прод

Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.

20 артыкулаў · Старонка 1 з 3

Тэг: vllm

vllm llm-serving gpu inference
Поясненне флагів сэрвісу vLLM з розумнымі початковымі значэннямі.
Практычны ўражынкі пра флагі сэрвісу vLLM, якія вы насправдзе зможаце налаштаваць: dtype, выкарыстоўванне памяці, дужына кантэкста, паралелізм, кантыяцыйныя ключы і іншы параметры, з стандартнымі значэннямі для працы.
23 кас 20264 хв чытання
ollama llama-cpp vllm
Чаму Ollama большэй не падходзіць і што запускаць заместа яго
Ollama — гэта абстракцый слой над llama.cpp. Дазвольце дазнайцаця, дзе ён сталквічаецца з абмежэннямі па гучнасць, фарматах модэляў і GPU AMD, а таксама калі llama.cpp, LM Studio чы vLLM падходзяць лепей.
23 кас 20267 хв чытання
flash-attention paged-attention vllm
FlashAttention і PagedAttention: два рышэння для двох рызніх проблем
Навчыцеся, як FlashAttention працяўка прыбаўляе скорост матэматычыя вычысленяў пры уваге за допамагай тылінгу і онлайн-softmax, як PagedAttention керуеў KV кешэм памяці, і чычою vLLM-стыльныя стакі вікорыстаюць обабо.
23 кас 20267 хв чытання
llm-evaluation hallucination vllm
Калі мадэль ніколі не завершае працу: мовчазныя невыпадкі, якія залішаюцца непазначанымі у рэйтынгах галюцынацый.
Два пункты контролю, две формы квантавання і два часу выканання булі прыменены на выдуманных назвах: адзін мадэль застаецца мовчазным прыблізна на калькі хвілін, а рэтэльны оценяльнік выявляе тыя балы, якія працяглі залішыцца незафіксаванымі.
23 кас 202611 хв чытання
ollama wsl2 dify
Вылечыце проблему «З’явілася парадоксальная падтрымка з’яўлення з’ўязку Ollama» у WSL2 і наладзіце работу Dify і vLLM.
Ollama працюе ў WSL2, але Dify падае з памылкай адмовы ў з’яўленні з’ўязку? З’ясавайце адрэсу прыўязкі, задаце значэнне OLLAMA_HOST, дадзіце портпраксі, і ухіліцеся ад проблемы з localhost у Docker пад час підключэння да vLLM.
23 кас 20267 хв чытання
local-llm gguf llama-cpp
Заўядзенне локальных модэляў кодавання на картцы RTX 3060 з памяцю 12 ГБ за дапамогою планавальніка модэляў
Як выбраць модэлі, які падходзяць для GPU на 12 ГБ, і чаму змена адпалатоў GGUF і SafeTensors за дапамой аднаго канцэнтраба, сумесабельнага з OpenAI, ператвараецца на проблему планавання.
23 кас 20265 хв чытання
llm gcp vllm
Мадэльны рутэр на GCP: адмініструемая API падае пад кантроль пры наявнасці калькольных адкрытых LLM-модэляў
Дзяржавныя прыемкі для аддзейнаўкі дапытакоў практычных аплікацыяў ад адзінаковых LLM: логічныя задачы, выбір модэлю на адзеўнанні з абмежэннямі, альтэрнатыўныя ланцоўкі, vLLM і стабільны API у стыле OpenAI на GCP.
23 кас 20267 хв чытання
llm-d vllm llm-inference
Чаму раунд-робін не падходзіць для флотаў LLM: як llm-d керуе за дапамогою KV-кэшу і глыбі календара.
Раунд-робін-балансаванне навантажэння марнуе запыткі да KV-кэшу і ігнаруе розмер запытку. Як llm-d оцэнюе рэплікі vLLM на Kubernetes і раздзеляе прадзейнаванне і дэкадаванне.
23 кас 202610 хв чытання
vllm rtx-5090 qwen
Qwen3.8-27B на адаптары RTX 5090: vLLM, кантроллер швейцароў LACT і тэсты на паралельную працю
Служыць Qwen3.8-27B з безгалоўнага RTX 5090 за дапамогай vLLM: настройка GPU у Docker, Prometheus і Grafana, карэкцыя проблем з тэплам за дапамогай LACT, а таксама выявленне момента, калі працэздольнасць досягае свайго максімуму пад навантажэнням.
23 кас 202611 хв чытання

FAQ

Пра гэтыя артыкулы

Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.

Крыніца — англійская. Іншая мова паказваецца толькі калі ёсць пераклад цела. Пусты пераклад застаецца англійскім, у тым ліку на лакалізаваным адрасе.

Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.

Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.

Ацэнка за 24 гадзіны

Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.

Даслаць брыф React-прыкладанні

Артыкулы для тых, хтовыводзіць стэк у прод

Пра гэтыя артыкулы

Ацэнка за 24 гадзіны

Артыкулы для тых, хто
выводзіць стэк у прод