vllm prometheus observability llmops gpu ttft

Метрыкі аналізу vLLM: ад TTFT і TPOT да KV Cache і Goodput

Канал практычнай гайды па метрыках vLLM Prometheus — ступеня успеху, перцэнтылі затрымкі, спявазанне токэнаў і I/O, перарывы працы, падготавка дадзенняў у часткі, DPD і прыемлівасць спекулятывнага дэкодавання.

Выдавец: REACTAPP.TOPДададзена на сайт 26 вер 202613 хв чытання2973 слоў

Крыніцы: A Deep Dive into vLLM Inference Metrics

Адміністрацыя большых мовных модэляў не сталквецца з тымі ж проблемамі з адзораваннем, якія ўтвараюцца пад час аддачы безстановых мікросервісаў. Адсотак выкарыстоўвання CPU і сярэжная затрымка запытоў ёсць слабымі показнікамі, калі на працэс вялікі патрабунак аддаюць увагу, стацыонарнае групаванне запытоў і ўместнасц HBM. Акцэнт у працы ў рэальных умовах перашоў з простага прапускай спроможнасці токеноў на goodput — успешнае завершэння задач у межах строгіх паказначаных стандартоў.

У гэтым кялічыку паспрабаванае расказваць пра основныя паказнікі двайчыка vLLM, якія трэба прадставляць на панелях Grafana: лічыльнікі надзяйнасці, гістаграмы затрымкі, эканоміка токэнаў, дынаміку KV-кеша, напор на распрацоўчы апарат, а таксама выборы топалогіі, якія паказваюцца толькі тады, калі тэлеметрыя чытваецца правільна.

Сконцентраваныя статыстыкі і стан сістэмы

Сілы LLM частаюць выконвацца без явных проблем — з падэсканамі якосці генеравання і схованымі перарывамі — а не з чыстымі памылкамі HTTP. Таму для адказковага контролю за станамі неабходны сэмантычныя прычыны завершэння, а не толькі коды статусу.

Рэйт лепаску і распадзел прычын завершэння

Рэйт лепаску — гэта чыстыя успехі серэд усіх обрабоўваных запыткаў за певны перыяд. У vLLM гэта значыць аналіз таго, як завершыўся цыкл генеравання, а не проста пісчыць 200 OK. Здаровыя сістэмы зазвычай падтрымліваюць рэйт лепаску на адзінаках 99,5%; стойкія падышчы ніжэй за 98% ўважаюцца экстрэнным станам.

Калькюлятор — гэта vllm:request_success_total, пазначаны finished_reason:

Stop — натуральны канец або настаўленая строка для зупінкі. Лячыцца як справжні успех.
Length — абрыв за максымальным обсягам кантэксту або колькасцю генеравання.
Abort — перарыв з боку кліента або внутршній абрыв.

Хронічныя завершэння з параметрам length часта значыць, што мадэль занадта давго працуе над задачай, або ж ліміты max_model_len / генеравання занадто строгі для стылю запіту. Тыповая формулайзацыя ў PromQL — цэе співвяднанне частоты завершэнняў з параметрам stop і частоты всіх завершэнняў у пяціхвіліннай перыодзе.

Пропускная здатнасць проты сходжання да успеху

Прыкрэйце аб’ём загальных запітоў па боку ад колькасці успешна завершаных задач. Пад нормальным навантажэнням крывыя должны рухацца разам. Павялічэнне розныні значыць, што GPU вітрачае рэсурсы на работу, якая ніколі не становіцца успехам — чырвоныя межы часу (перыванні) або перакрыцэння кантэксту (довжына). Пад тэстамі навантажэння вялікія розныні свідчаюць пра падышок якосці або незаканчэванае генераванне, якое даганяе ліміты довжыны.

Сбор сметаны ў Python і памяць процэса

Большая частка важлівых операцый выканана ў CUDA/C++, але оркестрацыя заўсёды адбываецца на Python. Следзіце за колькасцю сбору сметаны разам з аб’ёмам памяці процэса.

Частыя вызванні процэса апчысцення кешу ствараюць перашкоды ў таймінгу между токенамі. Постаўна адныя за іншымі растучыя значэння RSS свідчаюць пра вітэкі памяці ў зв’язках і ў канечнай лініі прыводзяць да актывацыі механізма зваротнага звяртання ў разе нехапакі памяці. Пады можу выглядаць «нормальнымі» на процэсары, незалежна ад таго, чы ў яных спакойна, чы вонкі; самэльскаджаныя буферы памяці — гэта там, дзе выражаецца тыха смерць.

Канкрэтныя показнікі затрымкі і досвіду корыстніка

Затрымкі пад час генеравання маюць дзейну структуру. Сярэднія значэння маскуюць проблемы; показнікі P50/P90/P99 (і іншыя) ёсць неабходнымі.

Затрымка запіту з початку да канца

E2E включае перыяд ад прыбыці запіту да фінальнага токена і яго закрыцьця. vLLM выкладзе vllm:e2e_request_latency_seconds у віглядзе гістаграмы. Для вычыслення квантыліў вікорыстоўваецца histogram_quantile() з лінейным інтэрполяцыяй унутранічна. Нерэгулярныя сплескі показніка P99 часта означаюць, што механізм пакетавання не можа правільна сортаваць запіты — час шукаць прычыны ў планавальніку і напорэ на кэш.

P99 показнік часу да першага токена (TTFT)

TTFT — гэта паметрактар аб’ектыўнасці. Рэкамендацыі з HCI ставяць цель адпаведаць прыблізна за адну секунду, каб не вырастаў разчароўванне.

На TTFT вялікы патэнцый мае prefill: чытаецца запіт, формуюцца увага, ствараецца пачатковы кэш KV. Затраты прыблізна працуюць прымусова з квадратам дужоўжыны последовальнасці паўтарэнняў у спадзе з шыроцю — гэта вычыслювальна-залежныя задачы TFLOPS. Прыклад масштабавання: prefill з 512 токенамі на модэлі прыблізна 70B даходзіць да дзесяткаў TFLOPs.

PromQL для TTFT P99:

histogram_quantile(0.99, sum(rate(vllm:time_to_first_token_seconds_bucket[5m])) by (le))

Для інтэрфейсаў чату TTFT P99 часта ёстэць канстантныя абмежэння. Вельмі вялікія розмеры памяці на GPU серэдньаг класу (на прыклад, класу L40S) можа зробіць TTFT непрыемным, незалежна ад групавання задач — чым вынукае неабходнасць вікорыстоўвання меньшых модэляў або чыпаў з вышымі показнікамі TFLOPS (класу H100).

Врэмя на адзін токен выходу (TPOT) і распад стадзій аналізу

Пасля першага токена прыходзіць ролю decode. TPOT (вялічына затрымкі межаў токенамі) паказвае швальнасць апрацоўкі наступных токенав.

Дэкодаванне зазвычай обмежваецца пропускной спроможнасцю памяці: на кожным кроку вагі і історыю KV перазавантажваецца з HBM у вычыльнікы з нізкай арыфметычная інтэнсывнасцю (~1 FLOP/байт для ўпакоўаных, не-MoE шляхоў).

Прыдатны спосаб разбівкі:

E2E ≈ TTFT + (N_output − 1) × TPOT

Дыяграмы разбівкі наэтапна паказваюць частку прадзейсвавання падчас прадзеяўства пры перадзаполненні і частку падчас дэкодавання:

Высокі час прадзеяўства пры перадзаполненні → дужыя запіты або нізкая канцэнтрацыя TFLOPS.
Высокі час дэкодавання → дужыя выходныя даныя або насыцэнная пропускная спроможнасць HBM.

Порэванаўшы TTFT і TPOT пад час зростаючага навантажэння, можна шыбкая адначасова выказваць прычыну узгорткаў.

Пропускная спроможнасць токенаў і характэрызацыя навантажэння

Без велічыны даных немагчыма адначасова выказваць цэну апаратуры.

Пропускная спроможнасць токенаў і калячынка IO

Раздзеліце пропускную спроможнасць на токены запытаў/секунду і токены генеравання/секунду. Вышэйшыя сталявыя значэння лепшая амортызуюць вартасць арэнды GPU.

Співвядношэнне токенаў I/O (токаны запіту да токанаў генеравання) характарызуе працу:

Высока (~20:1) — дзялёныя запыты, кораткія выходы: RAG, стварэнне апусцоў, класыфікацыя. Актыўнае выкарыстоўванне прадзялёваных дадзенняў.
Нізкая — кораткія запыты, дзялёныя выходы: адкрытая чат-суперасць, стварэнне коду. Актыўнае выкарыстоўванне функцый дэкодавання/HBM.

Неспаўненасць топалогіі з гэтым співвядношэннем прыводзіць да втрат грошаў: RAG на пулах, оптымізаваных для дэкодавання, або дзялёныя чат-суперасці на платформах, з малым колькам прадзялёваных дадзенняў.

Хітмапа дужыны запыту (Prompt)

Хітмапы дужыны запыту паказваюць, чы рух ў форме спакойнага одномодальнага распаду, чы сумешання маленькіх і вялікіх запытаў. Актыўнае выкарыстоўвання запытаў вялікай дужыны пояснюе спалахі TTFT нават тады, калі показнік QPS выглядае скромным.

Внутранія элементы дваржчыкі і дынаміка кэша

Зовнішняя затрымка залежыць ад стану кэша KV і планавальніка.

Выкарыстоўванне кэша KV GPU

Сачыце за тым, насколькі заполнены буфер KV. Калі ступень заполнення зрастае, працэўка па серыях зменшыцца; калі прыбудзе до певнага рубежа, дварчык перакіне працэю.

Штосць і заўтратае пад час кэшавання прыфіксаў

Кэшаванне прыфіксаў дазволяе практычна воспаліваць KV-значэнні для спяльных прыфіксаў запросаў (сістэмныя запросы, заголовкі RAG). Штосць успехоў кэшавання і заўтратае рэсурсаў дапамагаюць адмацаваць, чы рэальна дызайн запросаў і ўсё працэс апылкі выкарыстоўваюць спяльныя прыфіксы, чы не ўсе запросы віпадкова становяцца унікальнымі.

Стан планавальніка і эфектывасць сістэмы

Следзіце за колькасцю запрашоў, якія працуюць, і тых, якія чакаюць. Адным з найчастэйшых сігналаў проблемы ёсць зростанне колькасці запрашоў, якія чакаюць, праз адносна стабільную колькасць працуючых запрашоў — гэта зазвычай означае ліміты KV або параметра max_num_seqs, а не “зайняты CPU”.

Стан планавальніка і штосць перакідання працэй

Калі KV не можа зберагчыць вектары наступнага токена, vLLM перадчынае выкананне. Пэрадакт vllm:num_preemptions_total являецца лімітным показнікам: неякшыя значэння, якія застаюцца праўільнымі, выкалічваюць патрэбу ў большай колькасці VRAM, большым коллекцыям рэплік або меньшым лімітом max_num_seqs.

Эфектыўнасць сістэмы і час у чэрзі запытанняў

Эфектыўнасць сістэмы вырахоўваецца па співвялічэнню шыроцы обработкі з шыроцай прыходу запытанняў. Значэнне блізкое да 1,0 значыць, што запытанні обрабоўваюцца быстра; значэнні, якія опускаюцца ніжыя за ~0,7, значыць, што час чакання расце быстрэй, чым GPU можа яго падтрымаць.

Гэтыя проблемы праказваюцца праз vllm:request_queue_time_seconds — час, які прабывае ў стане чакання пры выкананні корысных вычыслаў. Час у чэрзі падвайнюе загальны час выканання, калі не вырабляецца жадана колькасць токенаў.

Класычныя методы HPA, адаснованыя на CPU, тут не дапамагаюць. Падключыце показнік vllm:num_requests_waiting і часу у чэрзі праз адаптар Prometheus, каб HPA могла налагодзіцца па глыбіне чэрзі (на прыклад, калі ў яе больш за калькі запытанняў), а не па ілюзіях, створанных CPU.

Інфраструктура, балансаванне навантажэння і прыглыдзелыя топалогіі

Сігналы програмнага забезпечэння павінны адпаважваць рэальнасць апаратнага забезпечэння.

Балансаванне навантажэння і выкарыстоўванне апарату

Трываласць запытак LLM сільна разніцяецца — хвіліны на дзейственнае стварэнне тэксту проты мгновенных кораткіх адпаведзей. Таму метод «раунд-робін» парадоксальна спрыяе неравнамернаму выкарыстоўванню рэсурсаў. Крашчэ выбіраць прыстроі для балансавання, якія ведаюць прыбліжную глыбіну апрацоўкі запыткаў.

Парадны адпаведнік — DCGM:

Выкарыстоўванне GPU — бажаны рэзультат — высокая ступень выкарыстоўвання пры малых чэргах; высокая ступень выкарыстоўвання пры дугіх чэргах азначае насыцэнне рэсурсаў.
VRAM, якая выкарыстоўваецца — па ёй можна выявіць, чы вLLM з’яўіла сабе неабходную частку рэсурсаў з самага пачатку.

Рас’яшэнне канфлікту между прадзействам і дэкодаваннем

Масіўнае прадзейство, якое залежыць ад вычысляльных моцаў, у складзе змешанага пакета можа монаполізаваць тэнзорныя ядры і зупініць усе актуальнае дэкодаванне — чыяжкі TPOT і перэрывы ў стрымах.

Два основных спосабы зменшэння праблем: часткова падготовка даных і роздзельная падготовка/дэкодаванне.

Частковая падготовка даных

Вялікія запіты дзелююцца на фіксаваныя часткі (напрыклад, 512 токэнаў), а гэтыя часткі перамешваюцца з крокамі дэкодавання іншых запітаў. Час адпаведзення для новакоў лягка падыходзіць; час адпаведзення для іншых застаецца стабільным. Прызнакі эфектыўнасці: болей роўныя гістаграмы ITL, адносна невялікія затраты на P50, значныя прабавы ў стабільнасці потокаў на P99.

Роздзельная падготовка даных і дэкодаванне (DPD)

У большых масштабах фазы выканання аддзеляюцца на разныя групы працоўных апаратаў: падготовка даных на GPU з вялікай колькасцю TFLOPS, дэкодаванне на GPU з вялікай колькасцю HBM; пасля падготовкі даных KV-даныя пераўозяцца праз сетка. Следзіце за часамі пераўозкі і колькасцю байтов, напрыклад vllm:nixl_xfer_time_seconds_sum і vllm:nixl_bytes_transferred_sum. DPD ефектыўны толькі тады, калі час пераўозкі менейшы за ступень парадоксу, якую ён усуне; якосць тэхналогій RDMA/NCCL вялічыць гэты показнік.

Матэматыка спекуляўнага дэкодавання

Спекуляўнае дэкодавання прышвартоўвае працэс дэкодавання, залежны ад памяці, за дапамой невялікага праектнага модэлю, які пропануе токены, і цэльвога модэлю, які пераканае ўсе іх за адну пасэж. Пераканаўце калькольна кількох токенаў можа зайняць прыблізна адну ступеню гэнеравання, што дапамагае перакануць ліміты HBM, калі праекты ўжо добрыя.

Ключовы показнік: шчыльнасць адзначэнняя праектаў (vllm:spec_decode_draft_acceptance_rate). Колькасць токенаў, якія маюць быць адзначаныя за ступеню, выклікаеся геаметрычным радом па верыгоднасці адзначэння α. Калі α падые ніжэй за ~0.5, додатковыя вітраты на праекты можу пераканаць заўтрэчкі і спамагчы сістэму.

Ацэнюйце праекты пад тэмпературой вырабніцтва. Грызлівыя (T=0) тэсты могу паказаць α≈0.8, тады калі крэатывныя T=1.0 трафік зменшае той жа пару да α≈0.4 — ператвараючы оптымізацыю ў рэгрэсію.

Архітэктура тэлеметрыі Prometheus з мнагапроцэсным падходам

Сервер vLLM, сумэжны з OpenAI, выкарыстоўвае мнагапрацоўніцу. Простыя кліенты Prometheus не можаць працаваць між працоўнікамі (чынэнне GIL і раздзелена памяць).

Рашэння — гэта prometheus_client.multiprocess з параметрам PROMETHEUS_MULTIPROC_DIR: кожны працоўнік дадае змяны да файлаў, скарыстоўваючых мапаванне памяці; збор дадзенняў адбываецца праз MultiProcessCollector, які з’едынае выходныя даны OpenMetrics. Складныя запіты PromQL (histogram_quantile, rate) застаюцца на серверэ Prometheus, а не на шляху апрацоўкі запытоў — такім чынам вімераванне затрымкі не стае самай затрымкай.

Усі гэтыя показнікі — прычыны успеху чы працы, кванілі TTFT/TPOT/E2E, форма вводу-выходу токенав, заполненасць KV-энтры, перэрывы, час у чэрзі, а таксама статыстыка перадачы дадзенняў, спецыфічная для топалогіі — ствараюць замкнуты цыкл ад паказначаных спэкіфікацыйяў корыстувальніка да фізыкі працы GPU. Саме гэты цыкл ператварае vLLM з дэманстрацыйнага сервера на функцыональную платформу для апрацоўкі запытоў.

Зберагаеце пісьмовыя інструкціі, у яых кожны крытычны показначык супараджуецца з першым заходам: адзначэнне падышу прэемпцыйяў → скасаваць max_num_seqs або дадаць больш VRAM; толькі TTFT P99 → скорачыць запіты, падняць значэнне TFLOPS або увёльніць кеш прыфіксаў; рэзкі падыш TPOT пры выкарыстоўванні всіх KV → зменшыць навантажэнне на дэкадаванне або усунуць пераскокі падчас прадзеяў; спекулятывны занік α → пракорэгураваць параметры draft/temperature. Кожную змяну ў магчымасцях трэба супараджаваць з графікамі эфектыўнасці до/пасля на той самым графіку, каб вітраты на апаратную частку былі прыязначаны да досягнення цэляў SLO, а не толькі да падскоку колькасці токеноў/секунду. Перазьвяртайцеся да панелей керування IO-ratio ўсё час, калі змінюецца склад продукту — запуск функцыяй RAG і дзейнасці дліжнага фармата можу за ноч чыніць перэкрыцця меж між прадзеямі прадвыплнення і дэкадавання, а ўчорашнія порогі автаскалярынгу стаюць сённяшнімі “бяспечнымі” чэргамі. Нарэшце, спрыяйце каталогам показначыкаў мнагапроцэсавай работы як часткі жытцёвага цыклу падаў: порожнія або з нарушанымі правамі шляхі PROMETHEUS_MULTIPROC_DIR выглядаюць як “здаровыя” даны з нулямі, тады калі корыстувальнікі вялікі час яшчэ відчуваюць проблемы.

Адзія.

Пры запуску новага мадэльнага чэкпоінта неабяжна зафіксаваць профіль навантажэння (спявазанне дужыны запіту, спявазанне дужыны выходных дадзеных, канкуранція) і парабрацаваць тыя ж панелі PromQL прычым пераказваць трафік. Чэкпоінт, які паводзіцца лепша па сярэжнай колькасці токенав/секунду, але праграе па TTFT P99 чыстае шчыце або канцэнтрацыі прэемпцый, не ўзьмеца пад увагу для вікорыстання ў інтэрактыўных API.

Калі запускаеце новы чэкпоінт модэлі, зафіксавайце профіль навантажэння (спяваўшчына дужоў запрасу, спяваўшчына дужоў выходу, канкурантнасць) і паравярце тыя ж панелі PromQL прычым перад пераказам трафіку. Чэкпоінт, які павышае сярэжны лік токеноў/секунду, але праграе па показніку TTFT P99 чы ўскорэнню, не падходзіць для вікорыстання ў інтэрактыўных API.

Калі запускаеце новы чэкпоінт модэлі, зафіксавайце профіль навантажэння (спявазанне дужыны запіту, спявазанне дужыны выходных дадзеных, канкуранція) і парабяруйце тыя ж панелі PromQL прычым пераводзіць трафік. Чэкпоінт, які паводзіцца лепша па сярэжнай колькасці токенав/секунду, але праграе па TTFT P99 чыстае шчыце ня ўтварае кандыдата на апраначэнне для інтэрактыўных API.

Калі запускаеце новы чэкпоінт модэлі, зафіксавайце профіль навантажэння (спявазанне дужыны запіту, спявазанне дужыны выходных дадзеных, канкуранція) і парабяруйце тыя ж панелі PromQL пры перадачы трафіку. Чэкпоінт, які мае высокі показатэль сярэдніх токеноў/секунду, але прағатуе па показніку TTFT P99 чыстаўшчыка або каштовасці прэемпцыі, не ўзьмецца пад увағу для вікорыстоўвання ў інтэрактыўных API.

Калі запускаеце новы чэкпоінт модэлі, зафіксавайце профіль навантажэння (спяваўшчына дужоў запрасу, спяваўшчына дужоў выходу, канкурантнасць) і паравярце тыя ж панелі PromQL прычым перад тым, як пераказваць трафік. Чэкпоінт, які павышае сярэжны канцэнтрацію токенав/секунду, але прасядзе па показніку TTFT P99 чы ў разліце з калясцю пераканчэння, не ўзьмецаўся для вікорыстоўвання ў інтэрактыўных API.

Калі запускаеце новы чэкпоінт модэлі, зафіксавайце профіль навантажэння (спяваўшчына дужоў запрасу, спяваўшчына дужоў выходу, канкурантнасць) і паравярце тыя ж панелі PromQL прычым перад пераказам трафіку. Чэкпоінт, які павышае сярэжны лік токеноў/секунду, але праіграе па показніку TTFT P99 чы ўскорэнню, не падходзіць для вікорыстання ў інтэрактыўных API.

Калі запускаеце новы чэкпоінт модэлі, зафіксавайце профіль навантажэння (спявастанне дужынаў запросу, спявастанне дужынаў выходу, канкуранція) і паравярьце тыя ж панелі PromQL прычым пераводзіце трафік. Чэкпоінт, які павышае сярэжны лік токеноў/секунду, але праграе па показніку TTFT P99 чы ўскорэнню, не падходзіць для вікорыстання ў інтэрактыўных API.

← Усе артыкулы Даслаць брыф