Інженерні нотатки
Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: ttft
Метрики інференсу vLLM: від TTFT та TPOT до KV Cache та Goodput
Посібник з використання метрик vLLM Prometheus — показники успішності, відсоткові квантиля затримки, співвідношення вводу/виводу токенів, переривання роботи, попереднє заповнення даних у частинах, DPD та прийом спекулятивного декодування.
13 хв читання
FAQ
Про ці статті
Так. Кожен текст — оригінальний англійський рерайт для цього сайту. Структура й код за джерелом; прозу переписано й перевірено на збіги.
Джерело — англійське. Інша мова показується лише якщо є переклад тіла. Порожній переклад лишається англійським, зокрема на локалізованій адресі.
Нові чернетки потрапляють у чергу після редактури. Імпорт на сайт бере лише нові чи змінені slug — без дублів.
Приклади ілюстративні. Перевіряйте стек і ліцензії перед продом. Для впровадження надішліть бриф.
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.