Інжынерныя нататкі
Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: monitoring
Адпрацоўка агентаў AWS AI у масштабе: токены, вітраты, ліміты і автономнае кераванне.
Підрахунок токенів, назіранне за вітратамі, відновленне парадыгм у межах кантэксту і надзвычайна автономна праца для агентаў AWS, кожна з якіх пояснюецца за дапамогою патэранаў, вядомых разрабоцам размяшчаных рашэнняў на JavaScript.
8 хв чытанняШто LiteLLM не можа бачыць: стан кантролю GPU, якая працуе пад гэйтвейем
LiteLLM сочыць за запросамі і вітратамі. Чаканне ў чэрзі, падготавка даных пры запуску або ў працэсе дэкадавання, перзапуск кантэйнероў і навантажэння на хоста выклікаюць патрэбу ў Prometheus, метрыках vLLM, cAdvisor і трэйсах.
4 хв чытання
FAQ
Пра гэтыя артыкулы
Так. Кожны тэкст — арыгінальны англійскі рэрайт для гэтага сайта. Структура і код за крыніцай; проза перапісана і праверана на перасячэнні.
Крыніца — англійская. Іншая мова паказваецца толькі калі ёсць пераклад цела. Пусты пераклад застаецца англійскім, у тым ліку на лакалізаваным адрасе.
Новыя чарнавікі трапляюць у чаргу пасля рэдактуры. Імпарт на сайт бярэ толькі новыя ці змененыя slug — без дубляў.
Прыклады ілюстратыўныя. Правярайце стэк і ліцэнзіі перад продам. Для ўкаранення дашліце брыф.
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.