Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: litellm
Як bearer-токен з аднаго сімвала адкрыў MCP-шлюз LiteLLM
Ханіпоты заспелі зламыснікаў, што выкарыстоўвалі абыход аўтэнтыфікацыі MCP у LiteLLM і ўразлівасць выканання кода ў guardrails. Ланцуг атакі і чэкліст з шасці крокаў для абароны.
5 хв чытанняАгентнае праграмаванне з кантролем выдаткаў
Агентнае праграмаванне з кантролем выдаткаў: лакальная LLM прадакшн-узроўню з маршрутызацыяй праз LiteLLM, кэшаваннем промптаў і іншым.
17 хв чытанняВыкорыстоўваюце OpenAI Codex з проксі LiteLLM для модэляў, якія пераводзяцца, і для кантролю бюджэту.
Указаце OpenAI Codex на адрэс проксі LiteLLM, і вы будзеце мелаць доступ да багацькоў модэляў, цэнтрызаваныя логі віткоў, а таксама віртуальныя кантролеры для кожнага распрацоўшчыка з іхнімі сабскіпамі.
5 хв чытанняCodex CLI праз LiteLLM Gateway на Bedrock Mantle
Кодэкс CLI паўтараецца праз гейтвей LiteLLM у Amazon Bedrock Mantle, каб дасягнуць модэляў OpenAI з можлівасцю кантролю гейтвей, псевданімаў модэляў і разумнымі стандартнымі настройкамі.
8 хв чытанняСкорачыце выдаткі на LLM за дапамою маршрутацыяй токенаў LiteLLM
LiteLLM знаходзіцца межы дапрыямкамі і прадастчыкамі, направляючы короткія запіты да танных модэлей, а складныя – да Opus; у сімуляваным месяцы працы інжынера адзінаваецца прыблізна 28% заўтрошчання.
3 хв чытанняШто LiteLLM не можа бачыць: стан кантролю GPU, якая працуе пад гэйтвейем
LiteLLM сочыць за запросамі і вітратамі. Чаканне ў чэрзі, падготавка даных пры запуску або ў працэсе дэкадавання, перзапуск кантэйнероў і навантажэння на хоста выклікаюць патрэбу ў Prometheus, метрыках vLLM, cAdvisor і трэйсах.
4 хв чытанняСамастаянаваныя сеткі LLM: адна вората замест аднаго хоста на кожны мадэль
Дадзенне модэляў з адкрытым вагам не павінна значыць неабходнасць наявнасці новых імен хостаў і канектавання для кожнага дапытку. Шлюз у стылі LiteLLM заставае адні пункты выходу, тады калі бэкенды зміняюцца за яго межамі.
5 хв чытанняLiteLLM у сэрцы: план керування шлюзам AI для калькуляцыі з аднасотнікамі
Абстракцыя падаючага роўню, іерархія аб’ектаў, бюджэты, правілы мадэлі, акаунты служб, маршрутацыя, можлівасць адзоравання, агенты/MCP, і чаму шлюз являецца крытычным маршрутом.
6 хв чытанняКожны календарны выклік LLM у шлюзе LiteLLM з Headroom стыскаецца.
Headroom як заход пры прадзвоне для LiteLLM скарочвае кожны вызов LLM: адварцальная скарочка, дыялект «fail-open», пошаговая адпрацоўка па кожнай клавішы і вімераванне заўсёдышча токенаў.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.