Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: gateway
Працюе па перыях стрымуванне LLM з Redis Streams як месца саўершэння кожнага перыя
Адмініструемая стрымінгаванне LLM: публікацыя запісей дзеяння агента ў Redis Stream, прызначаны для кожнага раунду, ў якім кліенты можаць продовжыць працу пасля перэрываў з’яўлення з’ўязку і довгачасных пауз у працы інструменту.
9 хв чытанняCodex CLI праз LiteLLM Gateway на Bedrock Mantle
Кодэкс CLI паўтараецца праз гейтвей LiteLLM у Amazon Bedrock Mantle, каб дасягнуць модэляў OpenAI з можлівасцю кантролю гейтвей, псевданімаў модэляў і разумнымі стандартнымі настройкамі.
8 хв чытанняLiteLLM у сэрцы: план керування шлюзам AI для калькуляцыі з аднасотнікамі
Абстракцыя падаючага роўню, іерархія аб’ектаў, бюджэты, правілы мадэлі, акаунты служб, маршрутацыя, можлівасць адзоравання, агенты/MCP, і чаму шлюз являецца крытычным маршрутом.
6 хв чытанняКожны календарны выклік LLM у шлюзе LiteLLM з Headroom стыскаецца.
Headroom як заход пры прадзвоне для LiteLLM скарочвае кожны вызов LLM: адварцальная скарочка, дыялект «fail-open», пошаговая адпрацоўка па кожнай клавішы і вімераванне заўсёдышча токенаў.
7 хв чытанняПерадача засоба MCP праз LiteLLM: практычныя нарады з імітаваным банкавым шлюзам
Адынстаець MCP інструментаў праз гэйтвей LitleLLM: зарэгіструйце мак-банк, які можа працаваць праз HTTP, парагляньце ціклы ручна напісаных інструментаў з аднам запітам, апраўдайце, што механізмы захавання працуюць раней за MCP.
16 хв чытанняAgentgateway для LLM-ў, MCP і A2A: Калі аб’еднаная плошчына дадзенняў AI дапамагае
Як Agentgateway адрэснаецца на адміністрацыю працэй з LLM-проксі — адкрыцца MCP, трасуванне A2A, маршрутызацыя, безпека, OpenTelemetry і кантроль віток — і калі ўжываць яго, а калі прымусівацца без яго.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.