Agentgateway для LLM-ў, MCP і A2A: Калі аб’еднаная плошчына дадзенняў AI дапамагае
Как Agentgateway адрэснаецца на адміністрацыю працэй з LLM-проксі — адкрыцца MCP, трасуванне A2A, маршрутызацыя, безпека, OpenTelemetry і кантроль витак — і калі ўжываць яго, а калі прымусівацца без яго.
Команды платформ, які розвиваюцься за межы адзінаго канца светловоду модэля, частаўна ствараюць сабе разныя элементы: прадастчыкі LLM, серверы інструментаў і автонамныя агенты, кожны з якіх мае свой спосаб прыўязкі. Проксі, спецыяльныя для LLM, такія як Bifrost чыта LiteLLM, дапамагаюць у завершэнні чатоў, але залишаюць трафік межы агентамі і інтэрфейсы інструментаў MCP як окремыя проблемы.
Agentgateway створаны для заполнення гэтага прасвету: адзін высокаякостны гэтвей для трафіку, прызначанага для AI, а не толькі класычныя проксі HTTP для LLM. У наступных раздзелах падсумавана, чым ён адрозніцца, як выглядае початковая наладка, якія параметры керування маюць значэнне і калі варта яго адразу застосаваць, а калі праігнораваць.
Чым адрозніцца Agentgateway: за межамі проксі LLM
Ключовая адыяктуальнасць — глэбокое разуменне протаколаў, оріентаваных на агентаў, падчас выкарыстоўвання звычных HTTP-маршрутаў LLM. Ён можа яшчэ прыемляць запыты да канцэнтраў, сумесных з OpenAI, але таксама ставіцца да сервераў інструментаў MCP як да мікросервісоў — з можлівасцю аднаходжэння інструментаў па ўсім сістэме — і можа перадаваць інформацыю пра ідэнтыфікацыю та трэйсінг праз усе крокі абмены дадзеннямі, так што запыты между фрэймворкамі агентаў застаюцца працоўна спостерагаемымі.
У складнай системе агентаў агенты выканаюць запыты да інструментаў, якія можу падацца на сервер MCP. Без спаканаванага плоскага шару дадзенняў кожная команда стварае індывідуальныя методы аутэнтыкацыі, ліміты частоты запытаў та системы монітарынгу для такіх запытаў. Agentgateway централізуе гэтыя аспекты, як і API gateway для REST-мікросервісоў, адночасна врачумляючы нюансы маршрутацыі LLM, такія як выбір на аднойчынку з урахоўванням затрымкі, вартасці та характэрасцей моделі.
Для трафіку A2A важлівы ідэнтыфікацыя кожнага звену траекторыі та ўзледжэнне яе: аператары платформы должны ведаць, який агент звяжаўся з кампаньонам, пад якімі аутантыфікацыйнымі даннымі та з якім бюджэтом затрымкі. Расследжванне гэтага як задачы першага класу зменшае спрагу дадаць додатковыя працэсы праз кожны агентскі процес.
Практычны падход: швыдкі старт
Тыповая ацэнка пачынаецца локальна. Установка супадае з іншымі інструментамі-гэтвейями, заснованымі на CLI:
# This is a conceptual installation command, similar to what you might find for many CLI tools
curl -sL <some_install_script_url> | bash
Пасля установкі стварэнне простага проксі для LLM можа зайняць калькі хвілін: налаштаваецца маршрут да бэкенду, сумеснага з OpenAI, і надсылаецца тэставальны запит. Спрощаны маніфест маршрута можа выглядаць так:
# llm-route.yaml
apiVersion: gateway.agentgateway.io/v1alpha1
kind: LLMGateway
metadata:
name: my-llm-proxy
spec:
listener:
port: 8080
routes:
- match:
prefix: /v1/chat/completions
destinations:
- ref:
name: openai-backend
namespace: default
backends:
- name: openai-backend
llm:
provider: openai
credentials:
secretRef:
name: openai-api-key
namespace: default
У гэтым фрагменте паказаны слухальнік, вхідны маршрут та прадастальнік. Адрозумелася гэта тым, што для таго, каб працаваў першы маршрут, не трэба ўжо багато індывідуальных налаштаванняў, перш чым працаваць з правіламі.
Сіла керавання: маршрутызацыя, абэга, стазіроўка, кераванне, вартасць
Па-за маршрутызацыяй, самэ кантрольна сістэма ёсць тым, што робіць продукт прывабным для падпрыемстваў.
Маршрутызацыя. Не толькі HTTP/gRPC: маршруты LLM можа выбіраць дышэўшыя або быстрыяя моделі, переключацца между прадаўцамі і прымусваць трафік агента карацца на той жа рэвэрс, што і звычныя запыты API.
Безпека і правілы. Па-за пераканальненням JWT і OIDC, аператары можа прыкласты ліміты частоты і болей развітые правілы да маршрутаў LLM. Прыклад:
# Example: Applying a rate limit policy to an LLM route
apiVersion: gateway.agentgateway.io/v1alpha1
kind: RateLimitPolicy
metadata:
name: llm-rate-limit
spec:
targetRef:
group: gateway.agentgateway.io
kind: LLMGateway
name: my-llm-proxy
rateLimits:
- local:
requestsPerUnit: 100
unit: MINUTE
key:
header: "x-api-key" # Rate limit per API key
Стазіроўка. Хукі OpenTelemetry за значэнням маюць значэнне для команд, якія вже стандартызуюць трэйсы і метрыкі. Гейтвей-спаны, якія включаюць ідэнтыфікацыю моделі, маршруту і агента, скарочуюць слепыя пункты пад час дэбаггівання медленных або дорогих запытов.
Управленьне і виткі. Палітры доступу дацьяго до адзінстваў для MCP, квоты і механізмы направлення трафіку з урахоўваннем выткаў дазволяюць камандзе платформы задаць бюджэты аднойчы, замест таго каб перагаварываць пра ліміты ў кожным репазітарыі агента. Такое раздзеленне задач — каманды прыладоў ствараюць агенты, а каманды платформы — частку для обробкі дадзэнняў — і є основай для ефектывнага керавання.
Калі яго запускать, а калі прыбачыць
Запускайте яго, калі організацыя стварае багатоагентныя системы з калькама прадастчыкаў LLM, адзінстваў MCP і патрабаванням да сяродзіснага аутэнтыфікацыі, трэйсінгу і кантролю выткаў. Якщо трафік між прыладамі зрастае, а кожная каманда сама стварае шлюзы, то консалідация будзе корыстна.
Прыйміце рашэнне прыбачыць яго наразе, калі єдым патрабаваннем яўляецца просты проксі да адного прадастчыка з мінімальным наборам правіл. Можаць паспрацаваць легкішы проксі на аднойчынных моделях LLM, пакуль протаколы агентаў і механізмы керавання для калькама корыстнікаў не стануць справжнім проблемам.
Дэманстрацыі на новых практыках з адзінам чатботам рэдкая час прабачаюць наявнасць яшчэ аднаго плану карантину. У прыкладзе, агенты, якія выкарыстоўваюцца ў працэсе вырабачання, часта патрабуюць такога плану ў супакоўванні з прававымі трэбованнямі.
Практычныы вывад
Agentgateway спрямованы на усуненне недастатку ў інфраструктуре: аднацелыя механізмы маршрутызацыі та правілы для LLM-ў, MCP і A2A замест адзінаго набору спецыяльных проксі. Команды платформы отримваюць можлівасць задаць правілы, стежыць за взаімадзеяннямі та контролюваць витраты, не перапісываючы кожны агент. Команды прыкладніках отримваюць стабільныя правіла ўзаемадзеяння з інструментамі та моделямі.
Прыйнятне викорыстоўванне такіх рацэйнае толькі на адной падставе доказаў: вымерыце, сколькі сэрвісоў інгрэсу існуе сёння, сколькі з іх не маюця спальнага трэйсінгу, і як часта з’яўляюцца неспадзеваныя витраты. Якщо такіх показнікаў много, то аднацелы план дадзенняў для AI ўартуе серйознага расследавання. Якщо ж іх мало, то трэба залишыць структуру простай і пераглянуць ўмовы, калі почнёцца неконтрольаванае распространенне агентоў.
Деталі маршрутызацыі, якія вартуюць тэставання
Маршрутызацыя, яка ўрахоўвае затрымкі та виты, дапамагае толькі тады, калі сигналы пра стан системы є правдзівымі. У часы падвышанага навантажэння трэба пераканацца, што несправныя бэкенды быстра пакідають систему, а якшто існуюць „лепкія сесіі“, то яны не прыкрепляюць трафік да несправнага репліканта. Маршрутызацыя, яка ўрахоўвае модэлі, должна паказваць, які самэў модэль обслужыў запит у логах; інакша фінансавыя віддзелы та SRE будуць працаваць на адных дашбордах.
Таксама трэба працаваць з навмешанымі нештатамі для тэстаў переходу на альтернатыўны варіант: анулюйце ключ прадаўца, зменшыце ліміт частоты запытаў і пераканацца, што агенты прадстаўляюць кераваныя прычыны бяды, а не продовжуюць спробы запуску. Перапрыбуткі на рэвюе павінны быць скоординаваныя з перапрыбуткамі кліента, каб утримаць пад контролем эфект ампліфікацыі.
Дакладныя вопыты безпекі для аналізу ў корпаратыўных умовах
Параболізацыя JWT і OIDC ёсць базовай практыкой. З’явіцеся, як правілы доступу да інструментаў супараднуюцца з цілямі MCP, як храняцься секрэты ключоў прадаўцаў, і чы розбір правіл выканання трэбуе повнага перзапуску чы толькі гарячай замены. Кластэры з калькуляцыей за аб’ектамі патрабуюць чыстай ізоляціі, каб агент адной команды не могаў вызваць інструменты іншай команды.
Правілы лімітацыі частоты выканання должны розразліваць інтэрактыўны чат і задачы пакетной імбеддынгу. Адзіны глобальны ліміт QPS є недастатнім; ліміты па маршруту і па прынцыпалу адпавядаюць таму, як платформы фактычна выкалічуюць абодвух внутрашняях кліентаў.
Аспекты стварэння можлівасцяў адзору
Стандартны OpenTelemetry є неабходны, але недастатні. Пераканайцеся, што даны з фрэймворкаў агентаў перадаюцца ў элементы гэйтвейу, і што атрыбуты включаюць назву маршруту, ідэнтыфікатор моделі, колькасць токенаў, якія є доступныя, і назвы інструментаў MCP. Без гэтага трэйсы можна ўзрозумець затрымкі, але не вартасць.
Стратэгіі адбору логаў таксама маюць значэнне: можа быць забаранена ўсестороння рэгістрацыя запытоў; зазвычай кампромісам являецца структураваныя метаданныя з правіламі скрытнай обробкі інфармацыі. Перад увём развертання дакладных тэкстаў у непродакшн-сераверах неабходна паспрабаваць ўзгодзіцца з правіламі безпекі.
Управленьне виткамі на практыцы
Механізмы маршрутацыі, якія врачаюць виткі, можу выбіраць дышэўшыя моделі для трафіку з низкай значамасцю, але власнікі продуктав должны пазначыць, якія маршруты дазволены да падвышэння виткаў. Неабходна супараваняць бюджэты шлюзоў з сістэмай апавешчэнняя, калі маршрут набліжаецца да свайго месячнага ліміту. Палітікі доступу да інструментаў, якія обмежваюць дорогія дзеяння MCP (велікія перагледы, масовая запіс), не дазволяюць адзелу агента за одну ноч прыканчаваць месячны ліміт кредытаў.
Эскіз розвертання
- Разверніце шлюз у пространстве імен сандбокса з адним маршрутом LLM.
- Падключыце экспорт OTel да існуючага збірача даных; пераканайцеся, што працюе адзін „золаты“ маршрут.
- Дадаце адзін цэль MCP пасля пераканання автентыкацыі і застосавання ліміту частоты запытоў.
Такі парадокс дапамагае зменшыць аб’ем проблем, заодно выкорыстоўваючы функцыі, якія адразняють Agentgateway ад звычайнага проксі LLM.
Адпаведнасць з організацыяй
Групы платформы, якія вже выкарыстоўваюць API-гейтвэйсы, адразу ж упішаюць модель керавання: заявкі на новыя маршруты, правілы у вигляде коду, спяльныя панелі керавання. Команды агентаў, якія ранейш чакалі своі сопраны LiteLLM, можаць стаяць на захадзе, пакуль гейтвэйс не пакажаць чыстае зменшэння навантажэння — спяльныя клучы, спяльныя квоты, спяльныя трэйсы. Планаваць період міграцыі, калі оба падходы будуць існаваць адночасна, з чысткімі канечнымі тэрмінамі.
Даследжэнні для автараў агентаў должны паказваць, як наставіць SDK-ы на базовую URL-адрэсу гейтвэю, як перадаць інформацыю пра аідэнтычнасць і як расумець коды памилак гейтвэю. Без такой падтрымкі каманды будуць продовжваць айхацься ад стандартнага механізма для «толькі ўжо гэтага експерымента».
Ключовыя выводы
- Едынены план дадзейнаў: аб’еднаваць кераванне трафікам, аутентыкацыю, тэлеметрыю, правілы і ліміты витрачанняў у аднам роце, які разумее протаколы HTTP/gRPC, а таксама протаклы модэляў і агентаў.
- MCP як службы: аднаходзіць і захоўваць серверы інструментаў як іншыя мікрослужбы, а не як дадатковы элементы па боку проксі LLM.
- Візыбільнасць A2A: інформацыя пра аідэнтычнасць і трэйсінг на кожным роце агента ператвараюць сіткі з чорнымя корпусамі на працэсабельныя системы.
- Правілы на краю: ліміты частоты, аутентыкацыя і правілы доступу да інструментаў должны знаходзіцца ў гейтвэю, каб код агента заставаўся сфокусаваным на расумовых працэсах.
Команды, якія серьзаўна ставяцца да масштабавання, безпекі і працэйнасці аплікацыяў, створаных на базе AI — усабліва тыя, якія спалучаюць автонамныя агенты з разнымі прадаўцамі модэляў — должны пераканацца, чыя их ныяшняе праекстарнэе шара ўжо падтрымляе протаколы агентаў, чы не толькі функцыі дапраўнення паведамленняў. Першы варыянт ёсць неабходным для наступнай хвалі систем агентаў у прыменэнні; другі — толькі тымчасовая зручнасць.
З практычнай точкі зору, пачніце з адной дарогі LLM і аднаго цэльвыя MCP у кластары, не прызначаны для працы, пераканацеся, што панелі керування OpenTelemetry працуюць, а пасля расширюйце правілы. Не трэба включаць усі функцыі з першага дня; вузкі, працэйна вывераны пат стоіць больш, чым цэлком настроены шлюз, які ўсе ўсё ж не вызывае доверы.