Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: gateway
Потоковая обработка LLM с возможностью возобновления с использованием Redis Streams в качестве точки встречи для каждого шага обработки
Потоковая передача LLM с возможностью возобновления: публикация событий агента в Redis Stream, ограниченный конкретным ходом, чтобы клиенты могли продолжать работу после потери соединения и длительных пауз в работе инструмента.
9 мин чтенияCodex CLI через LiteLLM Gateway на Bedrock Mantle
Маршрутизация инструмента Codex CLI через шлюз LiteLLM в Amazon Bedrock Mantle для доступа к моделям OpenAI с возможностью управления через шлюз, использованием псевдонимов моделей и разумными стандартными настройками работы.
8 мин чтенияLiteLLM внутри: управляющая плоскость многоарендной шины ИИ
Абстракция поставщика, иерархия арендаторов, бюджеты, политика модели, учетные записи сервисов, маршрутизация, возможности наблюдения, агенты/MCP и причина, по которой шлюз является критическим путем.
6 мин чтенияСжимайте каждый вызов LLM в шлюзе LiteLLM с функцией Headroom
Функция Headroom в качестве защитного механизма перед вызовом LiteLLM сокращает объем каждого вызова большой языковой модели: обратимое сжатие, конфигурация с автоматическим переходом на резервный режим при сбоях, поэтапное внедрение для отдельных ключей, а также измерение экономии токенов.
7 мин чтенияПередача инструментов MCP через LiteLLM: пошаговое руководство по имитации банковского шлюза
Инструменты MCP через шлюз LiteLLM: зарегистрируйте имитацию банка с поддержкой потокового HTTP, сравните реализации инструментов вручную с одним запросом, докажите, что механизмы контроля запускаются до работы MCP.
16 мин чтенияAgentgateway для LLM, MCP и A2A: Когда единая плоскость данных ИИ оказывает помощь
В чём отличие Agentgateway от прокси, основанных исключительно на LLM: обнаружение MCP, отслеживание A2A, маршрутизация, безопасность, OpenTelemetry и управление затратами, а также когда стоит его использовать, а когда — пропустить.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.