Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: gateway
Strumieniowanie LLM umożliwiające przerwanie z użyciem Redis Streams jako punktu spotkania na każdą turę
Strumieniowanie LLM umożliwiające wznowienie: publikowanie zdarzeń agenta do strumienia Redis skonfigurowanego na poziomie rundy, dzięki czemu klienci mogą funkcjonować mimo przerw w połączeniu i długotrwałych przerw w pracy narzędzia, a następnie kontynuować pracę.
9 min czytaniaCodex CLI przez LiteLLM Gateway na Bedrock Mantle
Przesyłaj Codex CLI przez bramkę LiteLLM do Amazon Bedrock Mantle, aby uzyskać dostęp do modeli OpenAI, korzystając z funkcji kontroli bramki, aliasów modeli oraz rozsądnych ustawień domyślnych.
8 min czytaniaLiteLLM w tle: płaszczyzna sterowania bramą AI wielu najemców
Abstrakcja dostawcy, hierarchia najemców, budżety, polityka modelu, konta usługowe, routowanie, obserwowalność, agenci/MCP oraz powód, dla którego bramka stanowi kluczową ścieżkę.
6 min czytaniaKompresuj każde wezwanie LLM w bramce LiteLLM za pomocą Headroom
Headroom jako zabezpieczenie przed wywołaniami w LiteLLM kompresuje każde wywołanie LLM: odwracalna kompresja, projekt typu fail-open, stopniowe wdrażanie dla poszczególnych kluczy oraz mierzalna oszczędność tokenów.
7 min czytaniaPrzekład narzędzi MCP za pomocą LiteLLM: Przewodnik po symulowanym bramku bankowym
Narzędzia MCP przez bramkę LiteLLM: zarejestruj mock banku obsługującego protokół streamable-HTTP, porównaj ręcznie napisane pętle narzędziowe z jednym żądaniem, udowodnij, że mechanizmy bezpieczeństwa działają przed MCP.
16 min czytaniaAgentgateway dla LLM, MCP i A2A: Kiedy pomocne jest zintegrowane pole danych AI
W jaki sposób Agentgateway różni się od proxy opartych wyłącznie na LLM — odkrywanie MCP, śledzenie A2A, routowanie, bezpieczeństwo, OpenTelemetry oraz zarządzanie kosztami — i kiedy warto go zastosować, a kiedy pominąć.
7 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.