Artykuły dla tych, którzy
wdrażają stack
Materiały o React, Node.js, TypeScript i AI. Przetłumaczony tekst jest pokazany, gdy istnieje. Jeśli nie, widać tekst angielski i dopisek o tym.
Tag: llm-gateway
Zarządzane agenty AI: jeden model polityki, kilka punktów egzekwowania w trakcie działania.
Jak kontrolować koszty, wybór modelu, dane, narzędzia oraz wywołania MCP w trakcie działania: ramy zarządzania, neutralny szkic polityki, rozwiązania awaryjne, ograniczenia bezpieczeństwa oraz śledzenie.
9 min czytaniaPhlox-GW: Bramkarz LLM o kodzie otwartym z budżetami, zasadami bezpieczeństwa i wysoką dostępnością.
Phlox-GW to brama LLM o otwartym kodzie źródłowym, którą sam uruchamiasz: budżety i zwroty pieniędzy, limity szybkości, zasady ochrony danych osobowych, logi audytowe, punkty końcowe OpenAI i Anthropic, wysoka dostępność.
11 min czytaniaSieciowanie samodzielnie hostowanych modeli LLM: jeden bramkarz zamiast serwera dla każdego modelu
Dodawanie modeli o otwartej wadze nie powinno oznaczać konieczności nowych nazw hosta oraz ustanawiania połączeń peer-to-peer dla każdej aplikacji. Brama w stylu LiteLLM utrzymuje jeden punkt końcowy, podczas gdy backendy zmieniają się za nim.
5 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.