Strona główna / Artykuły / Phlox-GW: Bramkarz LLM o kodzie otwartym z budżetami, zasadami bezpieczeństwa i wysoką dostępnością.

llm-gateway phlox openai anthropic observability self-hosted

Phlox-GW: Bramkarz LLM o kodzie otwartym z budżetami, zasadami bezpieczeństwa i wysoką dostępnością.

Zainstaluj własny bramkarz LLM z funkcjami zwrotów płatności, ograniczeń szybkości, zasad ochrony danych osobowych, dzienników audytu, punktami końcowymi OpenAI i Anthropic oraz klastrami opartymi na Postgresie.

2581 słów

Bramki LLM o otwartym kodzie źródłowym często oferują funkcje typu „enterprise” – odwracanie transakcji, budżety, SSO, zasady bezpieczeństwa, ślady audytu, klastrowanie HA, limity szybkości, routowanie – ale dostępne są one wyłącznie przy posiadaniu płatnej licencji. Phlox-GW (Phlox Gateway) umożliwia korzystanie z tych funkcji w pełnie otwartej bramce przeznaczonej do samodzielnego hostowania infrastruktury zespołowej: jedne spójne interfejsy wejściowe dla różnych dostawców, z punktami końcowymi OpenAI i Anthropic oraz możliwością tłumaczenia protokołów, dzięki czemu narzędzia takie jak Claude Code mogą komunikować się z modelami pochodzącymi z różnych backendów.

Phlox-GW to pojedynczy plik binarny w języku Go dostępny dla macOS, Linux (włącznie z WSL) oraz Windows. Małe implementacje mogą korzystać z jednej instancji z bazą danych SQLite; większe systemy mogą być skalowane do klastrów wielu węzłów opartych na bazie danych PostgreSQL. Dodatkowym projektem jest Phlox AI Platform, który może działać obok bramki w przypadku potrzeby pełnego interfejsu do rozmów; niniejszy przewodnik koncentruje się natomiast na samej bramce.

Przewodnik po interfejsie Phlox-GW

Panel operacyjny

Administratorzy widzą ogólne statystyki — użytkowników, dostawców, kluczy API, zdarzeń oraz całkowite wydatki — a także wykresy za trzydzieści dni pokazujące codzienne koszty, tokeny, żądania, błędy i średni czas reakcji.

Nadzór kosztów i budżetów

Miesięczne budżety są przypisywane do osób i działów. Użytkownicy mają przypisaną etykietę działu, dzięki czemu wydatki są agregowane. Przekroczenie progu ostrzegawczego powiadamia o problemie, natomiast osiągnięcie sztywnego limitu blokuje dostęp do płatnych modeli aż do następnego cyklu lub podwyższenia limitu. Ten mechanizm zwrotnych płatności jest głównym powodem, dla którego zespoły preferują bramy dostępu zamiast surowych kluczy dostawców.

Limity szybkości

Limity obowiązują na poziomie użytkownika, działu, dostawcy lub modelu i wyrażane są w żądaniach na minutę (RPM) oraz/lub tokenach na minutę (TPM).

Odporność i skalowanie za pomocą klastrów

Jeden proces Go w PostgreSQL już daje duże możliwości. Aby zapewnić dostępność lub obsłużyć tysiące jednoczesnych sesji, należy dodać instancje dzielące jeden Postgres i umieścić przed nimi balanser obciążenia sieciowego z funkcjami sprawdzania stanu, które usuwają niesprawne węzły.

Audyt

Zapisy audytowe rejestrują logowania oraz działania konfiguracyjne: czas, osoba wykonująca działanie, akcja, cel, szczegóły oraz adres IP.

Rejestracja żądań z zachowaniem prywatności

Każde wezwanie do bramy rejestruje metadane — czas, identyfikator żądania, użytkownik, dział, klucz API, dostawca, model, protokół, punkt końcowy — bez przechowywania treści żądania ani jego odpowiedzi, dzięki czemu zawartość pozostaje prywatna, a jednocześnie zespół operacyjny ma ślad incydentu.

Zasady bezpieczeństwa / Maskowanie i blokowanie danych PII

Middleware może maskować lub blokować wiadomości, gdy wykrywane są wrażliwe wzorce, zarówno przy przychodzących danych (zapobieganie wyciekom do dostawców), jak i przy wychodzących (zapobieganie wyciekom do klientów), w zależności od ustawień.

Klucze API samobsługowe

Użytkownicy zalogowani mogą tworzyć nazwane klucze z opcjonalnym terminem ważności, anulować je oraz sprawdzać daty ostatniego użycia. Administratorzy mają widok całego zestawu kluczy, aby przydzielać budżety/limity i je anulować. Pełne dane klucza pojawiają się tylko raz podczas jego tworzenia.

Nadzór nad użyciem w trybie samobsługowym

Jednostki mogą sprawdzać liczbę swoich zapytań, tokeny wejścia/wyjścia, wydatki oraz szczegółowy rozkład kosztów według modeli, bez konieczności czekania na eksport danych finansowych.

Instalacja Phlox-GW

Dla oceny na stanowisku roboczym plik binarny jest samodzielny i tworzy bazę danych SQLite przy pierwszym uruchomieniu. Budowa z kodu źródłowego wymaga aktualnego zestawu narzędzi Go oraz npm do plików interfejsu użytkownika. Typowy proces uruchomienia:

curl \
  --proto '=https' \
  --tlsv1.2 \
  -fsSL \
  https://raw.githubusercontent.com/robert-mcdermott/phlox-gw/main/install.sh \
  | sh

Stwórz katalog danych i uruchom usługę:

  mkdir -p "/Users/<your-username>/.local/share/phlox-gw"
  cd "/Users/<your-username>/.local/share/phlox-gw"
  phlox-gw

Należy skierować przeglądarkę na lokalne interfejsy użytkownika, utworzyć pierwszego administratora i kontynuować konfigurację tam. Instalacje produkcyjne zazwyczaj ustawiają zmienne środowiskowe dotyczące DSN Postgresa, adresu wysłuchiwania, zakończenia protokołu TLS w buforze obciążeń oraz sekretów sesji — pełną listę zmiennych można znaleźć w dokumentacji repozytorium.

Konfiguracja Phlox-GW

Nie ma obowiązkowego pliku konfiguracyjnego: zmienne środowiskowe w połączeniu z interfejsem webowym wystarczają do ustawień.

Dodawanie/konfigurowanie dostawcy

Należy zarejestrować każdego dostawcę zewnętrznego (kompatybilnego z OpenAI, Anthropic lub innymi obsługiwanych) wraz z podstawową adresem URL i danymi uwierzytelniającymi przechowywanymi przez bramkę — a nie na każdym laptopie.

Dodawanie i konfigurowanie modelu

Należy powiązać identyfikatory modeli dostawcy z nazwami używanymi przez bramkę, określić ceny za zwroty pieniędzy oraz wybrać partnerów do routingu/przełączania, gdy kilka backendów może obsługiwać ten sam model logiczny.

Testowanie dostawcy i modelu w środowisku Playground

Wbudowane środowisko Playground wysyła próbny czat przez wybraną ścieżkę dostawcy/modelu, dzięki czemu problemy z połączeniem ujawniają się przed przekierowaniem klientów do bramy.

Dodawanie użytkowników

Utwórz konta (lub połącz się za pomocą SSO/OIDC, jeśli jest to włączone), przypisz role i działy oraz ustal budżety/limity.

Tworzenie budżetów

Zdefiniuj miesięczne limity i progi ostrzegawcze dla osób i działów; modele z ustalonymi cenami przestrzegają tych ograniczeń podczas generowania odpowiedzi.

Korzystanie z Phlox-GW

Tworzenie klucza API

W panelu samobsługowym utwórz klucz, skopiuj go raz i przechowaj w tajnym magazynie klienta.

Testowanie punktów końcowych bramy

Eksportuj klucz:

export PHLOX_API_KEY="pgw-sk-<rest-of-your-api-key>"

Dopisywanie treści do czatów zgodne z standardem OpenAI przy użyciu lokalnej bramy:

curl -Ns http://127.0.0.1:8080/v1/chat/completions \
  -H "Authorization: Bearer $PHLOX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local-ollama/glm-5.2:cloud",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "stream": false
  }'

Wiadomości w stylu Anthropic przesyłane przez przetłumaczony punkt końcowy:

curl -sS http://127.0.0.1:8080/anthropic/v1/messages \
  -H "x-api-key: $PHLOX_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "local-ollama/glm-5.2:cloud",
    "max_tokens": 64,
    "messages": [{ "role": "user", "content": "What is the capital of Texas?" }]
  }'|jq

Korzystanie z Claude Code z Phlox-GW

Należy skierować Claude Code (lub podobne narzędzie) na adres URL kompatybilny z Anthropic oraz klucz bramy:

env \
  ANTHROPIC_BASE_URL="http://127.0.0.1:8080/anthropic" \
  ANTHROPIC_API_KEY="$PHLOX_API_KEY" \
  ANTHROPIC_MODEL="azure/gpt-5.5" \
  claude

Tłumaczenie protokołu umożliwia klientom w stylu Anthropic dostęp do wszystkich zasobów, do których kieruje brama.

Użytkownicy odświeżają panele pokazujące ilość tokenów i wydatki; nagłe wzrosty powinny odpowiadać znanych zleceniach zbiorczym lub niekontrolowanym procesom.

Administratorzy obserwują tablice kontrolne floty, podsumowania działów oraz wykresy błędów i opóźnień. Przekroczenia budżetu oraz przekroczenie limitów szybkości to wydarzenia operacyjne najwyższej wagi, a nie niespodzianki wynikające z arkuszy kalkulacyjnych.

Zasady bezpieczeństwa – redakcja wrażliwych informacji

Włącz wzory, które odpowiadają tajemnicom, identyfikatorom osobistym lub wewnętrznym nazwom hostów. Wybierz opcję maskowania lub blokowania dla poszczególnych rodzin wzorów. Przed wdrożeniem w ruchu produkcyjnym przetestuj rozwiązanie za pomocą syntetycznych przykładów w środowisku testowym.

Logowanie i audyt

Logowanie żądań

Łogi żądań zawierające wyłącznie metadane ułatwiają reagowanie na incydenty oraz rozstrzyganie sporów dotyczących zwrotów pieniędzy, bez przechowywania prywatnego tekstu żądania.

Łogi audytowe

Zdarzenia związane z konfiguracją i autoryzacją pozwalają odpowiedzieć na pytanie „kto wczoraj zmienił routowanie?”, bez konieczności przeglądania logów aplikacji.

Wniosek

Pakiety Phlox-GW łączą w jednym otwartym pliku binarnym funkcje obsługi zwrotów pieniędzy, zarządzania budżetami, ograniczeń szybkości, zasad bezpieczeństwa, śladów audytowych oraz klastrowania, przy jednoczesnym wykorzystaniu interfejsów OpenAI i Anthropic. Na początku użyj SQLite do oceny, przenieś się na Postgres i NLB, gdy ważna będzie dostępność, a dane uwierzytelniające dostawcy oraz zasady przechowuj w jednym miejscu, zamiast w rozproszonych plikach środowiskowych na laptopie.

Lista kontrolna operacyjna przy pierwszym cięciu produkcji: (1) określ cenę każdego zaprojektowanego modelu, aby budżety miały sens, (2) przypisz użytkowników do działów przed pierwszym cyklem fakturowania, (3) włącz rejestracje żądań metadanych i prowadź audyt od pierwszego dnia, (4) przetestuj syntetyczne przykłady PII w ramach zasad bezpieczeństwa dostępnych w środowisku testowym, (5) użyj pary serwerów z bazą danych Postgres i równoważnikiem obciążenia sprawdzanym pod kątem stanu zdrowia przed obiecywaniem wysokiej dostępności, oraz (6) udokumentuj, w jaki sposób klienci Claude Code / SDK powinni ustawiać adres bazowy i klucz, aby rozwiązania typu shadow IT nie mogły ominąć bramy dostępu przy użyciu surowych danych dostawcy. Sprawdź ponownie limity RPM/TPM po tygodniu rzeczywistego ruchu – początkowe limity są niemal zawsze zbyt luźne w przypadku intensywnego używania narzędzi i zbyt restrykcyjne w przypadku interaktywnych rozmów. Przechowuj instrukcje dotyczące rotacji kluczy bramy dostępu oraz sekretów dostawców według różnych harmonogramów, aby jeden wyciek nie spowodował podwójnego przerwy w działaniu. Na koniec eksportuj dane o wydatkach według działów w regularnych odstępach czasu, nawet jeśli

Nikt jeszcze o to nie pytał; dział finansowy zapyta po pierwszym zaskakującym rachunku, a bramka ma już potrzebne dane, o ile tagi zostały poprawnie ustawione.

Gdy rozszerzasz działalność poza jeden zespół, traktuj bramkę jako powierzchnię produktu: ustal polityki routingu wersji, sprawdzaj alternatywne partnerów w przypadku awarii u dostawcy na danym obszarze oraz wyświetlaj alerty dotyczące wzrostu liczby błędów 429 od dostawców wejściowych oddzielnie od ograniczeń narzuconych przez bramkę. Na ograniczenia przepustowości u dostawców wejściowych oraz lokalne limity polityk wymagane są różne działania – zakup dodatkowej przepustowości albo szkolenie problematycznego agenta. Połącz metryki Phlox-GW z stronami statusu dostawców w tym samym interfejsie dyżurnym, aby operatorzy nie próbowali naprawiać „opóźnień bramki”, które w rzeczywistości wynikają z awarii konkretnego regionu modelu. Dzięki takim praktykom bramka pozostaje elementem płaszczyzny sterowania, a nie kolejnym niewidocznym proxyem.

Słowa kluczowe dotyczące jakości usług Document Gateway są określane w taki sam sposób jak w przypadku każdej innej usługi brzegowej: dostępność interfejsów /v1 i /anthropic, opóźnienie p95 z wykluczeniem czasu obliczeń modelu wejściowego, gdy to możliwe, oraz wskaźniki zużycia zasobów według działów. Te trzy wykresy umożliwiają szybkie zidentyfikowanie większości zgłoszeń o problemach, zanim te staną się tematami w Slacku.

Portal dokumentów ma takie same wskaźniki SLO jak każda inna usługa brzegowa: dostępność interfejsów /v1 i /anthropic, opóźnienie p95 z wykluczeniem czasu obliczeń modelu wejściowego, gdy to możliwe, oraz wskaźniki zużycia z podziałem na działy. Te trzy wykresy umożliwiają szybkie zidentyfikowanie większości przypadków, gdy system „wydaje się niepracować”, zanim staną się tematami w Slacku.

Wszystkie artykuły Wyślij brief