Галоўная / Артыкулы / Phlox-GW: воратак LLM на адзёрнай базе з бюджетамі, правіламі i абыяковасцю.

llm-gateway phlox openai anthropic observability self-hosted

Phlox-GW: воратак LLM на адзёрнай базе з бюджетамі, правіламі i абыяковасцю.

Адмініструйце саб-хоставанне вората LLM з можласцю анулявання платежаў, лімітамі швыдкасці, захадамі пра персональныя даны, журналамі аудыту, канцэнтрамі OpenAI і Anthropic, а таксама кластераваннем на базе Postgres.

2581 слоў

Вората LLM на адміністрацыі відкрытага кода частаюча прыносяць «корпаратывныя» механізмы кантролю — анулювання платежаў, бюджэты, SSO, правіла безпекі, летакі аудыту, кластэры з высокай доступнасцю, ліміты швыдкасці, маршрутаванне — і ўсе гэта за платную ліцэнзію. Phlox-GW (Phlox Gateway) залучае гэтыя механізмы кантролю ў абсалютна відкрыты ворат, прызначаны для самастойнага размешчэння інфраструктуры команды: ўніверсальны вхідны пункт для розных прадаўцоў, з канцэнтрамі OpenAI і Anthropic та перакладам протакалаў, так што кліенты на кшталт Claude Code можаць вярбавацца з моделямі, якія працуюць на розных серверах.

Phlox-GW — это адна бінарная дыскретная програма на мове Go, якая працюе пад macOS, Linux (включаючы WSL) і Windows. Для малых систем можна запусціць адну інстанцыю з викорыстанням SQLite; для большых систем можна стварыць кластэры з калькольніках на базе PostgreSQL. Сяброўскі проект, Phlox AI Platform, можа працаваць разам з воратамі, калі патрэбна цэлая плошча для чата; гэтыя інструкцыі сфокусаваны на самых воратах.

Экскурсія па інтэрфейсе Phlox-GW

Панель керування аперацыямі

Адміністратары бачаюць статыстыку на высокаму рэвэле — колькість корыстнікаў, прадаўцоў, ключоў API, запускаемых заданняў, аб’ём выдатакоў — а таксама графікі за трыдзець дней для выявлення ўсходзовых виткоў на дзень, колькісці токенаў, запытоў, адхэлень і сярэжнага часу адпаведзення.

Кантроль виткоў і бюджэта

Месячныя бюджэты прызначаюцца для адзінакоў і аддэл. Корыстнікі маюць пазначку аддэлы, таму ўсі виткі сумаваюцца. Перасягнуце прагу адзягоўкі прыносіць упавядомленне; дасягнуце абмежэння блакуе платныя моделі до наступнага цыклу аб падвышэння ліміту. Гэты цикл вярнення грошаў — адна з галоўных прычын, чаму команды выбіраюць шлюз заместо простых ключоў прадаўцоў.

Ліміты частоты

Ліміты застосоўваюцца на рэвэле корыстніка, аддэлы, прадаўцы чы моделі і выражаюцца ў запытох на хвіліну (RPM) і/або токенах на хвіліну (TPM).

Надзеяна працяздатнась і масштабаванне за дапамогою кластэрування

Адзін процэс Go на PostgreSQL уже дае значныя рычагі. Для забезпечэння доступнасці або тыяў тысячаў канкурэнтных сесій трэба дадаць інстанцы, якія дзелююць адным Postgres, і разместіць перад німа сетевы балансэр з пераконтрацямі стану, якіе адключаюць несправныя вузлы.

Аудыт

Запісы аудыту фіксуюць процесы заходжэння і дзеянні з налашчаннямі: час, виконаваць, дзеянне, цэль, дакладныя відомасці і IP-адреса.

Логаванне запытак, якія захоўваюць прыватнасць

Кожны запыт да шлюза логуе метаданы — час, ідэнтыфікатор запытка, корыстувач, аддзел, ключ API, прадаўцы, модэль, пратакол, канецчык — не зберагаючы тэкст запытка чы ўсё, што ён вярнуе, такім чынам контэнт застаецца прыватным, а адночасна службы маюць хроніку інцидэтаў.

Регуляванне / маскаванне і блакаванне персональных данных

Мідлвэр можа маскаваць чы блакаваць паведамленні, калі фіксуюцца чутлівыя патэрны, як пад час ўхіду (чым запобегаецца вытэкам да прадаўцоў), так і пад час выходу (чым запобегаецца вытэкам да кліентоў), залежна ад налашчанняў.

Клучы API самаслужбовага типу

Працоўнікі, які ўвайшлі, ствараюць клучы з можлівасцю задання терміну выконання, анулююць іх і бачаць часы ўпэўненага выкарыстоўвання. Адміністратары маюць аптэкстны відказ, каб назначыць бюджэты/ліміты і анулюваць клучы. Полная інфармацыя пра клуч з’яўляецца толькі пасля його стварэння.

Следжыранне выкарыстоўвання самаслужбовага типу

Адзінкі бачаць колькасць своіх запытанняў, токены для вводу/выводу, суму выкарыстоўвання і распад виткоў па кожнаму модэлю, не чакаючы экспорту даных з фінансавага раздзелу.

Інсталляцыя Phlox-GW

Для адгукнення на робочыя станціі бінарны файл є самодостатнім і стварае базу дадзеных SQLite праз першы запуск. Для складання з вачаго трэба сучасны набор з’явоў Go і npm для атрыбутаў UI. Тыповы спосаб запуску:

curl \
  --proto '=https' \
  --tlsv1.2 \
  -fsSL \
  https://raw.githubusercontent.com/robert-mcdermott/phlox-gw/main/install.sh \
  | sh

Створыце катэгорію дадзеных і запускайце службу:

  mkdir -p "/Users/<your-username>/.local/share/phlox-gw"
  cd "/Users/<your-username>/.local/share/phlox-gw"
  phlox-gw

Наведзіце прыгледчык на локальны інтерфейс, створыце першага адміністратара і продактуўваце настройкі там. У версіях для працы ў продакшэне зазвычай задаюцца зменныя сераўіса для Postgres DSN, адреса праслухоўвання, завершэнне працы TLS у балансіры навантажэння і секреты сесій — паказаны весь спіс зменных у документах репазітарыя.

Настройка Phlox-GW

Не існуе обавязковага файла налашоўкаў: зменныя сераўіса плюс веб-інтерфейс выканаюць задачу настройкі.

Дадаванне/настройка прадаўцы

Зарэгіструйце кожнага прадаўцу (сумесны з OpenAI, Anthropic або іншыя, якія падтрымваюцца), указавшы базовую адресу і паролі, якія зберагаюцца ў шлюзе, а не на кожным ноутбуке.

Дадаванне і настройка модэлю

Спаўніце адпаведнасць між ідэамі модэляў прадаўцав і імёнамі, якія будуць відображаны ў шлюзе, укажыце цены для вярнення грошаў і выберыце маршрутызацыю/альтэрнатыўныя варыянты, калі калькі заданняў можа выконваць адно і тое ж логічнае модэль.

Тэставанне прадаўца і модэлю ў Playground

Вбудованы Playground адправляе прыклад чату через выбраны шлях прадаўця/модэлю, ўнаследкі чаго проблемы з падключэнням стаюць видныя ўсё раней, чым кліенты будуць направлены да гэйтвейю.

Дадаванне выкарыстоўначаў

Створыце аблікі (або падключыце SSO/OIDC, калі гэта ўвімкнуто), прызначыце ролі і аддэлы, а таксама зададзіце бюджэты/ліміты.

Стварэнне бюджэтаў

Задаце месячныя ліміты і прагулі для паведамленняў ад людзей і аддэлаў; модэлі з фіксаваным цэнам следуюць гэтым лімітам пад час запитаў.

Выкарыстоўванне Phlox-GW

Стварэнне API Key

У самаслужбовым панелі створыце ключ, копіюйце яго аднойчы і зберагучы ў секрэтным хранілішчы кліента.

Тэставанне канцэнтраў гэйтвейю

Экспортуйце ключ:

export PHLOX_API_KEY="pgw-sk-<rest-of-your-api-key>"

Завершэння чату, сумелівыя з OpenAI, проты локальнага гэйтвейю:

curl -Ns http://127.0.0.1:8080/v1/chat/completions \
  -H "Authorization: Bearer $PHLOX_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "local-ollama/glm-5.2:cloud",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "stream": false
  }'

Паведамленні у стыле Anthropic через перакладзены канцэнтр:

curl -sS http://127.0.0.1:8080/anthropic/v1/messages \
  -H "x-api-key: $PHLOX_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "local-ollama/glm-5.2:cloud",
    "max_tokens": 64,
    "messages": [{ "role": "user", "content": "What is the capital of Texas?" }]
  }'|jq

Існаванне Claude Code з Phlox-GW

Настаўьте Claude Code (או аналагічны прыстрой) на базовую URL, сумесную з Anthropic, і ключ шлюза:

env \
  ANTHROPIC_BASE_URL="http://127.0.0.1:8080/anthropic" \
  ANTHROPIC_API_KEY="$PHLOX_API_KEY" \
  ANTHROPIC_MODEL="azure/gpt-5.5" \
  claude

Пераклад протаколу дазволяе кліентам у формате Anthropic падключацца да будь-якага ресурсу, куды направляе шлюз.

Перакананне ў сваёй актывацыі

Пользоватары апавершаюць панелі з інформацыяй пра колькасць токенав і витратах; рэзкія змены павинны адпаваць да вядомых пакетных заданняў аб неконтрольваных агентав.

Кантролл актывацыі і витраатаў як адміністратар

Адміністратары стежаць за панелямі керування флотам, статыстыкай падразделень і графікамі пакрыцья бракоў/затрэмленняў. Паляганні ў бюджэце і перасягнення лімітаў ёсць важлівыяяя оператывныя працэсы, а не неспадзянкі з таблічнымі калькуляторамі.

Нормы – выдаленне чулай інформацыі

Увядзіце шаблоны, які падпадаюць пад секрэты, персональныя ідентыфікаторы або внутрэшнія імены хостаў. Выберыце, чы робіць маскаванне чы блакуванне для кожнай групы шаблонаў. Перад застосаваннем на рэальным трафіку працаваць з синтэтычнымі прыкладамі ў режыме тэставання.

Логаванне і аудыт

Логаванне запытаў

Логі запытаў, якія маюць толькі метаданы, дапамагаюць у рэагаванні на інцидэты та разглядзе спораў пра вярненне грошаў, не зберагаючы прыватны текст запытаў.

Логі аудыту

Эвенты конфігурацыі та аутэнтыкацыі дапамагаюць адпавесці на пытанне «хто змяніў маршрутызацыю ўчора?», не трэбаячы шукаць інфармацыю ў логах прыкладнення.

Заключэнне

Пакеты Phlox-GW аднараду ўяўляюць вярненне грошаў, бюджэты, ліміты швайнаў, правіла безпекі, следы аудыту та кластэруванне ў адны адкрыты бінарны файл з інтеграцыямі OpenAI та Anthropic. Для адгукнення пачніце з SQLite, пасля чаго перейдзіце на Postgres та NLB, калі важна будзе доступнасць, і зберагвайце крантэдыціі прадаўцаў та правілы ў аднам месцы, а не розсеянымі файламі сераўера.

Чэк-ліст для пачатковага выпуску продукцыі: (1) выканаць калькуляцыю цены для кожнага модэлю, ўсёлякія бюджеты павінны маты сэнс, (2) прызначыць корыстувачаў да адпаведных дапаможнікаў пры першай цыкле выдачы рахункоў, (3) увёсці логі запытанняў пра метаданыя і пачаць аудыт з першага дня, (4) працаваць з сінтэтычнымі прыкладамі PII через захоўнія механізмы, (5) выкорыстоўваць пару сервераў на базе Postgres з балансаваннем навантажэння, якое пераканальваецца на адарожнасць, прычаму перш чым обяцаць адарожнасць, (6) задокументаваць, як кліенты Claude Code / SDK павінны задаць базовую адресу і ключ, каб нештатна апрацоўка дадзеных не маглася абійсціся з гэтай системай, выкарыстоўваючы прямыя кантрольныя данні прадаўцоў. Пераглядзіць ліміты RPM/TPM пасля тыдня рэальнага трафіку — першыя ліміты практычна завжды занадта ўмерзкія для періодычных циклавых задач і занадта строгія для інтэрактывных чатоў. Трымаць інструкцыю па зміне ключоў гэтай системы і секретных дадзенняў прадаўцоў за рознымі календарямі, каб адна вылетаўка не спрычыніла двойную перападу служб. Нарэшце, експортуваць данні пра вытраты па дапаможніках регулярна, нават якщо...

Ніхто пак не запытаў; фінансавыя віддзелы запытаюць пасля першага неспадзеванага счыту, а гейтвэй вже мае неабходныя цифры, якщо тэгі былі правільна настаўлены.

Калі расширяецеся за межы адной команды, трэба ставіцца да гейтвэю як да продуктовага інструмента: налаштавайце правілы маршрутацыі версій, пераглядайце альтернатывныя партнеры у разы, калі у постачальніка выйшла рэгіональная проблема, і адзельна паведамляйце пра зростанне колькасці кода 429 ад вышэйшых супутнікаў, не залежна ад лімітавання, настаўленых гейтвэю. Для обмежэння вышэйшых супутнікаў і локальных правіл неабходны разныя падходы — купаванне дапаможных ресурсоў проты ўчэння агента, які стварае зайвыя проблемы. Спалюйце метрыкі Phlox-GW з статуснымі сторанамі постачальнікаў у адной вікнах для контролю, ёжы аператары не будуць діагноставаць „задзейненне гейтвэю“, якое на самай працы є наследкам проблем у конкрэтнай рэгіяў. З такімі прыемамі гейтвэй застаецца інструментам керування, а не ўсё тым жа незрозумелым проксі.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымаку: доступнасць /v1 і /anthropic surfaces, парадакта затрымкі p95, калі гэта можліва, без урахоўвання часу работы верхніх модэляў, а таксаў выкарыстання ресурса па дапамогай віддзелаў. Гэтыя тры графікаў фіксуюць большасць адзываў пра тыя проблемы, што «выглядаюць як злам», прычым гэтыя адзывы не ператвараюцца ў тэксты у чате Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымаку: доступнасць /v1 і /anthropic surfaces, парадакта затрымкі p95, калі гэта можліва, без урахоўвання часу работы верхніх модэляў, а таксаў выкарыстоўвання ресурсаў па аддэлам. Гэтыя тры графікаў фіксуюць большасць адзываў пра тыя проблемы, што «выглядаюць як злам», прычым гэтыя адзывы не ператвараюцца ў тэксты у чате Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымэчным роўні: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы вышэйшых модэляў, а таксы за відпаведныя дапамогі па аддэлкам. Гэтыя тры графікаў фіксуюць большасць адзываў пра тое, што ўсё «не работае», перш чым яны стануць тэмамі у Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымэчным роўні: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы вышэйшых модэляў, а таксы за відпаведныя бюджэтныя блакі па аддзелах. Гэтыя тры графікаў фіксуюць большасць адзываў пра тое, што «усё не так», перш чым яны стануць тэмамі у Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымэчным роўні: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы вышэйшых модэляў, а таксы за відпаведныя дапамогі па аддэлкам. Гэтыя тры графікаў фіксуюць большасць адзываў пра тыя проблэмы, што «здаюцца нефункцыйная», прычым гэтыя адзывы не ператвараюцца ў тэксты у чате Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымэчным роўні: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы вышэйшых модэляў, а таксы за відпаведныя бюджэтныя блакі па дапартаментам. Гэтыя тры графікаў фіксуюць большасць адзываў пра тое, што «усё не так», перш чым яны стануць тэмамі у Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымэчным роўні: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы вышэйшых модэляў, а таксы за відпаведныя бюджэтныя блакі па аддзелах. Гэтыя тры графікаў фіксуюць большасць адзываў пра тое, што «усё не так», перш чым яны стануць тэмамі у Slack.

Даслужныя парадыкты даслужнай службы для дакумента выкалічваны так сама, як і для будзьяй іншай краевай службы: доступнасць /v1 і /anthropic surfaces, парада з запазджэнням p95, калі гэта можліва, без урахоўвання часу работы верхньяго рэжыму, а таксаў па дзяловых аддэлах. Гэтыя тры графікі фіксуюць большасць адзываў пра тое, што “усё не так”, перш чым яны стануць тэмамі у Slack.

Даслужынныя парадакты для даслужбы документа апрацоўваюцца так сама, як і для будзь-яй другой даслужбы на перымаку: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы модэля, і шчыты расходаў па аддзелам. Гэтыя тры графікі фіксуюць большасць адзываў пра тое, што “усё не так”, перш чым яны стануць тэмамі у Slack.

Даслужныя парадыкты даслужнай службы для дакумента выкалічваны так сама, як і для будзьяй іншай краевай службы: доступнасць /v1 і /anthropic surfaces, парада з запазджэнням p95 без урахоўвання часу работы верхніх модэляў, калі гэта можліва, а таксы за блакіткамі бюджэту па дапартаментах. Гэтыя тры графікі фіксуюць большасць адзываў пра тое, што «всё не так», перш чым яны стануць тэмамі у Slack.

Даслужынныя парадакты для Document Gateway назначаюцца так сама, як і для будзь-яго іншага сервісу на перымэчным роўні: доступнасць /v1 і /anthropic surfaces, парадакт затрымкі p95, калі гэта можліва, без урахоўвання часу работы вышэйшых модэляў, а таксы за відпаведныя бюджэтныя блакі па аддзелах. Гэтыя тры графікаў фіксуюць большасць адзываў пра тое, што «усё не так», перш чым яны стануць тэмамі у Slack.

Шляхавы для дакумента маюць тыя ж показнікі як і будзь-яяе інша служба на перымаку: доступнасць /v1 і /anthropic surfaces, пазітывасць p95 без урахоўвання часу обработкі модэлю, калі гэта можліва, а таксы за выкарыстоўвання ресурса па аддзелам. Гэтыя тры графікі дазволяюць выявіць большасць скарг на проблемы ў раннім стадії, перш чым яны ператвараюцца на дыялогі ў Slack.

Усе артыкулы Даслаць брыф