Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: llm-gateway
Geregelte KI-Agenten: Ein Richtlinienmodell, mehrere Umsetzungsstellen zur Laufzeit.
Wie man Kosten, Modellwahl, Daten, Tools sowie MCP-Aufrufe zur Laufzeit steuert: ein Governance- Rahmenwerk, ein neutrales Richtlinienkonzept, Rückfallmechanismen, Schutzgrenzen und Nachverfolgung.
9 Min. LesezeitPhlox-GW: Open-Source LLM Gateway mit Budgets, Schutzmechanismen und Hochverfügbarkeit
Phlox-GW ist ein selbst gehosteter Open-Source-LLM-Gateway: Budgets und Rückerstattungen, Rate-Limits, Schutzmaßnahmen für personenbezogene Daten, Audit-Logs, Endpunkte von OpenAI und Anthropic, Hochverfügbarkeit.
11 Min. LesezeitSelbst gehostetes LLM-Netzwerk: ein Gateway anstelle eines Hosts pro Modell
Das Hinzufügen von Open-Weight-Modellen sollte nicht bedeuten, dass für jede Anwendung neue Hostnamen und Peering-Verbindungen erforderlich sind. Ein Gateway im LiteLLM-Stil behält einen einzigen Endpunkt bei, während sich die Backends dahinter ändern.
5 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.