Artikel für Leute, die
den Stack ausliefern
Beiträge zu React, Node.js, TypeScript und AI. Ein übersetzter Text wird gezeigt, wenn er existiert. Sonst sehen Sie den englischen Text und einen Hinweis.
Tag: gateway
Wiederaufnahmefähiger LLM-Streaming mit Redis Streams als Treffpunkt pro Turnus
Wiederaufnahmefähiges LLM-Streaming: Veröffentlichung von Agentenereignissen in einem turn-basierten Redis Stream, damit Clients auch bei Verbindungsabbrüchen und mehrminütigen Unterbrechungen des Tools weiterarbeiten können.
9 Min. LesezeitCodex CLI über das LiteLLM-Gateway auf Bedrock Mantle
Leiten Sie den Codex CLI über ein LiteLLM-Gateway in Amazon Bedrock Mantle, um auf OpenAI-Modelle zuzugreifen, wobei Gateway-Einstellungen, Modell-Alias sowie sinnvolle Standardeinstellungen genutzt werden.
8 Min. LesezeitLiteLLM im Inneren: Steuerungsplattform für ein multi-tenant-basiertes AI-Gateway
Anbieterabstraktion, Mieterhierarchie, Budgets, Modellrichtlinien, Servicekonten, Routing, Überwachbarkeit, Agenten/MCP – und warum das Gateway der kritische Weg ist.
6 Min. LesezeitKomprimieren Sie jeden LLM-Aufruf am LiteLLM-Gateway mit Headroom.
Headroom als Schutzmechanismus vor Anrufen bei LiteLLM komprimiert jeden LLM-Anruf: reversible Kompression, Fail-Open-Design, schrittweiser Rollout pro Schlüssel sowie gemessene Einsparungen bei den Tokens.
7 Min. LesezeitWiring MCP-Tools über LiteLLM: Schritt-für-Schritt-Anleitung für ein simuliertes Bank-Gateway
MCP-Tools über ein LiteLLM-Gateway: Registrieren Sie eine streamfähige, HTTP-basierte Mock-Bank, vergleichen Sie manuell erstellte Tool-Schleifen mit einer einzigen Anfrage und beweisen Sie, dass Schutzmechanismen vor dem MCP ausgeführt werden.
16 Min. LesezeitAgentgateway für LLMs, MCP und A2A: Wenn ein einheitliches AI-Datenfluss-System hilft
Wie Agentgateway sich von Proxys mit nur LLM unterscheidet – MCP-Entdeckung, A2A-Tracking, Routing, Sicherheit, OpenTelemetry und Kostensteuerung – sowie wann man es verwenden oder auslassen sollte.
7 Min. Lesezeit
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.