Artikel für Leute, die
den Stack ausliefern
Originale Beiträge zu React, Node.js, TypeScript und AI — aus derselben Praxis wie unsere Operator-Software. Artikeltexte auf Englisch.
Tag: llm-costs
Semantisches Caching für LLM-Apps unter Ubuntu 24.04 mit Qdrant
Senken Sie die Kosten für LLM-APIs, indem Sie Antworten nach Bedeutung statt nach Text cachen: Qdrant unter Ubuntu 24.04, Mandantentrennung, Schwellen pro Route und IOPS-Kosten.
788 WörterArtikel lesenLLM-Kosten senken: Caching, Modell-Routing und schlankere Prompts
LLM-Rechnungen in Produktion wachsen schnell. Semantisches Caching, Modell-Routing, schlanke Prompts, Reranking im RAG, Ausgabelimits und Batching senken die Kosten, ohne an Qualität einzubüßen.
1824 WörterArtikel lesenWohin unsere LLM-API-Rechnung floss und welche Architekturänderungen sie senkten
Token-Zuordnung pro Schritt, Modell-Tiering, schlankere Prompts und Backoff mit Jitter senkten die API-Kosten eines Coding-Agents; mit Kostenformeln und typischen Optimierungsfehlern.
1861 WörterArtikel lesenWiederholte Prompt-Kosten mit einer Zeile Prompt-Caching um 90% senken
Automatisches Prompt-Caching mit einem einzigen Feld aktivieren, Treffer im usage-Block prüfen und die Präfix-Fehler und Mindestlängen-Fallen vermeiden, die Einsparungen still zunichtemachen.
914 WörterArtikel lesenWarum Hermes Agent Tokens verbrennt und wie man seinen Prompt auf 4K kürzt
Ein einziges Hallo an Hermes Agent kann 30 Anfragen und 1,5 Mio. Tokens auslösen. Woher der 16K-Prompt stammt und welche CLI-Befehle ihn unter 4.000 Tokens drücken.
877 WörterArtikel lesen
Über diese Artikel
Angebot in 24 Stunden
Denselben Stack in einer Operator-Schicht? Brief schicken — Angebot in 24 Stunden.