Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: llm-costs
Семантичний кеш для LLM-застосунків на Ubuntu 24.04 з Qdrant
Скоротіть витрати на LLM API, кешуючи відповіді за змістом, а не за текстом: Qdrant на Ubuntu 24.04, ізоляція орендарів, пороги схожості за маршрутами і ціна IOPS.
788 слівЧитатиЯк зменшити витрати на LLM: кешування, маршрутизація моделей і скорочення промптів
Рахунки за LLM у продакшені ростуть швидко. Семантичний кеш, маршрутизація моделей, компактні промпти, реранкінг у RAG, ліміти на відповідь і пакетна обробка допомагають витрачати менше без втрати якості.
1824 слівЧитатиКуди йшов наш рахунок за LLM API і які архітектурні зміни його зменшили
Облік токенів за кроками, розподіл моделей за рівнями, скорочення промптів і backoff із jitter знизили витрати кодинг-агента на API; усередині формули вартості й типові помилки оптимізації.
1861 слівЧитатиМінус 90% до вартості повторюваних промптів одним рядком кешування
Як увімкнути автоматичне кешування промптів одним полем, перевірити влучання в блоці usage і не потрапити в пастки з префіксом і мінімальною довжиною, які непомітно з'їдають економію.
914 слівЧитатиЧому Hermes Agent спалює токени і як урізати його промпт до 4K
Одне слово «привіт» у Hermes Agent може обернутися 30 запитами й 1,5 млн токенів. Розбираємо, звідки береться промпт на 16K і які команди CLI скорочують його до 4000 токенів.
877 слівЧитати
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.