Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: llm-costs
Семантический кэш для LLM-приложений на Ubuntu 24.04 с Qdrant
Сократите расходы на LLM API, кэшируя ответы по смыслу, а не по тексту: Qdrant на Ubuntu 24.04, изоляция арендаторов, пороги сходства по маршрутам и цена IOPS.
788 словЧитатьКак снизить расходы на LLM: кэширование, маршрутизация моделей и сокращение промптов
Счета за LLM в продакшене растут быстро. Семантический кэш, маршрутизация моделей, компактные промпты, реранкинг в RAG, лимиты на ответ и пакетная обработка помогают тратить меньше без потери качества.
1824 словЧитатьКуда уходил наш счёт за LLM API и какие архитектурные изменения его урезали
Учёт токенов по шагам, распределение моделей по уровням, сокращение промптов и backoff с jitter снизили расходы кодинг-агента на API; внутри формулы стоимости и типичные ошибки оптимизации.
1861 словЧитатьМинус 90% к стоимости повторяющихся промптов одной строкой кэширования
Как включить автоматическое кэширование промптов одним полем, проверить попадания в блоке usage и не попасть в ловушки с префиксом и минимальной длиной, которые незаметно съедают экономию.
914 словЧитатьПочему Hermes Agent сжигает токены и как урезать его промпт до 4K
Одно слово «привет» в Hermes Agent может обернуться 30 запросами и 1,5 млн токенов. Разбираем, откуда берётся промпт на 16K и какие команды CLI сокращают его до 4000 токенов.
877 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.