Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: prompt-caching
Сокращение затрат на токены агентов: кэширование, маршрутизация и поддержание чистоты контекста.
Сократите расходы агентов LLM благодаря кэшированию промптов и семантического контента, отложенной загрузке инструментов, маршрутизации и каскадной обработке моделей, использованию субагентов, а также простым мерам по поддержанию чистоты контекста.
16 мин чтенияСandboxing агента для программирования и сокращение размера его окна контекста
Создайте агента для программирования в среде Sandbox с использованием Seatbelt или Bubblewrap, затем сократите размер окна контекста путем удаления ненужных файлов, использования шаблонов, сжатия данных и внедрения кода с учётом кэша префиксов.
10 мин чтенияВыживание при сжатии: лестница для длительных сессий агентов и процесса сжатия.
Как долго сессии агентов остаются доступными и целостными: хвост кэша как «аренда», пять уровней до сжатия, делегирование как граница памяти, возобновление затрат.
16 мин чтенияКонтекстуальный поиск в RAG: что скрывает показатель в 67%, каковы его затраты и когда он терпит неудачу.
Контекстуальный поиск для RAG: как использование префиксов решает проблему одиноких фрагментов, почему показатель 67% отражает три изменения, что экономит кэширование промптов и когда оно терпит неудачу.
13 мин чтенияБолее большое окно контекста не решит проблемы вашего агента: бюджет внимания и кэширование
Окна контекста ведут себя как бюджет внимания. Узнайте, как работает метод Lost in the Middle, и когда следует использовать компрессию, скользящие окна, сжатие или кэширование промптов.
11 мин чтенияСтруктурированные системные промпты для ИИ-агентов на Rust: уровни, кэширование, проверка отклонений.
Создайте многоуровневый системный промпт для агента на Rust: идентификатор, инструкции, правила вывода, примеры и свежий контекст, плюс границы кэширования и отпечаток для CI.
12 мин чтенияЧат-бот для портфолио, который говорит «я не знаю», а не гадает
Как чат-бот на сайте-портфолио остаётся честным: заблокированный регулятор честности, пять написанных вручную заметок в промпте вместо RAG и фиксированная фраза отказа, которая заодно служит детектором пробелов.
8 мин чтенияПромахи кэша промптов в Claude Code: почему 86% попаданий скрывают реальную стоимость
Модель одной сессии в iOS-монорепозитории с ценами показывает, что семь промахов кэша промптов перевешивают 33 попадания, и как стабилизировать инструменты, скиллы и CLAUDE.md как ключи кэша.
6 мин чтенияКуда уходил наш счёт за LLM API и какие архитектурные изменения его урезали
Учёт токенов по шагам, распределение моделей по уровням, сокращение промптов и backoff с jitter снизили расходы кодинг-агента на API; внутри формулы стоимости и типичные ошибки оптимизации.
8 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.