Чому Hermes Agent спалює токени і як урізати його промпт до 4K

Уявіть свіже встановлення Hermes Agent, спрямоване на ендпоінт OpenRouter. Ви надсилаєте одне "hello", а дашборд потім показує близько 30 запитів до API і майже 1,5 мільйона спалених токенів. Для привітання з одного слова це збиває з пантелику.

На безкоштовному ендпоінті на кшталт Inkling (free) рахунок лишається нульовим. Але варто перейти на платну модель, наприклад DeepSeek, Claude 3.5 Sonnet чи Gemini, і ці приховані цикли можуть спустошити баланс API за лічені хвилини.

Автономні агенти потужні, але й токени вони їдять у величезних кількостях. Далі розберемо, чому Hermes за замовчуванням тягне з собою стільки контексту і як жорстко його урізати, не втративши того, за що агент цінний.

Звідки береться роздування

Звичайне вікно чату надсилає ваш промпт і коротке системне повідомлення. Агент влаштований інакше. Він крутить безперервний цикл читання, оцінювання й виконання, а під час запуску Hermes напихає вікно промпта великим вантажем ще до того, як ви ввели бодай одну команду.

Команда hermes prompt-size показує, з чого складається типовий вхід приблизно на 16 000 токенів:

Компонент	Приблизний розмір	Що це
Схеми інструментів	від 8000 до 12 000+ токенів	За замовчуванням увімкнено десятки інструментів: керування браузером, делегування субагентам, синтез мовлення, канбан-дошки, пісочниці для коду. JSON з описом того, як викликати кожен із них, іде в модель на кожному ході.
Вбудовані навички	від 3000 до 5000+ токенів	Індекс із 50+ процедурних сценаріїв, від рев'ю пул-реквестів до написання пісень, щоб агент знав, які процеси він може пригадати.
Плагіни й провайдери	по-різному	Десятки плагінів для генераторів медіа та веб-скраперів (Brave, Tavily, Searxng та інші), і кожен резервує частину бюджету токенів на випадок, якщо його викличуть.

А далі вступає в дію множник. Агенти не просто відповідають, вони думають. Якщо Hermes застрягне в циклі перевірки або так і не видасть стоп-токен, він може внутрішньо зробити 10–15 кіл. Кожен прохід знову надсилає весь контекст на 16K з гаком, тому витрати ростуть набагато швидше, ніж здається на перший погляд.

Сідаємо на дієту

За допомогою кількох вбудованих команд CLI базовий обсяг можна знизити приблизно з 16 000 токенів до менш ніж 3500. Кроки йдуть у такому порядку.

1. Видаліть вбудовані навички

Якщо Hermes не потрібно малювати архітектурні схеми в Manim чи розбирати поштову скриньку, ці 50 з гаком навичок за замовчуванням — просто баласт. Незмінені вбудовані навички можна безпечно прибрати з профілю:

hermes skills opt-out --remove

Розраховуйте, що з базового обсягу одразу зникне близько 1000–1500 токенів.

2. Вимкніть непотрібні набори інструментів

Якщо Hermes потрібен лише для розробки, тобто для правок файлів і команд у терміналі, важкі спеціалізовані набори інструментів можна прибрати. Делегування (субагенти), синтез мовлення та інструменти уточнення мають великі JSON-схеми.

hermes tools disable delegation tts code_execution clarify

Розмір схем інструментів падає приблизно з 29 КБ до 10 КБ, що заощаджує 4000 токенів і більше.

3. Вимкніть плагіни пошуку й медіа

Кожен увімкнений плагін реєструє фонові перевірки можливостей. Команда вимкнення в CLI приймає лише один аргумент за раз, тому найохайніше вимкнути всіх сторонніх провайдерів, якими ви насправді не користуєтеся, невеликим циклом на bash:

for plugin in deepinfra fal krea meta-ai-image-gen xai web-perplexity web-searxng web-tavily web-brave-free; do
  hermes plugins disable "$plugin"
done

Так десятки зовнішніх провайдерів перестануть резервувати бюджет на схеми під час роботи.

4. Запускайте мінімальні сесії, коли цього досить

Для швидких ізольованих задач, яким не потрібні ні постійна пам'ять, ні індексація навичок, стандартну послідовність запуску можна пропустити, перелічивши дозволені інструменти під час старту:

hermes chat -t terminal,file

Решту зробить кешування промптів

Після урізання базовий обсяг має встановитися у скромному діапазоні приблизно 4000–6000 токенів. Це добрий баланс між можливостями й вартістю. Лишаються основні інструкції агента, активна пам'ять проєкту (MEMORY.md) і необхідні інструменти термінала.

Мета — не нуль. Факти, записані в MEMORY.md, наприклад шляхи до віртуальних середовищ Python чи обмеження системи, якраз і не дають агентові повторювати ті самі помилки. Якщо їх вирізати, заощадите мало, а втратите багато.

Останній елемент — кешування промптів. На моделях OpenRouter, які його підтримують, статичний префікс кожного запиту кешується. До цього префікса входять схеми інструментів, системний промпт і файли пам'яті. Дашборд, найімовірніше, покаже частку влучань у кеш понад 95% на послідовних ходах. Кешовані токени зазвичай мають знижку від 75% до 90%, тож промпт на 6000 токенів зрештою коштує приблизно як промпт на 500.

Приберіть зайві інструменти, спирайтеся на кешування, і повністю автономний термінальний агент зможе працювати за частки цента за хід.