Інженерія контролю: чому витрати на AI-агентів стрімко зростають
Microsoft та Uber стикаються з високими витратами на використання штучних інтелектуальних агентів. Чому вони швидко витрачають токени та чотири тактики контролю: маршрутизація, бюджетні обмеження, оптимізація та нагляд.
Джерела: Why Microsoft and Uber Are Pulling the Plug on AI Agents
Протягом двох років заголовки газет повторювали одне й те саме: інженери коштують дорого, штучні інтелектуальні агенти — дешево, а цифрові працівники, які ніколи не сплять та не скаржаться за частку зарплати, зроблять заміну неминучою. Останнім часом на нарадах з планування в деяких дуже технологічно орієнтованих компаніях таблиці почали суперечити цій версії.
Дві компанії, два сигнали до уваги
У кінці 2025 року Microsoft відкрила Claude Code для своїх внутрішніх інженерних команд. Він глибоко інтегрувався у щоденну роботу, і розробникам він сподобався. До середини 2026 року компанія почала відкликати ці ліцензії та спрямовувала працівників до дешевших внутрішніх рішень, таких як GitHub Copilot CLI.
Ситуація з Uber була ще гострішою. У квітні 2026 року її технічний директор визнав, що весь бюджет на інструменти для програмування з використанням ШІ на 2026 рік був витрачений вже через чотири місяці. 84% інженерів почали їх використовувати, їх застосування перетворилося на соревнування між всіма співробітниками компанії, а один з керівників інженерного відділу витратив 1 200 доларів на токени під час однієї двогодинної демонстрації.
ШІ ніколи не припиняло працювати. Просто його використання стало неприйнятно дорогим. Для тих, хто створює агентські системи, ця новина відображає наявність ліміту, який легко досягти: витрати на обчислення автономного цифрового працівника можуть перевищити зарплату людини, яку він мав замінити.
Вихід — це дисципліна, яка незабаром стане обов’язковою, та її називають інженерією стримування.
Чому агенти коштують значно більше, ніж чат-боти
Промпт для чату та автономний агент — це різні речі. Якщо поставити запитання стандартній моделі мовлення, процес складається з одного кроку: ви ставите запитання, вона відповідає, і все завершується.
Агент же має завдання без чіткого кінцевого результату. Йому доручають виправити баг, і він читає файли, складає план, пише код зі змінами, запускає тести та оцінює свої результати. Якщо тест провалився, це запускає новий цикл: агент знову обмірковує ситуацію, переписує код та тестує його знову. Кожен крок оплачується окремо.
Справжня робота з програмним забезпеченням робить це серйозною фінансовою ризикованістю. SWE-bench — це стандартний індустріальний тест, створений на основі багів у реальному коді, і навіть найкращі сучасні агенти вирішують менше половини його завдань. Тож у більш ніж половині випадків агент пробує, зазнає невдачі, намагається знову, знову зазнає невдачі та врешті-решт здається.
Уявіть собі сантехніка, який бере повну годинну плату щоразу, коли впускає свій гайковий інструмент, стягує гроші за кожну прогулянку до фургона та йде, коли труба все ще капає. У масштабах корпорації таким сантехніком є несправна задача агента. За впущений інструмент доводиться платити повну суму.
Споживання токенів не просто подвоюється при роботі з чат-вікном. У середньому агент використовує від 5 до 30 разів більше токенів, а агент, який вийшов з-під контролю під час складної налагоджувальної ситуації, може спожити більше ніж у 1 000 разів більше токенів, ніж звичайне запитання.
Дві криві витрат, які розходяться
Економіка людської праці та економіка ШІ рухаються за різними кривими. У міру покращення навичок молодого розробника обсяг виконуваних завдань зростає, тоді як заробітна плата залишається приблизно стабільною. Він просто працює швидше та ефективніше.
Агент, який стикається з складною проблемою, потребує значно більшої кількості кроків міркування, спроб та використання контекстного вікна, тому вартість токенів різко зростає. Чим складніша проблема, тим вищі витрати.
Покращення апаратного забезпечення не допомагають, оскільки попит на програмне забезпечення перевищує економію. Чіпи Maia 200 від Microsoft, які зараз використовуються в їхніх дата-центрах, забезпечують значно більшу кількість токенів за долар порівняно зі старішим обладнанням. Проте завдання, які виконує агент, миттєво поглинають усю цю економію. Дешевші токени означають лише те, що агенти запитують про них експоненційно більше.
Тож ідея випуску агента в усю корпоративну базу коду та залишення його на самоті вже не працює, оскільки математика цього не підтримує. Проте агенти не є марними. Архітектура, яка їх оточує, мусить змінитися, і то швидко.
Інженерія обмеження
Для всіх, хто створює AI-додатки, інжиніринг запитів більше не є єдиним завданням. Справжнім завданням є інжиніринг обмежень: суворі межі, ліміти стану та фінансові захисні механізми, які оточують моделі, щоб машина довела свою цінність ще до того, як виникнуть великі витрати.
Проблема є конкретною. Уявіть систему управління запасами на Next.js 16, TypeScript та Azure OpenAI. Там затримки та галюцинації майже не мають значення порівняно зі страхом перед автономним агентом, який застряг у циклі міркувань та протягом ночі споживає обчислювальні ресурси хмари. Подібні побоювання існують і при обробці геномних даних на платформі Modal, де оцінюються тисячі послідовностей ClinVar, і при цьому досягається суворий тайм-аут виконання рівно через дві години. Це було звичайне обчислення, яке оплачувалося за секунду. Рекурсивний агент, який оплачувався б за кожен токен, у такій ситуації спричинив би величезні витрати.
Чотири практики роблять обмеження реальністю.
1. Маршрутизація запитів за рівнем складності
Найпоширенішою помилкою є спроба кожного API-запиту надіслати його до провідної моделі, такої як GPT-5 або Claude 4.5 Opus. Це метод грубої сили, який швидко виснажує ресурси. Натомість шар маршрутизації має знаходитися на самому початку ієрархії. Маршрутизатор — це легка, надзвичайно дешева модель, яка аналізує кожне надійшле завдання та вирішує, яка саме LLM підходить для його обробки.
[ Incoming User Request ]
|
[ Router ]
/ \
[ Simple ] [ Complex ]
| |
[ Llama 3 ] [ Flagship LLM ]
Просте вилучення даних чи базове форматування можна виконати за допомогою моделі з відкритим кодом об’ємом 8 мільярдів параметрів або налаштованої міні-моделі. Роботи, що вимагають складної логіки, потребують дорогих флагманських моделей. Ця одна зміна може зменшити витрати на API на до 80%, не призводячи до помітного погіршення якості додатку.
2. Ніколи не дозволяйте необмеженого циклу повторних спроб
Агенту, якому дозволено писати код, тестувати його та повторювати спроби у разі невдачі, потрібен жорстко встановлений ліміт на кількість повторів. Однак звичайне ціле число недостатнє, оскільки контекст зростає з кожною спробою. Третя спроба коштує значно більше, ніж перша, адже запит тепер містить інформацію про дві попередні невдачі.
Додайте ліміт бюджету. Перш ніж агент розпочне наступний рекурсивний крок, функція проміжного рівня оцінює вартість токенів для надходячого запиту. Якщо сумарна вартість сесії перевищує чітко визначений ліміт, процес негайно зупиняється та позначається для перевірки людиною-розробником.
3. Обрізка контексту
Після невдалої спроби агент зазвичай додає необроблений журнал помилок до свого попереднього запиту та пробує знову. Саме тут виникає експоненційна крива витрат. Обрізка контексту протидіє цьому. Замість того, щоб передавати всю детальну історію помилок до основної моделі, дешева модель-роутер стискає інформацію про стан помилки.
Надайте великий журнал помилок дешевій моделі з інструкцією на кшталт „Витягніть точну технічну причину цієї помилки у двох коротких реченнях“. Лише ці два речення надсилаються назад до основного агента для наступної спроби. Вікно контексту навмисно обрізається, тож кількість токенів зростає лінійно, а не експоненційно.
4. Зберігайте людину як критичний механізм зупинки
Довгий час наявність людини у процесі виконання завдань вважалася тимчасовою захисною функцією. Тепер це сувора фінансова вимога. Роль розробника полягає у стеженні за агентом та виявленні моменту, коли він потрапляє у дорогу ситуацію збою: перевірці результатів, підтвердженні технічного напрямку та зупинці процесу, перш ніж він зруйнує бюджет сесії розробки.
Що означає ця зміна
Нещодавно Duolingo пом’якшило свою публічну позицію щодо використання ШІ замість працівників. Разом із Microsoft та Uber вони усвідомили основний факт: люди є найдешевшими „мислячими пристроями“, які існують. Гнучкий розум розробника працює завдяки сендвічу та належному сну, і він ніколи не стягує з компанії тисячі разів більше грошей лише за те, щоб зупинитися та подумати.
Бульбашку нескінченної кількості дешевих агентів луснула звичайна таблиця. Для розробників, які тільки починають свою кар’єру, це є позитивним фактором, адже посади залишаються стабільними, навіть коли щоденні обов’язки змінюються. Робота поступово переходить від ручного введення кожної рядки до проектування та керування системами, які її створюють.
Практичні поради є короткими. Встановлюйте суворі механізми керування в стеки ШІ, застосовуйте рішучі заходи для контролю агентів та ставіться до бюджету токенів з такою ж увагою, як і до пам’яті. Майбутнє інженерії програмного забезпечення належить тим, хто може керувати машиною, контролювати її витрати та припинити її роботу, коли вона перестає функціонувати.