Інжынерыя стрымлівання: чаму выдаткі на AI-агентаў рэзка растуць
Microsoft і Uber упёрліся ў сцяну выдаткаў на AI-агентаў. Чаму агенты так хутка спальваюць токены і чатыры тактыкі стрымлівання: маршрутызацыя, бюджэтныя пасткі, абрэзка і нагляд.
Крыніцы: Why Microsoft and Uber Are Pulling the Plug on AI Agents
Два гадзіны загаворкі ў прасах гаварылі пра адно: інжынеры коштаюць дорага, AI-агенты — дэшава, а цыфровы працавнік, які ніколі не співае і не скаржыцца за частку зарплаты, зробіў бы замену немынучай. Апошнія часы, у планавальных заседаннях дзеяных аднойчы тэхналагічна прагрэсіўных компаній, табліцы пачалі супераслігаць з гэтым наратыўам.
Две компаніі, два сігналы пра прыемнасць змян
Microsoft адкрыла Claude Code для своіх внутрашніх інжынерных каманд у канцы 2025 года. Ён глыбокаўа быў інтэграваны ў ўседзённыя робочыя працэсы, і развівачы яго спадабаўся. Да серэдзіны 2026 года компанія пачала адзьмоўваць гэтыя ліцэнзіі і направляла людзей да дышэўшых дарожэй варыянтав у межах самай компаніі, такіх як GitHub Copilot CLI.
Сітуацыя ў Uber была ўжо болей серьзная. У красавіку 2026 года яго тэхнічны дырэктар з’явіўся, што весь бюджэт на 2026 год на інструменты для програмавання з вікорыстанням ШЫ быў выкараны ўсьмо толькі за чатыры месцы. Іх вікорыстоўвалі 84% інжынераў, а ўсё стала суперніцтвам між аддзеламі, пры чым аднам з керавальнікаў інжынерскага аддзела паўзьміў 1 200 долераў у токенах за адну двагадзінную дэманстрацыю.
ШЫ ніколі не перастаў працаваць. Проста яго вікорыстанне стало неконтрольна дорогім. Для тых, хто стварае агентныя сістэмы, гэтыя новыні апавядаюць пра максімум, які легка досягнуць: вартасць обчыслаў для автонамнага цыфровага працавніка можа перасягнуць зарплату чалавека, якога ён мяў заменіць.
Выход — гэта дысцыпліна, якая скора стане обав’язковай, і якая называецца інжынерыяю контэйнменту.
Чаму агенты коштаюць так многа больш, чым чат-боты
Прыгапт для чату і автонамны агент — гэта разныя рэчы. Калі вы ставіце запытак стандартнаму модэлю мовы, працэс завершаецца за адзін крок: вы запыталі, ён адпаведзеў, і все заканчылася.
Агент жа мае цель, якая не мае чыткага канца. Як толькі яму сказаюць выправіць баг, ён чытае файлы, складае план, пішае правкі, запускае тэсты і ацэнюе свае рэзультаты. Калі тэст не працуе, цыкл пачынаецца зноў, таму агент перэосмысляе, перапішае і знову тэстуе. Кожны крок калькуюцца.
Рэальная праца над програмнамым забезпечэннем прычыняе серьёзны фінансавы рызык. SWE-bench — гэта стандартны промышленны тэст, створаны з багоў у рэальным кодзе, і нават найлепшыя сучасныя агенты рашаюць менш за палову з яго задач. Такім чынам, для больш за палову багоў агент пробуе, паспяшае, пробуе зноў, знову паспяшае і нарэшце здаеся.
Уявіце сябе слюсаром, які выраховуе цэлую годавую ставку кожны раз, калі падае свой інструмент, берэ плату за кожны выход да фургона і застаееся з трубай, якая яшчэ капае. У масштабах падпрыемства такім слюсаром являецца агент, які не выканаў сваю задачу. За падарожынку інструмента плацяцца цэлыя сумы.
Спрацоўванне токенаў не проста подвойваецца паўстаўшы пры вікні чату. У сярэдняму агент выкарыстоўвае ў 5-30 разоў больш токенаў, а агент, які выйшаў з-пад контролу пад час складнага адлагоджэння, можа выкарыстоўваць у 1000 разоў больш токенаў, чым звычайны запіт.
Две крывыя затрат, якія розходзяцца
Эканоміка людзей і эканоміка AI следуюць разным крывыям. Калі молады развівач прагрэсуе, яго праца павышаецца, тады як заробка за гэты перыяд застаецца прыбліжна стабільной. Ён проста стае быстрэй і эфектывней.
Агент, якій трэба рашыць складную проблему, выконвае значна большая колькасць крокаў абдумавання, прабуюць знову і выкарыстоўвае вокна кантэксту, таму колькасць токенаў расце стрэмгана. Чым складней проблема, тым вышэй косць.
Прыбыткі ад апаратнай часткі не спасаюць сітуацыю, таму што патрэбы програмнай часткі перавышаюць этыя заўсёды. Чыпы Maia 200 ад Microsoft, якія зараз працуюць у ягох цэнтрах дадзэных, даюць явна большую колькасць токенаў за долар, чым старэйшая апаратная частка. Аднак завантажэння агентаў, якія працуюць на ўсё гэта, прабіраюць усе гэтыя заўсёды заодно. Дышэўшыя токены проста значыць, што агенты прасябліяюць про іх у экспанэнцыйным тымпе.
Таму ідэя выпускання агента ў весь кодбазу падпрыемства і заставлення яго самога ў спакоі ўжо не працуюць, таму што матэматыка гэтага не падтрымвае. Агенты не ўжо безпарадныя. Архітэктура, якая іх абрамляе, павінна змяніцца, і гэта трэба зрабіць быстра.
Інжынерыя кантэйнмента
Для тых, хто стварае аплікацыі на базе ШЫ, інжыніярство запытакоў больш не ёсць едынай задачай. Наступная задача — інжыніярства кантэйнмента: стварэнне жорсткіх меж, лімітаў стану і фінансавых захоўкаў, якія абгортаюць мадэлі, каб машына падтвердзіла свою цэннасць прычым перш чым з’явіцца вялікі рахунак.
Апошнія проблемы ўсё бол рэальныя. Уявіце сабе сістэму кантролю за запасамі на платформе Next.js 16, з TypeScript і Azure OpenAI. Там затрымкі і галюцынаціі майжэ не маюць значэння паўстаўшы прымусовае становішча автонамнага агента, які застраг у цыкле разумовых вычыслаў і за ноч чыста выкарануе крэдыты на хмарных сервісах. Падобныя проблемы існуюць і ў задачах апрацоўкі геномных даных на платформе Modal, дзе аналізуецца тыясячы рэферэнсных секвэнсаў ClinVar, і працэс завершаецца пасля роўна двух гадзін. Гэта была звычная вычысловая праця, якая платацца за секунду. Рэкурсыўны агент, які платацца за кожны токен, у той жа сітуацыі мог бы стварыць вялічызну расходаў.
Чатыры практыкі робяць кантэйнмент практычным.
1. Распаўленне запытоў па складзі
Найпашыльнейшая памылка — гэта направляць кожны запыт API на такія флагманскія модэлі, як GPT-5 або Claude 4.5 Opus. Гэта ёсць методам сіловага прытыску, які шыбка выкаранчавае рэсурсы. У замене слой распаўлення павінен знаходзіцца адразу ў пачатку стака. Рутэр — гэта лёгкі, чырвацкі за цэнай модэль, які аналізуе кожную прыходзячую задачу і вяршыць, які самэўпэўнены модэль здатны ёю займіцца.
[ Incoming User Request ]
|
[ Router ]
/ \
[ Simple ] [ Complex ]
| |
[ Llama 3 ] [ Flagship LLM ]
Простая выкалічка дадзейнаў або базавая фарматаванне выканаюцца за дапамою адкрытага 8B-модэля або настроўанага міні-модэля. Работа, якая выклікае патрэбу ў глыбокай логіцы, пераводзіцца на дорогі флагшып-модэль. Якім-небудзь адным змянам можна зменшыць выдаткі на API на аж 80%, не падваіваючы якосці прыкладнення.
2. Ніколі не дазволяйце необмежанаму цыклу павторных спроб
Агент, якому разрэшана пісаць код, тэставаць яго і павторна працаваць у разе неудачы, патрэбуе жорсткая межа павторных спроб. Однак просты цэлычны лік ужо недастатні, калі таму, што кантэкст расце з кожной спробай. Трэцяя спроба коштае значна больш, чым першая, адтуды ў запрошэнні ўжо ёсць інформацыя пра две паказаныя раней неудачы.
Дадзіце ліміт бюджэту. Перш чым агент пачынае наступны рэкурсыўны крок, функцыя мідлвэра ацэнюе косць токена для прыходзячага запросу. Як толькі сумарныя выдаткі сесіі перасягае чыста запранаваны ліміт, працэс негайна завершваецца і пазначаецца для перагляду ад чалавека-распрацоўшчыка.
3. Адаптаванне кантэксту
Пасля нявясклага спробы агент зазвычай дадае неапдытаваныя логіі аберанняў да свайго паканальнага запіту і прабуе знову. Самэўсюды тут і вырастае экспансіяныя крывая затрачанняў. Адаптаванне кантэксту супрацоўвае з гэтым. Уместо таго, каб перадаць весь дзяловы історыя аберанняў да главнага модэлю, дышэўскі модэль скорачае інформацыю пра стан аберання.
Перадаюце вялікія логіі аберанняў дышэўскаму модэлю з інструкцыяй на кшталт "Выявіце точную тэхнічную прычыну гэтага аберання ў двух короткіх рэчэннях." Толькі гэтыя два рэчэнні вяртаюцца да главнага агента для наступной спробы. Вікна кантэксту намеравана адмацаваецца, таму колькасць токэнаў расце лінейна, а не экспансіяна.
4. Залічваць чалавека як канцэльнай клячку
Нявесць людзіна ў процэсе выплывала як тымчасовая мера безпекі. Цяпер гэта стала строгай фінансовай патрабованнем. Ролю распрацоўшчыка цяпер складае сочыць за агентам і зупініць яго як толькі той пераходзіць у дорогі стан абярэння: пераканаліцца выходнымі данымі, парадактаваць тэхнічны направлення і зупініць неконтрольаваны процэс, перш чым той зробіць бюджэт спрынта банкрутам.
Што означае гэта змена
Duolingo неяк недавно смягчыла свою публічную позіцыю ў пытанні замены працавікаў AI. Разам з Microsoft і Uber яна сталкалася з простым фактам: людзі — гэта найдэшавшыяся двухмысловыя машыны. Гнучкі розум распрацоўшчыка працюе за дапамогою сэндвіча і належнага сну, і ніколі не выраховвае компаніі тысячу разоў больш, проста каб зупініцца і падумаць.
Бульбашка безлічы танных агентав была праскочана звычным таблічным калькуляторам. Для распрацоўшчыкаў, якія толькі пачынаюць сваю кар’еру, гэта ўтыхомляюча, адколі ролі застаюцца стабільнымі, нават калі ўсёлікія ўсёдневныя обавязкі змінююцца. Праца пераходзіць ад ручнага запісу кожнай лініі да праектавання і керавання сістэмамі, якія яе ствараюць.
Практычныя парады простыя. Убудуйце строгіяя рутэры ў стакі AI, застосавуйце агрэсыўнае кераванне агентамі і ставіцеся да бюджэту токенаў з тым жа уважнэсцю, як і да памяці. Будучыне інжынерыі програмнага забезпечэння належыць тым, хто можа кераваць машынай, контролаваць ўсёлікія ўсёдневныя вітраты і зупініць ёе, калі гэта стане неабходна.