Чаму вартасць агентных AI расте стрэмганна: модель вартасці, яка спачатку фокусуецца на архітектуре

Калі людзі гавораюць працэўнай кантролі выдаткаў LLM, дыскусыя зазвычай пачынаецца і заканчваецца цэнамі токенаў.

«Калькуюцца цены за мільйон токенаў для гэтага модэлю?»

Это справядлівы вопыт, але для систем AI класу production гэта не берае ў расчыт справжнюя проблема.

Одна запитанне ад корыстніка не ператвараецца на адзін вызов мовнаму модэлю.

Процес агентскай роботы зазвычай выглядае так:

User Request
     ↓
Router
     ↓
Planner
     ↓
Retrieval
     ↓
Tool Call
     ↓
Tool Result Interpretation
     ↓
Validator
     ↓
Final Response

Адна прыйшоўшая запитанне можа спрычыніць пяць, шасць, дзесять або нават больш вызоў модэлям і інструментам прычыму ёй будзе рашана.

Чыраз таго, колькасць, яку трэба стежыць, не ёсць проста:

Косц за адзін вызов модэлю

Это:

Косц за адзін завершаны задача.

Што на самай працэ ўплывае на косц агента

Абсалютны косц роботы агентскага працэсу значна перасягае простае спраўліванне токенаў:

Agent Cost
=
LLM inference
+ Embeddings
+ Reranking
+ Vector/Search infrastructure
+ Tool/API calls
+ Compute
+ Storage
+ Observability
+ Evaluations

Нават у канцэлерыі "LLM inference" вы маеўналець справу з токенамі вхідных дадзенаў, токенамі выходных дадзенаў, токенамі, якія зберагліся у кэшы, а таксама можліва ўжыванне кальколька разных модэляў на розных этапах працы практычнага трыбуналу.

Гэтая рэальнасць перакрашвае спосаб прымэнення рашэнняў па архітектуры.

1. Адправляйце кожны запит да модэля правага размеру

Не кожная задача праблематызуе выкарыстоўванне наймоцнейшага модэля, да якога у вас є доступ.

Request
   ↓
Router
   ├── Simple extraction → Small model
   ├── Moderate reasoning → Mid-tier model
   └── Complex reasoning → Strong model

Іншы корыстны патэрн — эскаліяцыя.

Пачніце з лёгкага, недорогага модэля, і перадавайце задачу да болей моцнага толькі тады, калі рэвальяцыя низкая, верыфікацыя не ўспэўнае або задача выявляецца болей складной, чым прыпускалася.

Мэтай не ёсць завжды выбіраць найдешавшую апцыю.

Мэтай ёсць выбіраць найменш дорогую архітектуру, якая ўсё ж задовольняе вашыя трэбаванні да якосці і надзеямоўнасці.

2. Зупніцеся адзінаўканне ресурсоў на выкарыстоўванне модэляў у детерміністычной логіцы

Гэты пункт здаецца бяспадзейным, але ён мае вельмі важлівыя наследкі, калі вы працуеце у масштабных умовах.

Калі звычны код можа надзеясніць запит надзеямоўна, нехай саме ён гэта зрабіць.

Такія речы, як перагляд прав, арыметыка, паўнаважнае перакананне схемы, фільтрацыя, детерміністычныя рашэння па маршрутах і большасць бізнес-правіл, зазвычай не патрабуюць выкарыстоўвання LLM.

Корыстная правіла:

Ніколі не давайце LLM задач, якія детерміністычны програмны код вже можа выконваць краща.

Зберагайце верыятлівасцовае разумаванне для тых этапаў робочага прайсепту, дзе яно справды ўзможлівае заўважныя выгоды.

3. Ставіцеся да контэксту як да бюджету на адзінаўканне ресурсоў

Агенты, якія працуюць дзеўна, продовжваюць накапліваць контэкст па мере свайго выкарыстоўвання.

Якщо не стварыць контроль, кожны дадзеный шаг можа зноў адправіць усю історыю размовы, ранейшыя вынікі інструментоў, запрашаныя дакументы і пазначкі ранейшых выважэнняў назад у модель.

У замест на тое, каб контекст расліваўся без меры, трэба падтрымваць значэння, бліжэй да:

Recent Context
      +
Compact Summary
      +
Relevant Memory
      +
Task-Specific Retrieved Context

Практыкі такія як стварэнне апусцоў, тайм-аут для дадзеных дакументаў, змінныя вікна контексту і запрашэнне мемарыяў на адной засадзе релевантнасці існуюць не толькі для керавання розмерам контексту.

Яны таксама выконваюць функцію контролю витак.

4. Настройка RAG Top-K — гэта інструмент керавання витакамі

Падазроўваючы, што вы запрашаеце 20 фрагментоў, кожны з якіх складаеся з апошніх 700 токенаў.

Это дае абоўшча 14 000 токенаў запрашанага матэрыялу.

Аднак, можа, толькі чатыры з гэтых фрагментоў ёсць значнымі для адпаведзі.

Краща спроектаваныя процесы запрашэння выглядаюць так:

Query
  ↓
Retrieve broader candidate set
  ↓
Rerank
  ↓
Select best 4–6 chunks
  ↓
LLM

Існаванне вялікага калеку кандыдатаў не значыць, што кожны з іх павінен быць уключаны ў вікна контексту модэлі.

Таму якасць адзысквання інформаціі і витраты на ўзнакомленне з данымі являюцься взаўсёды супакоўванымі архітектурнымі рашэннямі, а не адна з другойю незалежнымі прыемамі.

5. Кэшаванне на больш чым аднай гілце

Кэшаванне — это не адна тэхніка; існуе калькі ўсяго роду, якія можна выкарыстоўваць разам.

Напрыклад:

Exact Cache
Semantic Cache
Prompt/Context Cache
Tool Result Cache
Retrieval Cache

Якщо вялікае колькасць корыстувачаў ставяць пытанні, якія семантычна ідэнтычныя, ўсё час перзапусканне всей парады задач агента з нуля часта ёсць марнатрапствам.

Так сама вялікія статычныя запрошэння системы, апісанні інструментаў і тексты правілаў не патрабуюць перапрацавкі з нуля ў кожны раз, як толькі ваша платформа або постачальнік модэлі падтрымляе адпаведны механізм кэшавання.

6. Установка строгіх лімітав для автонамных агентаў

Агенты прыносяць свае сабе абаранасы: неконтрольваныя ціклы.

LLM
 ↓
Tool
 ↓
LLM
 ↓
Tool
 ↓
LLM
 ↓
...

Адна-едзінственная памылка в оркестрацыі можа адночасна прывести да падзеў, стосавяцца як надзеі на надзейнасць, так і значнага адвышэння расходаў.

Чырваючы гэта, агенты, якія выкарыстоўваюцца у працэсе вырабніцтва, патрэбуюць чыста выражаных правілаў, якія б пакрывалі такія аспекты, як:

Maximum agent steps
Maximum tool calls
Maximum tokens
Maximum wall-clock time
Maximum cost per run

Калі адзин з гэтых бюджэтаў будзе выкарыстаны, рабочы процес павінен зупініцца, перайсці на альтернатыўны шлях, гракузна зменшыць сваю дзейнасць або перадаць задачу чалавеку, залежна ад таго, калі яго трэба.

7. Адлічыце расходы ў вашу структуру для абзору

Кожны лог, ствараны ў умовах вырабніцтва, павінен дазволіць вам адпавядаць на такія запытанні, як:

Which application?
Which workflow?
Which agent?
Which model/provider?
How many input tokens?
How many output tokens?
How many tool calls?
How long did it take?
How much did it cost?
Did the task actually succeed?

З таго моменту панелі керавання можа адображаць такія показнікі, як:

Cost / request
Cost / successful task
Cost / workflow
Cost / model
Cost / application
Cost / team
Cost / customer

У гэты момент оптымізацыя расходаў на AI пачынае больш прымаць форму інжынерыі платформ і FinOps, чым налагоджэння запытоў.

Кошты і якасць трэба сантрымаваць разам

Найменш дорогі спосаб выканання задачы не ўсега являецца найкращым.

Якщо дешавы модель часта выконвае помилкі і вымагае павторных спроб, альтернатыўных шляхоў аб ручной інтэрвенціі, яе рэальныя косты можу стаць вышымі, чым у болей сильнай моделі, якая выконвае задачу правільна з першай спробы.

Таму показнік, які варта оптымізаваць, больш прылегае да наступнага:

Successful Tasks
Value = --------------------
        Cost + Latency + Risk

Гэта не ўзято як буквальная універсальная формула — гэта інжынерскі падход.

Для прыменення Агентных AI у працэсе виробніцтва неабходны такія змены ў мышленні:

Паставіць канец оптымізаванню токенав ізольавана. Пачаць оптымізаваць эканоміку успешнага завершэння задачы.

Так как у момент, калі агенты можу рассуждаваць, запрашваць інформацыю, выклікаць інструменты, павторна працаваць, перакантравляць і ціклізаваць:

1 запит корыстніка больш не доравнае 1 вызову моделі.

І самэ гэтае месца, дзе косцт перестае быць простаю деталлю цэны і становіцца задачай практычнага дазаўважэння системы.