LLM супраць AI-агента: адно пытанне на інтэрв’ю і шэсць удакладненняў

Калі запытаць кандыдата на пасунак інжынера AI, што разлічвае LLM ад агента AI, то тыпавая першая адказвае, што LLM стварае тэкст, а агент выконвае дзеянні. Адзінавальнік рэдка ківае і пераходзіць да наступнага пытання. Наступныя пытанні паказваюць, чы робіў кандыдат работу з рэальнымі сістэмамі чы проста запамятаваў вызначэнні. Цікава тое, як адбываецца такі дыялог, пытанне за пытаннем.

Што робіць LLM сама по сабе

Мадэль мовы стварае выходны тэкст на адваротнае ад таго кантэксту, які ёй даўця. Яна можа поясніць адказку, падсумаваць лог-даныя, якія былі вставлены ў запытанне, або вернуць структураваныя даныя. Яна не можа з’явіцца ў прыватной базе дадзенаў проста таму, што хтось прасіў. Таму, калі адзінавальнік запытае, як асістэнт AI можа пераканацца ў стане жывой транзакцыі, адказваецца, што для этага патрэбны інструменты і код прыемленае.

Як вікорыстоўваецца інструмент

Уявіце саботу кліента: «Мая оплата была успешной, але замовлення не створылася». Бэкенд адказвае калькольнымя меркамі:

getPaymentStatus(transactionId)
getOrderStatus(transactionId)
createSupportTicket(details)

Програма адаптавання надае іх імены і схемы параметраў разам з кантактом, і мадэль можа адпаведзець чымось на кшталт гэтага:

{
  name: "getPaymentStatus",
  arguments: { transactionId: "txn_123" }
}

Наступныя запытаннія адзінавця ўскладняюць справу: чы гэты мадэль проста вызваў службу платэжаў? Не. Ён створыў структураваны запіт на вікорыстоўванне інструмента. Нічога шчэ не запускалася.

Хто на самай працы выконвае вызов

Выконванне адбываецца на бэкендзе. Асалоджаныя працэс мае шасць крокаў:

1. Прыкладка адправляе запіт разам з ваказаннямі ўжоў інструментаў.
2. Мадэль вяртае назву інструмента і аргументы.
3. Бэкенд пераканальвае вхідныя даны і правы ўладчыка вызову.
4. Ён запускае затверджаную функцыю.
5. Рэзультат вяртаецца да мадэлі як новы кантэкст.
6. Мадэль просіць іншы інструмент або дае свой фінальны адказ.

Корача, LLM пропануе, а прыкладка керуе выконаннем, крантамі і контролем доступу. Гэтыя словы варта запамятаваць, таму што самэ гэтыя моменты адзінавцы часта перапытваюць.

Што прыводзіць гэта да стварэння агента

На дошцы знаків уравненне ўскладненага ня ўтвараецца:

AI Agent = LLM + Instructions + Tools + State + Execution Loop

Агент сочыць за своім станам, выбірае наступны крок, апраносяць рэзультат і зноў ацэнюе яго, што стварае цыкл:

Observe → Decide → Request Tool → Execute → Observe Result → Continue or Stop

Тады выступае пытанне: хто гэта зупініць. Мадэль можа даць фінальную адказ, але прыкладнэе праграма должна встановіць меры контролю. Цыкл павінен завершыцца пасля досягнення ліміту колькасці спроб, заканчэння таймауту, выявлення непераканальнага бяга чыраў або колі патрабуецца затверджэнне чалавека.

Адкліканне калькоў інструментаў адразу

Магчымасць адклікання калькоў залежыць ад взаімных завісасцяў дадзенняў. Для статусу платэжа і статусу замовлення достатнік ID транзакцыі, таму іх можна запрашаць паралельна:

const [payment, order] = await Promise.all([
  getPaymentStatus(transactionId),
  getOrderStatus(transactionId)
]);

Цяпер заўважкім, што адпаведзь на платэж уключае кансаект гейтвэю, які неабходны для наступнага вызову. Другая операцыя павінна чакаць першую:

const payment = await getPaymentStatus(transactionId);
const gateway = await getGatewayDetails(payment.gatewayRef);

Сільныя адказы паказваюць, што кандыдат пераканаліваецца, чы роўныя запыткі ёсу незалежныя, прычым яны іх паралелізуюць.

Дазвол на вярненне грошаў

Правільны адказ — што сама толькі запытка модэлю недастатня. Бэкенд павінен пераканалівацца ў клёянцы, які ёсць власнікам транзакцыі, чы яна падходзіць і якія ёсць ўскладнення. Для аператыў пісьмовага зберагання трэбны ключ ідэмпатэнтнасці і журнал аўдыту, а большыя вярнення грошаў можу заставіць патрабаваць затверджэння ад чалавека. Сістэмны прамт, які гаворыць "вярненне толькі для правядзячых транзакцый", ёсць кераваннем для модэлю. Ён не лягае ў кантакт з автарызацыяй.

Як эксперт ставіць балы

Першая адказка, «LLM генеруе адказы, аяент выканае дзеянні», была занадта простая для пасляднейшай ролі. У яй не было сказана, хто выканае дзеянні, хто мае правыя на адпрацоўку і шта запэчатуе небяспечныя операцыі. Пасля дадатковых запытанняў кандыдат дасяг ўзлёгкай адказкі, але каб з самага пачатку падняцца да пасляднейшай ролі, першая адказка павінна была б негайна ўпомянуць межы прыменення і цыкл аяента.