Галоўная / Артыкулы

Чаму рэальнасць вызначае абвязка агента, а не мадэль

Абнаўленне CRM, якое скончылася па таймаўце, паказвае, навошта агентам кантракты інструментаў, стан «вынік невядомы», ідэмпатэнтныя паўторы і праверанае завяршэнне.

Выдавец: REACTAPP.TOP6 хв чытання1450 слоў

Крыніцы: The Model Is Not the Agent. The Harness Is the Product.

Спадзяймо, агенту трэба змяніць контакт для доставкі на абонентаўскаму счыту. Ён знаходзіць адпаведную звістку, стварае праект змены і вызывае CRM. Пасля чаго вызов заканчываецца. Можа, змена не выйшла. Можа, ўсё працавало, але адпаведная адпаведзь згубілася. Можа, CRM яшчэ працуе над гэтым.

Упэўненая адпаведзь «Завершана» нічога з гэтага не рашае, як і паўтарны вызов без веды пра тое, што адбылася ў першы раз. Гэта проста выдумка, але яна адкрывае справжнюяя проблема з дыяграмай. Запрос пра дзеянне і паўтарная перакананасць у яго рэзультатаце — гэта разныя працэсы. Модэль можа без проблем выконваць запрос, а прылада все равно можа губіць контроль над рэальнасцю, і самэ гэта і ёсць задачай канструкцыі.

Што такое канструкцыя

У гэтым падзеце «харнес» — гэта тое, што падчас выканання з’едынае вызовы модэляў, кантэкст, інструменты, правілы выканання і назіранне за прыгонам. Ён можа складацца з калькі частак, і нікому не трэба пісаць фрэймворк, каб яго матыць. Контроль даступу застаецца у службах ідэнтыфікаціі, стойкія інформацыя застаецца ў базах дадзеных, а бізнес-правілы — у зовнішніх сістэмах. «Харнес» знаходзіцца між гэтымі элементамі і коордынуе іх.

Короткая формула гэта адбівае: модэль прыметлівае, а «харнес» керуе тым, што становіцца рэальнасцю.

Модэлі можу планаваць, аналізаваць доказы і адначыць, чырпраця завершана, таму сэрцэвын пункт не ў тым, што програмнае забезпечэнне ведае думкі ўзгалі без пасыўнага модэля. Сэрцэвын пункт — у тым, што сістэма павінна санкцыяваць сваія меры нават тады, калі адначчанне модэля некорэктнае.

Апіска OpenAI працы агента Codex паказвае прынцыпы ўзаўсобнай працы: падготавка вхідных дадзеных, запыт да модэлю, запуск запрошаных інструментаў, перадача ўсунутых іх рэзультатаў і продовжэнне працы пакуль модэль не выдае паведамлення. Гэтае паведамлення завершае адзін цыкл. Адным сабой яно нічога не дазваляе сказаць пра тое, чыі зменіўся рэкорд кліента.

Але гэта не значыць, што самы інструмент ёсць весь продукт. Якосць модэлю, карыстальніцкая аператыўнасць, экспертыза ў паводзе і можлівасці інтэграцыі таксама маюць важлівую ролю. Для аднаго запыту да модэлю достатньа для выкаання простага заведамчага завадзяння. Для рэдагавання рэкорда ў CRM таксама патрэбны правы на дзеянне і падтверджэння з боку сістэмы пра тое, што было зменена.

Інструменты як кантракты

Інструмент пад назвай «update customer» недастаткова ўзначаны. У ям не чытва, які самэ кліент і які аблік, што можа змяніцца, і што будзе, калі колега зменіць запіс пасля таго, як агент яго прачытаў. Адказы компаніі Anthropic па напісанню інструментаў адзначаюць неабходнасць чысткага паведамлення пра мету, корыстных значэнняў, якія вяртаюцца, і тэставання на рэалістычных задачах. Апісанні памагаюць выбраць правы мадэль, а код, які стоіць за імі, павінен выкананыць усі правілы.

У прыкладзе з контактамі для доставкі кантракт могаў бы включаць:

  • Хто: ID кліента, які быў рашаны, у межах абліку, якім агент мае право кераваць.
  • Шта: толькі тыя поля контактаў для доставкі, якія названы ў запытэ.
  • Захаванне: версія запісу, якую агент апошні раз бачыў, калі сістэма яе адкрывае.
  • Ідэнтыфікацыя: стабільны ID запыту, якім можа выконвацца адзначэнне дуплікатаў.
  • Адказ: структураваны статус, падтрымліваецкія доказы і памылкі, якія чалавек або праграма можа выкорыстаць для дзеяння.
  • Гэта прызначаны варыянты, і не кожны CRM іх прысвячае.

    Грані маюць большое значэнне, чым заспакойваючыя формулюванні. Прыказка "апдэйтаваць толькі автарызаваных кліентаў" ўжо ёсць парадам. Сама служба должна пераканацца ў справжнім ідэнтыфікаторы, рахунку, цэлі і дазволеных полях. Для чытання таксама патрэбны межы: выцягванне цэлага базы дадзеных кліентаў не ёсць безнэпасным толькі таму, што нічога не было зменена. У аналізе Anthropic пра контроль над Claude выступае за шаравыя меры безпекі навакола самой модэлі, сераўіса експанацыі і званічнага кантэнту.

    У такім дзяйстве запыт, які выходзіць за межы, адхоўваецца пры любым запісе. Канфлікт версій стае пытаннем змяненых доказаў, а не дазволу на перазапісванне.

    Калі рэзультат невядомы

    Пасля выканання тайма-ауту сістэма павярэнняявыяўленняя должна зазначыць невядомы рэзультат. Гэта не ўспех і не неякшае пахібкі. Невядомы — гэта легітымны стан выканання, і гэта не дае права працаваць знову.

    Вярнэнне да нормальнага стану стае простыяй, калі тры відменнія стану застаюцца аддзельнымі:

    1. Рабочы кантэкст: матэрыял, які модэль патрэбуе для выдання наступнай рашэнні.
    2. Запіс трывалага выканання: што было запланавана, што было выканана, хто санкціонаваў і што ўсё ўсё ў нерашэнні.
    3. Зовнішній бізнес-стан: што наразе ёсць ў CRM.

    Сапраўдак, падсумак чату можа памагчы модэлю знова запрацаваць, але ён не павінен быць ўсім, што застаецца як памяць пра важлівую операцыю. У пунктах контролю таксама ёсць меры, адтолькі ў рэальным свеце все продаўляецца пасля ўтварэння такога пункта, і можа з’явіцца сітуацыя, калі хтось у тым часе змяніў контакт. Дызайн кераваных агентаў Anthropic паказвае, чаму трыбуны жыцця павінны быць разнымі: лог сесіі, інструментарый і сераўс выканання існуюць окрэма, тады новы інструментарый можа продырвацца да зафіксаваных змян. Меншыя прыкладнікі могу залічваць гэтыя роздзелы ў межах аднаго сервісу. Галоўнае — можлівасць вярнуцца да працы, а не відтворэнне распрашанай структуры.

    Для прыкладу з кантактамі, перад адправай іх запісай намераваную операцыю. Пасля заканчэння таймауту запытай у службы пра статус операцыі або шукай іншыя надзеяныя доказы. Калі пасля перачытання будзе паказаны новы кантакт, гэта паведаміць табе пра ныянейшы стан. Гэта не обавязкова паведаміць табе, якая запытка гэта спрычыніла. Усе, што будзе аднарысавана, должна застацца ў межах таго, што падтрымваюць доказы.

    Павторныя спробы трэбуе ідэмпотэнцыі

    Фраза «Спробаваць тры разы» паведамляе, як дуго трэба чакаць, але не кажа ніч пра тое, чы рэшты спроба ёсць безпечной. Бібліятэка AWS Builders' Library опісвае болей строгі падход у своіх рэкамендаціях па ідэмпатэнтным API: апелянт падае ідэнтыфікатор запыткі, служба распазнае павторную намераваную дзеянне і фіксуе дуплікат разам з мутацыяй.

    Локальны ID не можаць адзначыць адзін раз зовнішні запіс. Служба должна выйсці ў спадкі з умовамі даговору, укладанымі ў яго правіла параметраў і перыад зберагчэння. У разе CRM правіла вярнення маюць тры варыянты:

    • Калі автантычныя доказы паўтараюць завершэння, пераканацца ў неабходных наступных умовах і завершыць процэс.
    • Калі даговор службы дазволяе безпечнае паўтарэнне, пераслаць даныя за дапамогою той самой ідэнтыфікацыі операцыі і таго ж намеру, застаючыся ў межах ўстановленых правіл.
    • Калі рэзультат застаецца неясным і паўтарэнне ёсць небезпечным, націснуць паузу і паспрацаваць з дапамогою.

    Стварэнне новага ID запіту толькі для паўтарэння неяснага запісу супершчыць мэту. А калі CRM не мае можлівасці адзвярнуцца пра статус операцыі чы аддзельна адзначыць даныя, варыянты выбору скарочваюцца. Гэтыя абмежэнні павінны быць урахаваныя ў дызайне продукту, а не прыкрываныя болей пераканлівымі прапанованнямі.

    Явныя выходы з ціклу

    Прыдатны цыкл спаглядае, прыме рашэнні, дзеяе і перакананае, і яму таксама патрэбны чыстыя шляхі выйсця.

    Продукт павінен разлічваць гэтыя канечныя станы:

    • Завершана: неабяжлівы рэзультат быў пераканана і падтверджана.
    • Чакаецца затверджэння: наступны крок выклікае патрэбу ў чалавеку з большымі правамі.
    • Заблокавана з-за вхідных дадзенняў або залежнасці: працэсу патрэбна чыясць, якую агент не можа запрацаваць.
    • Анульвана або паza бюджэтам: запуск завершыўся без жадных падтверджэнняў успеху.

    Практыкі падзеяў у межах адной і той жа прагону яшчэ ўсё такія ж па правілам адзначэння працездатнасі. Паўтарныя няудачы не ўскладнююць сітуацыю толькі таму, што агент застаецца зайнятым. Сістэма должна зберагаць достатню колькасць доказаў, каб поясніць сваія рашэнні: адпаведныя вызовы інструментаў, вярнутыя статусы, перакананні ў правах і перакананні ў рэзультатах, пры чым чуліватыя даны не павінны быць ў логах, калі толькі яны не ўпражнены і не захішчаны.

    Ацэнка таксама паўтарае тэтыя правілы: трэба пераглядаць срэду, якая была зменена, а не толькі чытаць фінальную паведамленне. Адпаведная адпаведзь, у якой названы некарэктны кантакт, ёсць няудача. Чыста пояснена пауза пасля нерашанага запісу можа быць правым рэзультатам.

    Не ствараюце больш, чым трэба

    Гэта не аргумент за наявнасць як можна большага крэплення. Эксперыменты компаніі Anthropic з дапрацоўкамі, якія працуюць дзеўяльна, заключаліся у поступовай адключэнні компанентоў і перацэнцы кожнай з іх у меру праграсу модэляў. Дадатковая ацэнка дапамагала ў рашэнні сложнейшых задач, але стварала зайвую навантажэння, калі ўжо сільнейшы модэль добра справляўся з задачамі.

    Выдзеляюцца два відэныя тыпы элементаў. Контрольныя механізмы продукту включаюць такія трэбаванні, як автарызацыя, вяснаванне сітуацыі і адпаведнае адпрацоўванне завершаных задач. Спецыяльныя элементы для падтрымкі модэля дапамагаюць усунуць існуючыя слабасці за дапамогою паўтаральнага планавання, корэктыўных падказак або дадатковых практык ацэнкі. Пасля кожнага апдэйта модэля зноў пераканацца ў эфектывнасці такіх элементаў. Контрольныя механізмы продукту трэба зберагаць так дзеўяльна, калі гэта неабходна для самага продукту. Мета — стварыць самую маленькую сістэму кантролю, якая ўсё ж такі забяжаецца пра безпеку, прозрачнасць і можлівасць вяснавання сітуацыі.

    У вымышленай задачы CRM пасляплановая паведамленне павінна быць конкрэтной: даныя, якія былі перакананы, поля, якія цяпер падходзяць да запіту, і ўсё, што ўсё ўсё ўсё застаецца нераскрытым. Не вядомы рэзультат фіксуецца як не вядомы. Задача, якая чакае на затверджэння, адзначаецца як дзеянне, якое чакае на схвалення. Выпанае заданне, якое было перарванае праз бюджэт, ніколі не показваецца як успех.

    Тое, што робіць агента годным да доверы, — гэта не стойкасць. Гэта можлівасць бачыць, што ён зрабіў, вярнуцца да нормы, калі ўсё ламаецца, і павяржыцца ў межы, якія ён дазволяе сабе.