Галоўная / Артыкулы

Шматагентныя сістэмы — гэта бэкэнд-сістэмы з недэтэрмінаванымі часткамі

Шматагентныя сістэмы ў прадакшне ўзнагароджваюць бэкэнд-звычкі: кантракты на кожнай мяжы, промпты як канфігурацыя, жорсткі бюджэт кантэксту, адна роля на агента і паўторы.

Выдавец: REACTAPP.TOP9 хв чытання2167 слоў

Крыніцы: Multi-Agent Systems Are Backend Systems with Non-Deterministic Components

Калі перэйсці з наукі працы з дадзеннямі і машыннага навчання да агентных AI, пачатковыя етапы здаюцца знайомымі. Але як толькі працуеш у продакшн-сістэме з калькольнікамі агентаў працоўнае час, гэта вялікае сходства з наукою працы з дадзеннямі згасае. Гэта пачынае нагадваць інжынерыю бэкенду, з той толькі разніцай, што дзеянні дзеяных компанентаў ёсць недэтэрміністычнымі. Калі на гэта паглядзець, багатыя рашэнні па дызайну стаюць простымі для разумення.

Мета не ў тым, каб пазбавіцца гнучкасці, яку даёная LLM-і, адколькі сама гнучкасць і ёсць прычыной іх вжывання. Мета — задаць прыемлівыя межы для яе выкарыстоўвання.

Да кожнай межы — кантракт

LLM-і выражаюць ся за дапамою тэксту, таму ёсць спадчыннасць дазволіць часткам агентнай сістэмы спілкувацца між сабою таксама за дапамою тэксту. Одна компанента пішае ўсё, наступная чытае гэта і разумее, што мелася на увазе.

Гэта працуе, пакуль тлумачэнне сама па сабе не стане адной з прычын сумневаў.

Запыткі праяснення ўсёлякія ўзьміце як прыклад. Компанента можа з’явіць, што ёй не хапае інфармацыі, і вмела адказаць на гэта ў прозе, але заставіць рэшту працэсу працы ў незнаёмасці. Гэта абыякшасць, чы ўсё-такі запытка праяснення? Чы трэба зупініць віконанне? Чаго саме не хапае?

Рашэннем ёсць пераводзіць такія сітуацыі ў направленні чыстае, структураванае кантракты. Уместо фразы на кшталт "У мяне няма достатнько інфармацыі, каб продаваць далей, чы маглі б вы запытаць корыстувальніка, які набор дадзеных выкарыстоўваць?", компаненты адмаўляюцца паведамлення на кшталт:

{
  "status": "needs_clarification",
  "question": "Which dataset should be used?",
  "required_input": "dataset"
}

Фармат JSON ёсць другарскім элементам. Гэтае, што мае значэння, — гэта сам контракт. Наступны компонент атрымле вядомы стан з вядомым фарматам і ніколі не павінен адгадваць намеры на адпрацоўаным тэксце.

Адносіні з чалавекамі можаць выкліквачыцца за тым жа прымэтам. Калі компонент, прызначаны для конкрэтнага домэна, патрабуе дадатковых даных, ён выдае структураваны запіт на раз’яснення, а аддзельны слой адносін адлучвае, як паказаць гэта корыстніку. У структураваным відзорэ:

Domain workflow
  ↓
Structured clarification request
  ↓
User interaction layer
  ↓
User

Завершэнне таксаўбы таксама патрабуе адпаведнага адносу. Калі завершэнне задання мае значэнне для каляранаўвання, яго трэба выклікваць за дапамою чытко візначанага протаколу, а не паказваць як нешто, што другі мадэль павінна вывесты з фразы на кшталт „Аналіз завершаны“.

Гэя ідэя выходзіць далей за простае раз’ясненне чы і завершэнне. Паведамленні між компанентамі, вызовы інструментаў і ўсі ўсуненні, а таксама памылкі і падзеі каляранаўвання — усе гэта можа выгадаць ад чытка візначаных меж.

Практычная правіла: калі іншая компанента павінна інтэрпрэтаваць выход дзейнаўскага мовнага модэля, тады гэты выход, верагодна, патрабуе схемы.

Прыродны язык патрабуецца там, дзе ён дасканальна неабходны. Унутры сістэмы неяснасці часта ствараюць больш проблем, чым дапамагаюць.

Спрыяйце запытам як канфігурацыі

Калі сістэма расце, ручная правка кожнага запрошэння сістэмы як самастоятэльнага блока тэксту стае все сложней для падтрымання. Адмініструемыя правілы часта копіююцца ў калькі месца, апісанні можыццяў змінююцца з часам, і запрошэнне адхіляецца ад таго, што на самай працэ выканання ў рэальнасці ёсць.

Болей дэкларатыўны падход дапамагае. Адмініструемыя правілы, інструкцыі, спецыфічныя для паведамлення, апісанні можыццяў і прыклады знаходзяцца ў адзеленых частках і сумачваюцца ў фінальнае запрошэнне падчас стварэння.

Этап стварэння таксама дае можлівасць пераканацца ў правільнасці канфігурацыі прытаманнае модэлю. Калі запрошэнне прытвараецца, што ёсць якаясь можыцць, якая на самай працэ выканання ў рэальнасці ня існуе, працэс стварэння павінен гэта з’явіць. То ж самае стосуецца відсутных неабходных частак, дуплікатных ваказанняў або налашоўкаў, якія больш не падходзяць да паведамлення.

Ніхто не рэдагуее заканчоўны запрос безпасэчна. Ён ствараецца з меншых элементаў канфігурацыі, пераверачваецца і выдаецца як артыфакт будовы, які можна версіяваць і перзбудаваць за бажаннем.

У такім случае калектаванне запроса больш нагадвае звычную канфігурацыю програмнага забезпечэння, чым напісанне. Вы вяртаецеся да спільна выкарыстоўваных частак, пераверачваеце тое, што можна пераверачаць, пры запуску, і падтрымліваее, каб створаны выход быў адпаведны сістэме навакола.

Кантэкст — гэта «бюджэт»

Большыя вікна кантэксту дазволяюць лёгка прымыкаць усё новае: інструкцыі, прыклады, історыю, апісанні можлівасцяў, артыфакты, пакананыя выходы. У канцы канцоў модэль мае ўсё, што толькі можа знадобіцца, і інодзе ў ягоя рабоце пачынае падвяршвацца.

Відразу зрозумелае адказванне — гэта дужыня, нібы модэль проста забыў што-небудзь. Але ў разліце з сучаснымі мадэлямі часта болей корыстным падходам ёсць аналіз разбавлення інструкцый.

Эфектывае кантэкст агента ў дзесяткі разоў большы за яго сістэмны запрос:

instructions
+ available capabilities
+ examples
+ conversation history
+ artifacts
+ previous outputs
+ workflow state

Мадэль можа цалкам адказаць на адзін конкрэтны запаведненне сярод усьго гэтаго. Але гэта не значыць, што яна будзе аднакова добра выконваць усі запаведненні, калі калькі сігналав конкуруюць за ўвагу мадэлі.

Таму болей корыстным стае пытанне пра тое, сколькі кантэкста на самай працоўнай лініі патрэбуе компонент, у працоўнасупрацоўцы з тым, сколькі тэхнічна можа прыняць мадэль.

Гэта выходзіць за межы простага заўтрэмлення рэсурсоў. Меньшы, болей рэлевантны кантэкст скурчвае прастор для прыняцця рашэнняў і спрыяе лёгкаму прыказванню поведзення. Кожны дадатковы фрагмент кантэкста конкуруець за увагу мадэлі. Ён не застаецца там безкоштовна.

Адзін агент, адна роля

Колькісна кантытаты інструментаў апынулася слабым сігналам для выбору моменту раздзелення агента. Адзін агент можа мець многія стыкаваныя межы і ўсё ж маты чыста вялікую мэту, тады як іншы, які мае толькі калькі інструментаў, можа вялікі час выконваць калькі нерэлевантных задач.

Адміністрацыя ўтварае набагато лепейшую межу раздэлення. Разныя адміністрацыі зазвычай выклікаюць разныя інструкцыі, кантэкст, правіла парадыгматызацыі і стратэгіі рашэння проблем. Цэта сепарацыя аспектаў, прыменена да прыметных складовых.

Раздзеляйце за адміністрацыямі і ігноруйце колькасць інструментаў.

Граф зберагае стан

Оптымізацыя запітоў прымае многа увагі ў працы агентаў. Стан жа — менш.

Лёгка зосерцавацца на размерэ запітоў і працягваць не звертаць увагі на стан графа. Аккуратна адрэдагаваны запіт все раве можа існаваць на тле стану, які продовжае зберагаць выходы і рэзультаты з калькі шагоў раней, як толькі гэты стан не керуецца намерна.

У оркестрацыі на адной графікі паведамленні, проміжныя рэзультаты, рэзультаты працы і пярэйшыя выходы накапліваюцца па меры выканання задач у графікі. Граф памятае, што ўжо ўдобна, але гэта значыць, што стан трэба спецыяльна спроекаваць.

Большы рэзультаты, створаны на ранніх этапах, могу пераходзіць да пазнейшых этапаў, дзе іх адносны змест не патрабуецца. То ж самае стосуецца вялікіх вынікаў ад інструментаў і проміжных рэзультатаў.

Для большых рэзультатаў зазвычай лепшая заставляць даны за межамі графа. У змену на гэта:

Large artifact
  ↓
Graph state
  ↓
Step
  ↓
Step
  ↓
Step

Зазвычай дасцца ўжо тое, што бліжэй да наступнага:

Large artifact
      ↓
External storage
      ↓
Reference + metadata
      ↓
Graph state

Большая частка складовых элементаў не патрабуе, каб усё было створана раней у працэсе выканання задачы. Ім патрабуецца толькі столькі, сколькі неабходна для прыемкі наступнай рашынкі.

Размах інформацыі ўхіліваеся толькі да аднаго аспекту проблемы кантэксту, і стан сістэмы таксама заслуговае на аднаковую увагу. Йго трэба актыўна праектаваць, не дазволяючы яму стаць месцам скарыдкі для всьго, што ствараецца пад час выканання.

Надзеяўнасць — гэта пераважна інжынерыя

Нават за наявнасці хорашых дагавораў, чыста апісаных ролей і рэгулярна кераванага кантэксту, агенты все раве рабяць неспадзяваныя рашынкі. Дзеянне не выйшла, мадэль выбірае неправільнае дзеянне або павтарае яго, працэс выканання заканчываецца занадта рана або трывае дыявольскі дзяўно.

Есць таксама случаі, калі кожны крок здаецца разумным, але весь працэс выканання не прыносіць нічога. Мадэль продовжае робіць локальна правільныя выборы і фактычна стварае цыкл.

Першым інстынктам, ўсё болей для тых, хто пачаў працаваць з велікімі LLM-амі на пачатку 2023 года, ёсць падправіць такія проблемы ў запітах. Іноды гэта дапамагае. Але большасць механізмаў надзеры, якія востатку становяцься неабходнымі, выглядаюць як звычная інжынерыя сервернай часткі:

  • перапрыбуткі і таймауты
  • жорсткія ліміты на колькасць ітэрацый і вызоўнаў інструментаў пад час адной екзекуцыі
  • выяўленне цыклаў па аднаковым дзеянні аб стане, якія вяртаюцца
  • лёгкія стыкі, калі екзекуцыя застаецца, але ўсё ўсё можа вярнуцца да працы
  • чысткія станы аббіекцыі з шляхамі вярнення да нормы

Калі ўсёлякія дзеянні не павінны выкананыць больш ніж паўтароўку заданага ліміту, встановленне такога ліміту лепшая, чым дадаць ўсё новы радок, які прасіць мадэль паводзіцца певным чынам. Запіты ўскладнююць інжынерыю надзеры, але яны не павінны стаць ўсім елементам гэтай інжынерыі.

Абляваемасць таксама паводліва той самой логікай. Калі збываецца звычны запіт да бэкэнда, логі і стэк-трэйс зазвычай паведамляюць, што сталося. У сістэмах з агентамі частаўкай знання таго, дзе сталася памылка, недастатнія.

Патрэбна пераконструэйвацыя таго, як усё выйшла так: які маршрут быў выбран, якія дзеянні былі спробаваны, якія аргументы былі выданы і якія рэзультаты вернуліся. Пад час дэбагавання цікавай часткай часта не ёсць фінальная памылка, а ланцуг рашэнняў, якія продовжвалі вяртаць выконанне да таго ж маршруту.

У агентных сістэмах дэбагуецца не толькі код, але і рашэнні, таму хорашая абляваемасць павінна дазволіць пераконструэйваць шлях рашэнняў.

Выбор модэлю — гэта рашэнне па проекцыі сістэмы

Вважаць агентаў часткамі програмнага забава таксама зміняе спосаб выбору модэляў. Нічога не выказвае, што кожная частка павінна працаваць на аднам спяльным модэлі, а адправка кожнага з іх да самага большага доступнага модэля ўсё менш логічная.

Сістэма з кальманавамі сама па сабе сумешчае задачы з вельмі разнымі ступенямі складнасці. Дзеярыя з іх выклікаюць неабяжліваяе разумаванне, планаванне або сынтэз. Іншыя пераважна адпрацоўваюць, выкарыстоўваючы, класыфікуюць, трансфармуюць структураваныя даны або выбіраюць з малага набора дзеянняў.

Мадэль, якая падходзіць для всіх сітуацыяў, можа таксама зробіць сістэму непатрэбна медленной і дорогай. Для кожной ролі важны баланс якосці, надзеямоўнасці, часу адпрацоўкі і цены.

Выбір таксама не лічыцься толькі колькасцю параметраў чы рангамі у табелі лідэраў. Мадэлі, якія выглядаюць аднакова на тэстах, можу дзейсці вельмі разнацяйна ў рамках аднаго і таго ж робочага працэсу.

Архітэктура ўзята ў расчыт, калі ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ў

Найважлівэйшы крэтэрыя — гэта ваша рэальная навантажэння. Для маршрутацыі тэставайце маршрутацыю. Калі выходныя даныя должны падкапілявацца пад певную схему, пісачыце, як часта гэта відбываецца. Компаненты, якія выкарыстоўваюць логіку, атрымваюць набор тыповых кейсаў для ўзгаданай логікі. У той жа атрыбут ацэнкі включайце затрымку і вартасць.

Оцэнюйце модэль па ролі, яку яна выпалюе ў вашай сістэме, а не па ўсэху ўзагальнаму рангу.

Інжынерыя, якая ўзгадвае недэтэрмінізм

Ёсць адна загальная напрамоўка ў всім гэтым. У ранніх пратэтапах агентаў максымізуецца свабода: даўаецца модэлі інструкцыяў, інструменты і кантэкст, а потым яна сама прыме рашэнне.

Калі пераходзіце да практычнага выкарыстоўвання, большая частка працы ведаецца у працоўным напрамку. Адпаведальнасці становяцца болей часткавымі, інтэрфейсы становяцца структураванымі, кантэкст становіцца болей рэлевантным, стан керуецца намерова, шляхі аббіекцый становяцца яснымі, а выбор модэлі залежыць ад ролі.

Нават запросы перастаюць быць абсалютна самастоятэльным тэкстам і начынаюць дзеяць як канфігурацыя, якую трэба склadaць, пераканаць, стварыць версіі і відтворыць.

Нічга з гэтага не пазырае спроможнасць LLM прымець рашэнні. Якбы кожна рашынка магла быць запісана дэтэрміністычна, не было бы сэнсу ствараць агентны сістэму. Галоўнае — выбраць, дзе недэтэрмінізм ўжыткавы, а дзе — ні.

Самэ таму такія сістэмы все боль супамінаюць інжынерыю бэкэнда з новым тыпам компанент. LLM забезпечвае гнучкасць у межах, а інжынерыя прымення встановляе тыя межы.

Найлепшая агентная сістэма — не тая, дзе агенты можаць рабіць больш за ўсіх. Гэта тая, дзе агенты маюць ровна столькі свабоды, сколькі ім трэба.

Супаўзяныя матэрыялы

  • Адаптацыя адміністратыўнага запіту ад аднаго велікага фармату да модульнага асістэнта AutoGen для пакупак — Чаму адзін запіт чат-бота не падходзіць для е-камеры і як дызайн AutoGen і MCP аддзеляюць розумеўне мовы ад дэтэрміністычнай бізнес-логікі.
  • Захаванні дыяметру дзеяння для AI-агентаў: дэкадаванне схованых IP-адрэс і домэнаў пры запуску — Як шэл-гейт рэкурзіўнага агента дэкадавае вкладзеныя кодаванні base64, hex і URL, нормалізуе нестандартныя фарматы IP-адрэс і фільтруе імены файлаў, каб цілі, якія не падпадаюць пад дыяметр дзеяння, былі заблокаваны.
  • Оркестратор і падзеягенты ў LangChain: агенты як інструменты — Стварэнне мнагаагентнага сістэмы, у якой галоўны агент давае заведаменні спецыялізаваным падзеягентам, якія выступаюць як інструменты, з невялікім прыкладам на Ollama і прыметкамі па расшырэнню ў большыя масштабы.
  • Калі команда агентаў AutoGen застаецца на месцы: як яе ацэніць і перадаць на працаванне керавальніку — Эксперымент з AutoGen з дэтэрміністычным суддзёй, які керуе графікам работ, паказвае, чаму не функцыонуе атмосфера артыкулярнага адгукнення, як выявіць команду, якая застаўся, і чаму для перадачы на вышэйшы рэвю трэбуе іншыя методы.
  • SkillClaw: Калі аднаго агента не выходзіць, кожны агент выучаецца — Як SkillClaw сабірае следы взаімадзеяння ад многа корыстнікаў, развівае спяльныя навыкі агентаў за дапамогою агентнага эвалюатора і пераканальваецца ў змянамі за ноччу пры ўпрацоўванні.
  • Граніцы архітэктуры AI: Прабабілістычныя мадэлі ў дэтэрміністычных сістэмах — LLM змінівае дыяграму сістэмы: кантэкст стае компанентам, выходны даныя не ўзлежыць на доверы, код 200 можа ўсё ж не выйсці, а косцт — гэта ліміт часу выканання. Правілы і автантыяцыю трэба залічыць у кодзе.