Галоўная / Артыкулы

Інжынерыя запрэгоў: аднойчыны падстава надзеяных АІ-агентаў

Інжынерыя «Harness» як аднакова для надзеяных агентаў AI: што такое LLM, што робіць яго агентам, і што дадае «Harness» у самым цыкле агента.

Выдавец: REACTAPP.TOP11 хв чытання2468 слоў

Крыніцы: Harness Engineering: The Foundation of Reliable AI Agents

У гэтым карыце парадоксальнае шлях ад сыр'ёў да рабочай сістэмы для: Harness Engineering: The Foundation of Reliable AI Agents. Акцэнт ставіцца на практычныя крокі, чысткія перакананні і код, які можна прыўязаць да рэпазітарыя без неабязковасці здогадвацца пра мету.

Введэнне

На этапы введэння неабходна з'явіць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перамены коду. Аперацыйныя працавнікі должны магчымае перадзваніць крок з вядомай точкі контролю без неабязковасці здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехацкага рэзультата должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач. Автэнтыфікуйцеся на в'язку і практыкуйце пераверыце правыя на роўні дадзенняў. Толькі токэн-носільцы не ёсць межай арэндаванага рэсурсу.

1. Першы крок: Чаму ёсць LLM?

У першым этапе, які ўсё спачатку, перш чым зменяць код, неабходна візначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аператары должны магчыма ўвайсці крок з вядомай точкі контролю, не спрабоўваючы здогадвацца пра схованы стан. Спрыяйце цэму этапу як даговору між вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, візначыце перакананні успеху і адмовіцеся ад тыхняга частковага завершэння без паведамлення. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы лепшая, чым вільны фармат тэксту.

2. Чым ёсць AI-агент?

Для пункта 2: перш чым змяніць код, неабходна ясная вяскапленасць таго, што такое стадыя, ваказаные вхідныя даны, адпаведальная особа за кожны крок і крытэрыі завершэння. Аперацыямі неабходна можлівасць парадзейсаваць крок з вядомага контрольнага пункту, не прыпускаючы стану, які застаецца незрозумелым. Неабходна фіксацыя часу выкарыстоўвання, а таксама вартосці токена чы то запіту, праз адзначэнне іх разам з функцыональнымі рэзультатамі. Відразувыя даны пра вартасці запобегаюць неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную.

3. Што такое Harness?

Для этапы „3 So What“ неабяжна практыка адзначыць вхідныя даныя, адпаведальнага за крок і крытэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы схованы стан. Канфігурацыю трэба захаваць пазначыльна ад коду прыемлікі. Файлы сяродавішча, хранальнікі секрэтных дадзеных і флагі функцый належаць у аднам месца, якое аператары можаць пераглядаць без неабяжнага чытання всіх элементаў. Автэнтыфікацыя павінна выканацца на воратах, а пераправенне праваў — на роўні дадзеных. Толькі токэн-носіцель не ёсцца межай тэнантства.

USER
                      |
                      v
              +---------------+
              | Agent Harness |
              +---------------+
                |     |     |
                |     |     |
             Context Tools Memory
                |     |     |
                +-----+-----+
                      |
                      v
                    LLM
                      |
                      v
               Decision / Action
                      |
                      v
              Tool / External System
                      |
                      v
                   Result
                      |
                      +------> Back to Agent

4. Чаму мы не можэм проста выкарыстоўваць LLM?

Для этапа «4 чырвоныя прычыны» неабходна прадзеянне, апрацоўчык крока і крэтарыі выходу пры змяне коду. Апрацоўчыкі должны магчымае перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення да нормальнасці. Перапрыбуткі, людзкія перакрыцця і обработка некорэктных паведамленняў ёсць часткай продукту, а не дадатковым фінішным практыкам. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходны даныя з перакананням схемы, чым вольныя тэкстовыя апісанні. Для этапа «4 чырвоныя прычыны» неабходна прадзеянне, апрацоўчык крока і крэтарыі выходу пры змяне коду. Апрацоўчыкі должны магчымае перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце цэму этапу як кантракту межа прадзеяннямі і перакананымі выходнымі данымі. Назвайце артыфакты, задаць крэтарыі успеху і адмовіцеся ад беззвучнага частковага завершэння.

User request
     ↓
LLM decides:
"I need to transfer money."
     ↓
Permission check
     ↓
Human confirmation
     ↓
Banking API
     ↓
Transaction result
     ↓
LLM explains result

5. Цыкл агента

Калі працуеце з 5 стадзямі «Цыкл агента», спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі спіс дапамагае заліцварваць можлівыя змены ў кодзе. Запісваюце час выканання і кост токена або запыту праза функцыйнальныя рэзултаты. Відразувая відомасць костаў запобiegае неспакойным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя асяроддзя. Запісваюце назву інструмента, хэш аргументаў, час затрымкі і рэзултат кожнага вызову. Без такога лёгкага следу вылечванне цыклаў агента губіць гадзіны.

Observe
   ↓
Decide
   ↓
Act
   ↓
Observe result
   ↓
Decide again
   ↓
Stop

Шаг 1 — Абсалютваць

Калі вы працуеце на стадыі «Абсарбаванне» 1-го крока, спачатку запісайце умовы контракта: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс контроля дапамагае заліцварыць будучыя змены коду. Зберагаеце настройкі пазыроў з кодам прыемлі. Файлы сераўнавання сяродовысці, храненні секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аўдыт без неабяжлівага чытання всей структуры. Запісвайце назву інструмента, хэш параметраў, час адклікання і рынак кожнага вызову. Без такога лёгкага следу дэбагаванне агента губіць гадзіны.

2-й крок — Адлучыць рашэнне

Калі працуеце над стадзіяй «2. Аджыранне», спачатку запісайце умовы кантракту: неабяжлівыя даныя, сігнал працэйскага успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Зявляйце логі з назвай інструмента, хэшам параметраў, часам адклікання і рэзультатам кожнага вызову. Без такога следу дэбагаванне губіць гадзіны. Калі працуеце над стадзіяй «2. Аджыранне», спачатку запісайце умовы кантракту: неабяжлівыя даныя, сігнал працэйскага успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Спрыятлівайце гэтай стадзіі як кантракту межаў уваходных дадзеных і перакананых выходных рэзультатаў. Назвайце элементы, задаць правілы пераканання пра успех і адмовіцеся ад мовчазнага частковага завершэння.

Стадзія 3 — Дзеянне

Этап дзеяння Крок 3 работае наўпершыя, калі яго спрыята розглядаць як вімерную паверхню. Зафіксавайце адна ідэальная транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Запісвайце часы выканання і вартасць токеноў або запытак па боку функцыйнальных рэзультатаў. Відразлівае паказанне вартасцей запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Адкройце інструменты з вузкімі схемамі і чыткімі пазначкамі пра побачныя эфекты. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць іх.

Крок 4 — Абсалютвацыя

Этап 4 «Абсарбаванне» работае наяўней, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адна «золатая» транскрыпцыю, адын прыклад неудачы і запіс пра вярнэнне да поперадньага стану пры расшырэнні масштаба. Зберагайце настройкі пазырочна ад коду прыемліка. Файлы сяродавішча, хранільнікі секрэтных дадзеных і пазначкі функцый канальна знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнага чытання всіх дадзеных. Адкройце інструменты з вузкімі схемамі і чысткімі пазначкамі пабочных эфектаў. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць іх.

Этап 5 — Адлічэнне

Этап «5. Адзінкцыя» працюе наўсёрэдзей, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны ідэальны прыклад працы, адзін кейс неудачы і прыказку па атрыбуцыі да пачатку ранейшага стану, прычым расшырваючы сферу дзеяння. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Абявляйце аб інструментах з вузкімі схемамі і чысткімі пазначэннямі пабочных эфектаў. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны будуць автаматычна затверджвацься. Этап «5. Адзінкцыя» працюе наўсёрэдзей, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны ідэальны прыклад працы, адзін кейс неудачы і прыказку па атрыбуцыі да пачатку ранейшага стану, прычым расшырваючы сферу дзеяння. Спрыявайце гэтам этапу як кантракту межаў вхідных дадзеных і перакананых выходных рэзультатаў. Назвайце артыфакты, задаць крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Этап 6 — Зупінка

Для этапы «Зупніцца» на кроку 6 неабяжна ўскладніць вхідныя даны, адпаведальную особу за крок і крытэрыі завершэння пры перадзеяванні коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы схованы стан. Запісваць трэба час выканання і вартасць токена або запыту разам з функцыйнальнымі рэзултатамі. Відразувыя даны пра вартасць запобегаюць неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спяльнаваныя сераўеры.

6. Матэматычны падход

Для этапы 6 «Матэматычны праглед» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння перад зменым коду. Аперацыяныя працавнікі павінны магчымаецца перазапускаць крок з вядомага пункта контролю, не спрабоўваючы з’ясаваць захаваны стан. Конфігурацыю трэба залічыць параду ад коду прыкладнення. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое аперацыяныя працавнікі могу пераглядаць, не чытаючы весь ланцуг задач.

7. Чаго на самай працэ практычна кантролюе Harness?

Для этапа «7 What Does the stage» неабяжнае падзеліцьце — задаць вхідныя даны, адміністратара крока і крытэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабяжна дакументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Автэнтыфікуйцеся на воратах і паўторна автарызуйцеся на роўні дадзенняў. Толькі токэн-носіцель не ёсць межай арэнды. Для этапа «7 What Does the stage» неабяжнае падзеліцьце — задаць вхідныя даны, адміністратара крока і крытэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрацоўвайце гэты этап як кантракт між вхіднымі данымі і паўнастацэннымі выходнымі рэзультатамі. Даць назвы артыфактам, задаць перакрыцця успеху і адмовіцца ад беззвучнага частковага завершэння.

Кантэкст

Калі працуеце на стадыі Context, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Запісвайце час выканання і кост токена або запыту праза функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакоўным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўы. Запісвайце назву інструмента, хэш аргументаў, час затрымкі і рэзултат кожнага вызову. Без такога лёгкага следу дэбагаванне агента займае гадзіны.

User request
+
Previous conversation
+
Retrieved document
+
Tool result
+
System instructions

Інструменты

Калі працюеце на стадыі «Інструменты», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Зберагаюце настройкі паза кодам прыемлі. Файлы сераўнавальнага сераўса, хранілішчы секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аўдыт без неабяжлівага чытання всей структуры. Запісуйце назву інструмента, хэш аргументаў, час затрымкі і рынак кожнага вызову. Без такога следу дэбагаванне агента губіць гадзіны.

Памяць

Калі працуеце на стадыі «Памяць», спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць на частыя неудачы. Такі спіс пераканае ў тым, што пазнейшыя змены коду будуць чыстымі. Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Зявляйце логі з назвай інструмента, хэшам параметраў, часам адклікання і рэзультатам кожнага вызову. Без такога следу дэбаггінг агента губіць гадыны. Калі працуеце на стадыі «Памяць», спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць на частыя неудачы. Такі спіс пераканае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрыймайце гэтую стадыю як контракт між вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы элементам, задайце крытэрыя успеху і не прымайце тыхню частую працу без падтверджэння.

Нормы

Этап Guardrails працюе найкрашча, калі яго розглядаць як вімерную паверхню. Запісаце адна «золатая» транскрыпцыя, адзін прыклад неудачы і прыметку паўрануці, перш чым расшырваць масштабы. Запісвайце часы выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакою, калі працэс пераходзіць з дэмавайнага рэжыма ў спяльныя сераўры. Адкрывайце інструменты з вузкімі схемамі і чысткімі пазначэннямі пабочных эфектаў. Хостам неабходна ведаць, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць іх.

Can read customer information: YES
Can create support ticket: YES
Can delete customer account: NO

Умовы зупнення

Этап умов зупнення працюе найэфектыўней, калі яго розглядаць як вімерную паверхню. Зафіксавайце адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра відкатанне перш чым расшырваць сферу дзеяння. Зберагаюце настройкі пазыроўна ад коду прыемліка. Файлы сераўнавання, хранільнікі секрэтных дадзеных і пазнакі функцый крануцца на адным месцы, якое аператары можаць пераглядаць без неабяжнага чытання всіх дадзеных. Адкройце інструменты з вузкімі схемамі і чытальнымі пазначкамі пабочных эфектаў. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць іх.

Maximum iterations = 5

8. Просты прыклад

Этап «8 A Simple Example» працюе найкрашча, калі яго розглядаць як меркавыя плошча. Зберажыце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць сферу дзеяння. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія перакрыцці і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадзецца дагэўна пазніяй. Адкройце інструменты з вузкімі схемамі і чыткімі пазначэннямі побачных наследкаў. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць ўпрацоўкі. Этап «8 A Simple Example» працюе найкрашча, калі яго розглядаць як меркавыя плошча. Зберажыце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць сферу дзеяння. Разглядайце гэты этап як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

User
 ↓
Agent
 ↓
Search Bristol population
 ↓
Result
 ↓
Search Bath population
 ↓
Result
 ↓
Calculator
 ↓
Comparison
 ↓
Final answer

9. Дзе ўжыткавыя інжынерыя Harness?

Для этапы 9 «Дзеясць Harness» неабходна прадварычная дэфініцыя вхідных даных, адпаведальнага за крок і крэтарыяў выходу пры змены коду. Аператары должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць трываласць выканання і кост токена або запыту праза функцыйнальныя рэзултаты. Відразлівасць костаў з самага пачатку запобегае неспадзяваным рахункам, калі траекторыя пераходзіць з дэмавай версіі ў спяльныя асяроддзя. Автэнтыфікацыя выканаць у шлюзе, а прабачэнне прав на выкарыстоўвання — у плоскасці дадзеных. Толькі токен-несучы не ёсць межай арэны выкарыстоўвання.

9. Дзе практычны Harness Engineering?

Для этапы «9 Where is Harness» неабяжна практыка — адыначэ гадзіць параметры вхідных даных, абяронца крока і крэтырыя выходу пры змены коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Конфігурацыю трэба знаходзіць за межамі коду прыемліка. Файлы сераўіснага сераўісу, хранілішчы секрэтных дадзеных і флагі функцый належыць у аднам месца, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг задач.

Адказка кліянтам

Для этапу падкістку кляўэнта неабходна перад змянай коду вызначыць даны, якія будуць вводзіцца, адпаведальнага за шаг і крэтыяры завершэння. Аператары должны магчымае перадзванаць шаг з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення да нормальнасці. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Інжынерыя програмнага забезпечэння

Аналіз дадзеных

Дакладныя даследжэння

Доступнасць

10. Чы гэта можа пайсці не так?

11. Большая картына

Вывад

Інжынерыя ціклавых процэсаў

Чэк-ліст для аператыўной працы