Галоўная / Артыкулы

Я створыў команду агентаў AI, якія разам ведуць доследжэння — з

Команда агентаў ШІ, якія разам ведуць доследжэння: ролі планавальніка, доследніка і пісьменніка, з можлівасцю спостэрэння і контролю якасці, якія фіксуюць слабкі рэзультаты LLM пры ўпаковцы.

Выдавец: REACTAPP.TOP10 хв чытання2400 слоў

Крыніцы: I built a team of AI Agents that research together — with observability and quality gates

Наступныя прытамлівкі паказваюць практычны падход да задачы «Я створыў команду агентаў AI, якія разам ведуць даследжэння — з можлівасцю абзору і контролю якосці». Акцэнт ставяецца на контрактах, пераканальных проверкі і шаблонах коду, а не на мотывацыйных аспектах. Калі працуеце на стадыі агляду, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што вядзецца ў разы частковага нявыпання. Такі спіс пераканальных пунктов дапамагае заліцварыць будучыя змены ў кодзе. Валідзіце маленькія, тэставаныя елементы заместо вялікіх скрыптав. Калі якісь крок не выйшоў, прычына нявыпання должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс.

Проблема «аднаго вялікага запіту»

Проблема адаптавання даўжынкі практыкі лепша рашуваецца, калі яе спрыяваць як меравальную плошчу. Зафіксавайце адны ідэальны прыклад, адну справу з бягам і прыміткі па поверненню да пачатковага стану пры розшырэнні масштаба. Спрыявайце гэты ўражок як кантракт межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаць крытэрыя успеху і не падзеўляйцеся частым, некомплектным выкананнем задач. Задаць ліміт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэманстрацыям ператварацца на неспакоючыя рахункі.

Што такое AI-агент на самай справе?

Этап «Што такое AI?» працюе найкрашча, калі яго розглядаць як вімерную плошчу. Запісаце адна ідэальная версія працы, адзін прыклад неудачы і прыметкі па поверненню да пачатковага стану пры розшырэнні масштаба. Запісвайце часы выканання і косты токенав або запытак праз адныя з функцыйнальных рэзультатаў. Відразлівае паказанне костаў з самага пачатку запобегае неспакойным рахункам, калі праця пераходзіць з дэмавайнага рэжыма ў спяльныя сераўысы.

Пазнайоміцеся з камандай: планавальнік, дзеячы, пісьменнік

Этап планавання „Знайомство з камандай“ працюе найэфектывней, калі яго розглядаць як мерыемую паверхню. Зберагачыце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Зберагачыце настройкі параду з кодам прыемліка. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адрабоўваць аўдыт без неабходнасці чытання всей структуры. Стан графа павінен быць простым і тыпавым. Вярнутыя блокі маскуюць інфармацыю пра тое, канфігурацыйны вузел запісаў канкрэтны поле, і спакойваюць працу пасля перарываў. Этап планавання „Знайомство з камандай“ працюе найэфектывней, калі яго розглядаць як мерыемую паверхню. Зберагачыце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі які-небудзь крок не выйшае, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаную лінію выканання.

1. Планавальнік — „Што нам следуе расследаваць?”

Для планавальніка: перш чым зменяць код, неабходна ясная візначэння этапаў, параметраў, адпаведальных за кожны крок і крэтарыяў завершэння. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяйце цій этапы як даговору межа параметрамі і перакананымі рэзультатамі. Дайце назвы элементам, візначыце крэтарыі успеху і не прымайце тыхню частковую завершэннасць. Заставіце людзкую апраўду на тых кроках, дзе вітрачаюцца грошы чы зміняюцыся даныя для працы. Компіляцыйныя налашчэнні не ўзроўнаўцяюцься з павнай завершэннасцю бізнес-процэсаў.

2. Дзеярнік — «Што кажу доказы?»

Для двух дзяржаўнікаў: перш чым зменіць код, неабходна візначыць стадыю, параметры вхідных даных, адпаведальнага за крок і крытэрыя завершэння. Аперацыі должны магчымае перзапускаты крок з вядомай точкі контролю, не спрабоўваючы з’ясаваць схованы стан. Запісваюць час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спадзеленыя сераўеры. Неабходна людская апрацоўка тых крокаў, якія выкорыстоўваюць грошы або зменяюць даны варабочай асяроддзя. Компіляцыйныя налаштаванні не ўзроўнююцца з повнасцю бізнес-процэсаў.

3. Автар — «Калі ёсць фінальны адказ?»

Для этапы «3 Writer What’s» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба захаваць паза кодам прыемлікі. Файлы серавэра, хранальнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць аўдытаваць, не чытаючы весь ланцуг задач. Прызначаць людскія апраўды для рэлейнаў, якіе выкарыстоўваюць грошы або зміняюць даны у працэйным рэжыме. Підключэння ў час складання не ёсць гарантыяй полнай адпаведнасці бізнес-процэсаў. Для этапы «3 Writer What’s» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Валідзіць маленькія, тэставаныя елементы працэсу замест большых скрыптов. Калі крок не выйшоў, прычына нехарактэрыстыкі павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцуг задач.

Як співпрацююць агенты: спяшаны стан і граф

Калі працуеце над этапам «Як співпрацююць агенты», спачатку запісайце умовы кантракту: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс дапамагае заліцвачыць змяны ў кодзе. Спрэчвайце гэты этап як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце крытэрыя успеху і не падзволяйце частковым завершэнням без паведамлення. Зробіце контрольны пункт пасля дорогіх крокаў. Програма не должна зноў ставіць плату за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы вузел.

question → subtasks → findings (one per subtask) → final_answer
START → Planner → Researcher ──┐
                    ↑          │ (more subtasks?)
                    └──────────┘
                               ↓ (all done)
                            Writer → END

Метафора для чытачаў, якія не ўжо тэхнічныя

Калі працуеце з метафорай А для не-тэхнічных сцэнарыяў, спачатку запісайце умовы: неабходныя даныя, сігнал успеху і тое, што выходзіць пад частым неудачам. Такі спіс контроля дапамагае заліцвачыць змяны ў кодзе адкрыта. Запісвайце час выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даныя пра косцы запобегаюць неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Зробіце перапаконтроль пасля дорогіх крокаў. Сістэма вярнення не павінна знову нарахоўваць косты за той самы вызов LLM, калі аператар перапрыяўляе працу да наступнага вузла.

Чаму гэтая архітэктура крашчая за одноразовые запыты

Калі працуеце над этапам «Чаму гэтая архітэктура крашчая», спачатку запісайце умовы взаўзейных абавесцяў: неабходныя даны, сігнал пра успех і тое, што выходзіць пад час частковага абякання. Такі спіс дапамагае заліцварыць пазнейшыя змены ў кодзе. Зберагаюце настройкі праза код аплікацыі. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць пераглядаць іх без неабяжнага чытання всей структуры. Зберагайце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных даных — частая прычына змарныяў рэсурсаў. Калі працуеце над этапам «Чаму гэтая архітэктура крашчая», спачатку запісайце умовы взаўзейных абавесцяў: неабходныя даны, сігнал пра успех і тое, што выходзіць пад час частковага абякання. Такі спіс дапамагае заліцварыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптаў. Калі якісь крок абякае, прычына абякання должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач.

Складная частка: як з’ясаваць, чыргуе ШЫ належным чынам? Нам трэба яго працаваць

Складная частка – гэта тое, як найкрашча працавае эта стадыя, калі яе розглядаць як вімерную плошчу. Зафіксавайце адна ідэальная транскрыпцыя, адзін прыклад неудачы і прыметку па вярнэнню да пачатковага стану пры расшырэнні масштаба. Разглядзайце гэту стадыю як кантракт межа вхіднымі данымі і паверынутымі выходамі. Дайце назвы артыфактам, задаць крытэрыі успеху і адмовіцеся ад тыхняй частковай працы без паведамлення. Храніце стан графа ў простым і тыпаванам фармаце. Вкладаныя структуры маскуюць інфармацію пра тое, які вузел запісаў кожны поле, і спакоююць працэс пасля перэрываў.

Вернасць

Этап адыклівасці працюе наяўней, калі яго спрыяваць як вімерную плошчу. Запісаўце адна «золатая» транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Запісвайце часы выканання і кост токенаў або запытаў па боку ад функцыйнаых рэзультатаў. Візуабельнасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавай версіі ў спяльныя сераўы. Храніце стан графа простым і з адзінаковым тыпам дадзеных. Вярсткаваныя блокі маскуюць інфармацыю пра тое, які вузел запісаў кожны поле, і спакшваюць продажчык працы пасля перарываў.

Адноснае значэнне адпаведзі

Этап адэкватнасці адказу працюе наяўнейша, калі яго спрыяваць як мерыемую паверхню. Зберагачыце адна ідэальная транскрыпцію, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштаб. Зберагачыце настройкі параду ад коду прыемлі. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функцый павінны знаходзіцца ў адном месцы, куды аператары можаць аўдытаваць без неабяжнага чытання всіх дадзеных. Зберагачыце стан графа ў простам і тыпаванам фармаце. Вярнутыя блокі маскуюць інфармацыю пра тое, які вузел запісаў які поле, і спакоююць працэс пасля перарываў. Этап адэкватнасці адказу працюе наяўнейша, калі яго спрыяваць як мерыемую паверхню. Зберагачыце адна ідэальная транскрыпція, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштаб. Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцоўкі дзеянняў.

Набор дадзеных для ацэнкі

У стадыі набора даных для аналізу неабяцкова паказваць вхідныя даны, адпаведнага адпаведальніка за этап і крэтыры завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск этапу з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце гэтай этапы як даговору межа вхіднымі данымі і паверканымі выходнымі рэзультатамі. Даўце назвы артыфактам, паказваць крэтыры успеху і адмовіцеся ад тыхнага частковага завершэння без паведамлення. Заставіце людзкую апраўду для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны для працы. Компіляцыйны падключэння не ўзроўнаўваецца з павнайсткамасцю бізнес-процэсаў.

Бар’еры якосці: Gitlab CI/CD для агентаў

Для стадзій Gitlab, які адмініструюцья пры контроле якосцу, паказваюць неабяжна інфармацыя, адміністратар шагу і крэтыры завершэння перад змянайом коду. Аперацыёныя працавнікі должны магчымае перадзначыць шаг з вядомай точкі контролю, не падозрываючы схованы стан. Запісваюць час выканання і кост токена або запыту праз функцыйнальныя рэзултаты. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спяльнаныя сераўеры. Апраўленне людзьмі трэба апыляцыяў, якія вітрачаюць грошы або зменяюць даныя ў працоўный сервіс. Кампіляцыйныя налашчэння не ўзроўнаўцуюцца з пачатковым станом бізнесу.

Стадзіі пайплайна

Для стадзея пайплайна неабходна ясная прызначэння вхідных дадзеных, адпаведальнага за даны стэпу і крэтарыяў завершэння працы перад зменым коду. Аператары должны магчымае перзапуск стэпу з вядомай точкі контролю, не прабуючы вычысляць захаваны стан. Конфігурацыю трэба знаходзіць за межамі коду прыемленае. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый належаць у аднам месца, якое аператары можаць пераглядаць, не чытаяўшы весь пайплайн. Пры выкананні дзеяння, якія выкалічваюць грошы або зменяюць даны ў працэйнай сістэме, неабходна людская апраўда. Прыемленае пад час компіляцыі паўзы не ёсць абавесным для ведамых бізнес-процэсаў.

Калі запускаюцца пайплайны

У стадыі «Календар збіркі» неабяцкова паказваць вхідныя даны, адміністратара крока і крэтыяры завершэння пры перадзеіснаванні коду. Аператары павінны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Неабяцкова задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе пераказы і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Неабяцкова застаўляць людзкую затверджэнняе для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Прыўязка на час компілявання не ёсць падтверджэннем повнасці бізнес-функцый.

Блакучыя з’еднанні

У стадыі злучэнняя блакітання неабходна прадзеявленне вхідных дадзенняў, адпаведальнага за крок і крэатарыяў выходу пры перадзмене коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшаў, прычына нехаспекі должна вказваць на адну адпаведальнасць, а не на заплутаны працэс. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы або зменяюць даныя ў працэсе. Компіляцыйныя налашчэння не ўзначаюць павнае адпрацоўванне бізнес-процэса.

Візуабельнасць: адгледка ўнутры „чорнай скрынкі“

Для забэрагання можлівасці ўваходжэння ў сутнасьць этапа, перад змянай коду неабходна візначыць вхідныя даны, адпаведальнага за выкананне крока і крытэрыя завершэння. Аператары должны магчымае перайсці на выкананне крока з вядомага пункта контролю, не спрабоўваючы здогадвацца пра схованы стан. Спрэчвайце гэты этап як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, візначыце крытэрыя успеху і не падтрымайце тыхню частковую завершэннасьць. Заставіце людзкую апраўдку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны для працы сістэмы. Працэс складання коду не ёсць адпаведнікам пачатковай завершэннасьці бізнес-працэса.

Што бы вы сказалі «нетэхнічнаму» другу

Для этапы «Што сказаць» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісваць час выканання і кост токена або запыту праза функцыйнальныя рэзултаты. Відразлівасць костаў з самага пачатку запобегае неспакою, калі траекторыя пераходзіць з дэмаверсіі ў спакульнаныя асяроддзя. Праймкаваць людзкія апраўды для тых крокаў, якія вітрачаюць грошы або зменяюць даны ў працэсе. Працэс складання коду не ўзначае повнайсткі рэалізавання бізнес-функцыйяў.

Што сказаць тэхнічнаму чытальніку

Для этапы «Што вы скажаце» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры зміне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Конфігурацыю трэба заставіць праза код аплікацыі. Файлы сераўнавання, храненні секрэтных даных і флагі функцый належыць у аднам месца, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг. Прызначайце людскія апраўды для рэлей, якія вітрачаюць грошы або зменяюць даны у працэйнай сістэме. Падключэння ў час компілявання не ёсць прамаравамым паказатэлем полнайасці бізнес-процэсаў. Для этапы «Што вы скажаце» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыяры завершэння пры зміне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Валіце маленькія, тэставальныя елементы пра велікія скрыпты. Калі крок не выйшаў, прычына нехасабносты должна вказываць на адну адпаведальнасць, а не на заплутаны ланцуг працэсаў.

Заключныя меркіі

Калі працюеце на стадзіі заключных меркіў, спачатку запісайце контракт: неабходныя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі спіс контролю дапамагае залічваць пазнейшыя змены ў кодзе чыста. Спрыятліваце гэтую стадзію як контракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце правіла пераканання успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце перапытку пасля дорогіх крокаў. Програма не должна занова ставіць плату за той самы вызыв LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел.

Спялунакі

Калі працюеце на стадыі «Спялунакі», спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконтроўкі дапамагае заліцвачваць пазнейшыя змены коду. Запісвайце час выканання і кост токена або запыту праза функцыйнальныя рэзултаты. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльнаныя сераўры. Зробіце пераконтроўку пасля дорогіх крокаў. Сістэма вярнення не павінна знову нараховваць кост той самай вызову LLM, калі аператар перапрыяўляе працу да наступнага вузла.

Чэк-ліст для эксплуатацыі

На стадыі чэк-ліста для эксплуатацыі, перш чым зменяць код, абмовіцеся пра даныя, адпаведальныя за крок і крытэрыя завершэння. Аператары павінны магчымаць перзапуск крока з вядомай точкі пераконтроўкі, не падозруючы пра схованы стан.

Дасведчыце як «шчаслівы» шлях, так і шлях вяснавання. Перапрыяўленні, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Неабяжна людская празначэнне для тых элементаў, якія выкарыстоўваюць грошы або зменяюць даныя праработкі. Працэс кампайлявання не ўзроўнаважваеся з повнасцю бізнес-процэсаў.

Напісце кароткі посібнік: як роцыяваць клучы, як спрачыслаць чэргу, як анулюваць пяршыя дадзеныя, якія былі прыйняты.