Практычныя прытамулкі: Інжынерыя контэкста агентавання: паследоўны вядар для машын.
Практычныя прытамулкі: Інжынерыя контэкста агентавання: паследоўны вядар для машын: кантракты, пераказы і слоты для коду для команд, якія викорыстоўваюць гэты патерн.
Наступныя прытамлівкі паказваюць практычны шлях для розумэння кнігі «Agentic Context Engineering: A Step-by-Step Guide for Machine Learning Engineers». Акцэнт ставіцца на контракты, пераканальванняя і мескі для коду, а не на мотывацыйныя аспекты. Калі працуеце над этапам разгляду, спачатку запісайце контракт: неабяжлівыя даннэ, сігнал успеху і тое, што выканаецца у разы ўзельнага нявыпалення. Такі чэрнік дапамагае заліцца адкрытым пад час пазнейшых змен у кодзе. Документавайце як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не пазнейшым дапрацоўкам.
1. Пачніце з фундаментальнага пытання: Чым ёсць контэкст?
Этап «Пачатак з 1» работае найкраща, калі яго спрыяваць як мерыемую паверхню. Запісаце адна «золатая» транскрыпцыя, адин прыклад неудачы і прыметку па вярнэнні да пачатковага стану, прычым расшырюючы сферу дзеяння. Вольба яшчэ лепшая за вялікія, трудныя да тэставання скрыпты — маленькія, тэстабельныя елементы. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Дзеянне графа павінна быць простай і типаванай. Вкладзеныя структуры маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць працу пасля перарываў.
Context → LLM → Output
User question
+
Model configuration
+
Recent evaluation metrics
+
Training dataset statistics
+
Recent production images
+
Deployment history
+
Data distribution statistics
+
Recent code changes
↓
LLM
↓
Diagnosis
2. Инжыніерыя запросаў — гэта не інжыніерыя контексту
Этап інжыніерыя запросаў працюе наякша, калі яго спрыяваць як мерыемую плошчу. Запісаўце адны ідеальны прыклад, адну справу з неудачай і прыміткі па поверненню да пачатковага стану пры розшырэнні масштаба. Спрыявайце этапу як кантракту межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння задачы. Задзейце бюджет токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэманстрацыям ператварыцца на неспакоючыя рахункі.
Інжыніерыя запросаў
Этап інжыніроўкі запроса працюе наяўней, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідеальны прыклад, адзін прыклад неудачы і прыметку па адвярненню роботы перш чым расширваць масштабы. Запісвайце час выканання і вартасць токенав або запытак паўступаючы да функцыйнальных рэзультатаў. Відразлівае відображэння вартасцей запобегае неспакою з боку расчыткаў, калі працэс пераходзіць з дамавайна на спяльныя сэрвісы. Задаць бюджет на токены на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дамавайнам ператварыцца на неспакойныя рахункі. Этап інжыніроўкі запроса працюе наяўней, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідеальны прыклад, адзін прыклад неудачы і прыметку па адвярненню роботы перш чым расширваць масштабы. Дакументавайце як успішны, так і варыянт вяселення працэсу. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
You are an expert ML engineer.
Analyze the following anomaly detection results
and identify the most likely causes of the performance drop.
Consider:
1. Data distribution shift
2. Model degradation
3. Label quality
4. Hardware changes
5. Preprocessing changes
Інжыніерыя контэкста
На стадзіі інжыніерыя контэкста неабходна практычная прызначэння вхідных дадзеных, адміністратара данаго крока і крэтэрыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перадзначыць выкарыстоўванне крока на адным вядомым пункце контролю, не спрабоўваючы з’ясаваць схованы стан системы. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выканаецца, прычына неудачы должна вказываць на адну конкрэтную прычыну, а не на заплутаную структуру процеса. Неабходна людская апраўда для тых крокаў, якія ведуць да выдаткаў грошаў або зменыння продакцыйных дадзеных. Компіляцыйная наладка не ўсега равная абдуманасці бізнес-процэсаў.
┌──────────────┐
│ User Request │
└──────┬───────┘
↓
┌──────────────┐
│ Agent State │
└──────┬───────┘
↓
┌────────────┴────────────┐
↓ ↓
Retrieval Tools
↓ ↓
Documentation Metrics / DB
└────────────┬────────────┘
↓
┌──────────────┐
│ Context │
└──────┬───────┘
↓
LLM
↓
Action
3. Чаму контэкст стае складным для агентаў
У стадзіі «3 Чаму контэкст стае складным» неабходна практычна адзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымае запускіць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяйце гэтай стадзіі як даговору межа вхіднымі данымі і падтвердзенымі выходнымі рэзультатамі. Даўце назвы артыфактам, практычна адзначыце пераканальнія критэрыя і адмовіцеся ад тыхнага частковага завершэння без паведамлення. Заставіце людзкую апраўду на тых кроках, дзе відбываецца выдатак грошэй або зміняюцыся даны для працы. Компіляцыйныя налашчэння не ўзроўнаўцуюцься з павнайсткамасным выкаананням задачы.
User → LLM → Answer
User
↓
Agent
↓
Search documentation
↓
Read results
↓
Call database
↓
Analyze data
↓
Call another tool
↓
Observe result
↓
Modify hypothesis
↓
Search again
↓
Take action
↓
Final answer
4. Чатыры фундаментальныя проблемы контэксту
Для стадіі „Чатырнаццае фундаментальных прынцыпаў“ неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за выкананне крока і крэтыяры завершэння. Аператары должны магчымае перайсці на выкананне крока з вядомага пункта контролю, не спрабоўваючы здогадвацца пра схованы стан. Запісвайце час выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным расчыткам, калі процес пераходзіць з дэмовай среды ў спяльнаныя сераўеры. Заставіце людзкую апрацоўку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Компіляцыйныя налаштаванні не ўзроўнююцца з повнасцю функцыоналу продукту. Для стадіі „Чатырнаццае фундаментальных прынцыпаў“ неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за выкананне крока і крэтыяры завершэння. Аператары должны магчымае перайсці на выкананне крока з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як „шчаслівы“ шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных запытаў є частью продукту, а не елементамі, якія дадаюцца пазней.
Проблема 1: Нямае контексту
Калі працюйце над стадзіяй «Нямае контексту» пры рашэнні Проблемы 1, спачатку запісайце умовы кантракту: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі список пераканае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну адпаведальнасць, а не на заплутаны ланцужок задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў платіць за той самы вызов LLM, калі аператар праканае выконанне наступнага вузла.
Agent:
"The model may be suffering from data drift."
Reality:
The model was recently changed from ViT-B to ViT-L.
Проблема 2: Неадакватны контэкст
Калі працуеце над этапам «Неадакватны контэкст» пры рашэнні Проблемы 2, спачатку запісайце кантракт: неабяжлівыя даннэ, сигнал успеху і тое, што выканаецца пад частым нявыпаленнем. Такі список пераканаецца, каб пазнейшыя змены коду былі чыстымі. Спрыятлівайце гэты этап як кантракт межу вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыкулам, задаце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце перакананне пасля дорогіх крокаў. Система вярнення не павінна зноў выкарыстоваць той самы вызов LLM, калі аператар праканаецца з пазнейшым вузлам.
Query
↓
Vector database
↓
50 documents
↓
LLM
Проблема 3: Застарэлы контекст
Калі працуеце над стадзіяй «Застарэлы контекст» проблемы 3, спачатку запісайце умовы викорыстання: неабяжлівыя даннэ, сигнал успеху і тое, што выканаецца у разы ўзельнага нявыполнення. Такі чарт дапамагае заліцвачыць пазнейшыя змены ў кодзе. Запісвайце час выканання і вартасьць токена або запытку пад функцыйнальнымі рэзултатамі. Відразы вартасці з самага пачатку запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Зробіце контрольную пазнаку пасля дорогіх крокаў. Система вярнення не павінна зноў нарахоўваць кашты за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы ўзел. Калі працуеце над стадзіяй «Застарэлы контекст» проблемы 3, спачатку запісайце умовы викорыстання: неабяжлівыя даннэ, сигнал успеху і тое, што выканаецца у разы ўзельнага нявыполнення. Такі чарт дапамагае заліцвачыць пазнейшыя змены ў кодзе. Аддокументавайце як «шчаслівы» шлях, так і шлях вярнення. Прабулі выканання, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не пазнейшым дапрацоўкам.
Current production model:
anomaly-detector-v4
Old documentation:
anomaly-detector-v2
Проблема 4: Недастрыякаваны контэкст
Этап проблемы 4 з недастрыякаваным контэкстам работае наўзяй, калі яго расследваць як вимерную паверхню. Зафіксавайце адна ідеальная транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштаб. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адповядальнасць, а не на заплутаны ланцюг задач. Рэзервавайце стан графа ў простам і типізаваным формате. Вярнутыя структуры маскуюць інфармацію пра тое, який вузел запісаў канкрэтны поле, і спакойваюць працу пасля перерываў.
Accuracy: 0.91
Accuracy: 0.87
Accuracy: 0.84
Model: anomaly-detector-v4
Dataset: Production
Metric: Image-level AUROC
Previous week: 0.91
Current week: 0.84
Change: -7.7 percentage pointsDeployment:
- Version: v4.2
- Date: 2026-08-12
- Preprocessing: resize=336
5. Корыстная псіхічная модель: Кантэкст як канал дадзейнаў
Этап 5 «Корыстная псіхічная модель» працуе наяўней, калі яго спрыяваць як вимерную паверхню. Запісаўце адна «золатая» транскрыпцыю, адзін прыклад неудачы і прыметку па адвярненню перад расшырэнням масштаба. Спрыявайце гэты этап як кантракт межа вхіднымі дадзеннямі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння. Задзеце бюджет токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгія ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.
Raw Data
↓
Cleaning
↓
Feature Extraction
↓
Transformation
↓
Model
↓
Prediction
Raw Information
↓
Retrieval
↓
Filtering
↓
Ranking
↓
Transformation
↓
Compression
↓
Context Assembly
↓
LLM
↓
Action
↓
New Observation
↓
Context Update
6. Крок 1 — Адакцыя целі агента
Этап 6 Крок 1 Адакцыя працуе наўзям лепш, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідеальны прымер, адзін кейс неудачы і запіс пра вярненне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і кост токеноў або запытаў па боку функцыйнаых рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продовжэнне роботы пасля перарываў. Этап 6 Крок 1 Адакцыя працуе наўзям лепш, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідеальны прымер, адзін кейс неудачы і запіс пра вярненне да пачатковага стану перад расшырэнням масштаба. Дакументавайце і шчаслівы шлях, і шлях вяснавання разам. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
Objective:
Diagnose production degradation
7. Крок 2 — Адактуванне джэраў контексту
У стадіі 7 Крок 2 Адактуванне неабходна прадзефінаваць вхідныя даны, адпаведальную особу за крок і крэтыры завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптаў. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы чы зміняюць даны ў працэсе виробніцтва. Компіляцыйныя налашчэння не є гарантыяй полнай адпаведальнасці за бізнес-процесы.
ML Debugging Agent
│
┌─────────────────┼─────────────────┐
↓ ↓ ↓
Metrics DB Git Repository Experiment DB
│ │ │
↓ ↓ ↓
Performance Code changes Experiments
│ │ │
└─────────────────┼─────────────────┘
↓
Context
Дакументы
У стадії «Дакументы» неабяжна практычна вказаць інпуты, адміністратара крока та крэтыяры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце гэтай стадіі як даговору межа інпутамі та падтверджанымым выходным данным. Даўце назвы артыфактам, практычна вказаць пераканальнія крэтыяры та адмовіцеся ад бяспечнага частковага завершэння. Заставіце людзкую апраўду для тых крокаў, якія выкарыстоўваюць грошы чы зміняюць даныя у працэсе. Компіляцыйны падключэння не ўзроўнаўваецца з пачатковым станом бізнесу.
Базы дадзеных
Для стадіі баз даных неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыяры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск этапу з вядомай точкі контролю без неабяжнага вычыслення захаванога стану. Запісваць час выконання і кост токена або запыту разам з функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакоўным рахункам, калі процес пераходзіць з дэмовай среды ў спакоўныя серавісы. Апрацавваць людскую атрыбутацыю для тых крокоў, якія витрачаюць грошы або зменяюць даны ў працэсе. Компіляцыйныя налашчэння не ўзначаюць павнае адпрацоўвання продукту. Для стадіі баз даных неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыяры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск этапу з вядомай точкі контролю без неабяжнага вычыслення захаванога стану. Аддзеіснаваць дакументацыю як для стандартнага, так і для альтернатыўнага падходу. Практыкі перапрыбутку, людская атрыбутацыя і обробка некоректных паведамленняў є часткай продукту, а не дадатковым элементам пасля його стварэння.
Інструменты
Калі працюеце на стадыі «Інструменты», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына нявыпання павінна вказываць на адну адпаведальнасць, а не на заплутаны ланцужок задач. Запісвайце назву інструмента, хэш параметраў, час адклікання і рынак кожнага вызову. Без такога следу дэбагаванне агента губіць гадзіны.
Памяць
Калі працюеце на стадзіі памяці, спачатку запісайце контракт: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконтроўвае, каб пазнейшыя змены коду былі чыстымі. Спрыймайце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назву рэзультатам, задаце критэрыя успеху і не падтрымайце тых частковых выкаанняў, якія залишаюцца непазначанымі. Зробіце пераконтроль пасля дорогіх крокаў. Програма для продакцыі не должна зноў выкарыстоваць той самы вызов LLM, калі аператар праканае пазнейшы вузел.
Сераўак
Калі працуеце на стадыі Серавэсу, спачатку запішыце «контракт»: неабяжлівыя даннэ, сігнал успеху і тое, што выканаецца у разы частковага нявыпалення. Такі список пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Запісвайце час выканання і кост токена або запыту празаўсёды разам з функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакойным рахункам, калі працэўнае серавэса пераходзіць з дамовай версіі ў спяльныя серавэсы. Зробіце контрольную пазнаку пасля дорогіх крокаў. Функцыя вярнення не павінна зноў нарахоўваць кост той самай вызову LLM, калі аператар праканае пазнейшы вузел. Калі працуеце на стадыі Серавэсу, спачатку запішыце «контракт»: неабяжлівыя даннэ, сігнал успеху і тое, што выканаецца у разы частковага нявыпалення. Такі список пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Дакументавайце як «шчаслівы» шлях, так і шлях вярнення да нормальнасці. Пракананыя спробы, людзкія контрольныя пункты і обработка неканальных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
8. Крок 3 — Атрымайце толькі тое, што важна
Этап 3 «Адзяць пасохоў: Абранне» работае наякша, калі яго розглядаць як вымерную плошчу. Зафіксавайце адны ідеальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да поперадньяго стану прычым расшырэнню масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь пасох не выйшаў, прычына неудачы павінна вказываць на адную адповядальнасць, а не на заплутаны процес. Раздзеліце правілы часткавання інфармацыі ад правілаў яе абрання. Змена ў одных не павінна вымагаць перапісву іншых, калі зменяюцыся паказатэлі якосці.
Question
↓
Embedding
↓
Vector DB
↓
Top 10 chunks
↓
LLM
1. Find current deployment
2. Find previous deployment
3. Compare configurations
4. Retrieve associated code changes
5. Retrieve metric changes
9. Крок 4 — Адаптаванне пад структураваны контэкст
Этап 9, крок 4, працюе найкраща, калі яго розглядаюць як меравальную плошчу. Запісаўце адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштаб. Разглядзіце гэты этап як кантракт межа вхіднымі даннымі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тых падчасных завершэнняў, якія не зафіксаваны. Зберагачыце стан графа ў простам і типаванам формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакшуюць возз'яджанне пасля перерываў.
The deployment happened recently and the model seems
to have lower performance and there were some preprocessing
changes and the new version uses 336 resolution...
{
"model": "anomaly-detector-v4",
"deployment": "v4.2",
"deployment_date": "2026-08-12",
"image_size": 336,
"previous_image_size": 224,
"auroc_previous": 0.91,
"auroc_current": 0.84
}
image_size:
224 → 336
AUROC:
0.91 → 0.84
10. Крок 5 — Раздзелэнне фактов, гіпатэз і дзеянняў
Этап 10 Крок 5 «Раздзелэнне» працуе наяўней, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідеальны прымер, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і кост токеноў або запытаў па боку ад функцыйнаых рэзультатаў. Візуабельнасц костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Храніце стан графа простым і з узначаным типам. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продовжэнне роботы пасля перарываў. Этап 10 Крок 5 «Раздзелэнне» працуе наяўней, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідеальны прымер, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Дакументавайце як «вялікі успех», так і шлях вярнэння да нормальнага стану разам. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
Факты
У стадії «Факты» неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтыры завершэння пры перадзеўці коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехарактэрыстыкі павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны процес. Неабяжна ўключыць людзкія апраўленні для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе виробніцтва. Працэс кампілявання не є гарантыяй полнай адпрацоўкі бізнес-процэса.
Current AUROC = 0.84
Previous AUROC = 0.91
Image resolution changed from 224 to 336
Гіпатэзы
На стадыі гіпатэзаў неабходна праканалічыць вхідныя данні, адпаведальную особу за выкананне крока і крэтыніяты для завершэння пры перадзначэнні коду. Аперацыйныя працавнікі должны магчыма ўвайсці крок з вядомага пункту контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце цій стадыі як даговору межаў вхідных і пераканалічаных выходных дадзенняў. Даць назвы артыфактам, праканалічыць крэтыніяты успеху і не прымаць тыхняе часткова завершанне. Заставіць людзкую апраўду для тых крокаў, якія выкарыстоўваюць грошы або зміняюць данні ў працэсе вырабоцтва. Компіляцыйныя налашчэння не ўзроўнаваны з абсягам выканання бізнес-задач.
Hypothesis:
The resolution change may have caused distribution mismatch.
Дзеянні
У стадыі «Дзеянні» неабходна прадзеява вхідных дадзеных, адначальніка крока і крэтарыяў выходу пры перадзеяве коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выконання і кост токенаў або запытаў разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмовай среды ў спакульную. Апраўляйце людзкую атстаўку для тых крокаў, якія выкарыстоўваюць грошы або зменяюць данні ў працэсе. Компіляцыйныя налашчанні не ўзроўнуюцца з повнасцю бізнес-функцый. У стадыі «Дзеянні» неабходна прадзеява вхідных дадзеных, адначальніка крока і крэтарыяў выходу пры перадзеяве коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як «гарны» шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных запытаў є часткай продукту, а не пасляднім дапрацоўкам.
Action:
Evaluate v4.2 on the previous preprocessing configuration.
{
"facts": [
"AUROC dropped from 0.91 to 0.84",
"Image resolution changed from 224 to 336"
],
"hypotheses": [
{
"claim": "Resolution change caused degradation",
"confidence": 0.65
}
],
"actions_completed": [
"Compared deployment configurations"
],
"next_action": "Run controlled preprocessing experiment"
}
11. Крок 6 — Складзенне контэксту
Калі працюеце над стадзіяй складзення контэксту 11-го крока, спачатку запісайце умовы: неабяжлівыя даны, сигнал успеху і тое, што выканаецца у разы ўзельнага неякшчэна. Такі чарт дапамагае заліцвачыць змяны ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшае, прычына неякшчэна павінна вказваць на адну конкретную адпаведальнасць, а не на заплутаны ланцюг задач. Зробіце перапаковку пасля дорогіх крокаў. Програма не павінна зноў выклікаць той самы календар LLM, калі аператар прабуе зноў запрацаваць з пазнейшым узелам.
Investigation Summary
Objective:
Diagnose production AUROC degradation.Observed:
- AUROC decreased 0.91 → 0.84.
- Deployment v4.2 introduced 336px preprocessing.
- Model weights unchanged.
- Data volume unchanged.Ruled out:
- Model checkpoint change.
- Infrastructure failure.Current hypothesis:
Preprocessing change may be responsible.Next experiment:
Evaluate v4.2 using 224px preprocessing.
12. Крок 7 — Стварыце агенту рабочую памяць
Калі працуеце над крокам 7 з 12, спачатку запісайце угоду: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрыятлівае ставленне да гэтага крока як да угоды межу даннімі і паўнасталяванымі выходамі. Дайце назвы элементам, задаце критэрыя успеху і не падтрымвайце тыхню частковую роботу. Ствараце контрольныя пункты пасля дорогіх крокаў. Програма не должна зноў выкарыстоваць той самы вызов LLM, калі аператар праканае роботу з наступным вузлам.
Agent Memory
│
┌──────────────┼──────────────┐
↓ ↓ ↓
Working Memory Long-Term External
Memory Knowledge
│ │ │
↓ ↓ ↓
Current task Past decisions Documents
Current facts User preferences Databases
Hypotheses Past results APIs
Рабочая памяць
Калі працюеце над стадзіяй Рабочай памяці, спачатку запісаце кантракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Запісваце час выканання і кост токеноў або запытаў праза функцыйнаясць рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Ствараце контрольную точку пасля дорогіх крокаў. Функцыя вярнення не павінна зноў нарахоўваць косты той самай вызову LLM, калі аператар перапрыямляе роботу да пазнейшага вузла. Калі працюеце над стадзіяй Рабочай памяці, спачатку запісаце кантракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Аддокументаваце як «шчаслівы» шлях, так і шлях вярнення. Перапрыямленні, людзкія контрольныя пункты і обработка некоректных запытаў є часткай продукту, а не пазнейшым дапрацоўкам.
Даўгастроковая памяць
Этап дзейнаўскай памяці працуе наякша, калі яго спрыяваць як мерыемую структуру. Запісаўце адна «золатая» версія, адзін прыклад неудачы і запіс пра вярнэнне да поперадньага стану, прычаму расшырюваць масштабы не трэба. Валіце прывялікія, тыпаваныя елементы замест большых скрыптов. Калі якісьця крока не выйшла, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты роботы графа павінны быць простымі та з адначыям типамі дадзеных. Вкладаныя структуры дадзеных маскуюць інфармацыю пра тое, канферы які вузел запісаў кожны поле, і спакойваюць роботу пасля перарываў.
Зовнішняя інфармацыя
Этап знання з зовнішніх джэраў працюе найэфектывней, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны ідеальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі даннымі і падтвердзенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачыце стан графа ў простам і типаванам формате. Вкладзеныя блокі маскуюць, який вузел запісаў кожны поле, і спакшуюць продажчэнне працы пасля перарываў.
13. Крок 8 — Дазвольце агенту самам выбраць, які контэкст ёму патрэбен
Этап 13 Крока 8 Let працюе найкраща, калі яго розглядаць як вимерную паверхню. Зафіксавце адны ідеальны прымер, адну справу з бягамі та прыметку паўрання раней, чым расшырваце сферу дзеяння. Запісвайце часы выканання та кост токена або запиту пад функцыональнымі рэзультатамі. Відразлівае прадставленне костаў запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы. Храніце стан графа як плоскі та з адначытаемымі даннымі. Вярнутыя структуры дадзеных маскуюць, який вузел запісаў канкрэтны поле, і спакшваюць продыранне пасля перарываў. Этап 13 Крока 8 Let працюе найкраща, калі яго розглядаць як вимерную паверхню. Зафіксавце адны ідеальны прымер, адну справу з бягамі та прыметку паўрання раней, чым расшырваце сферу дзеяння. Дакументавайце як успішны, так і вярнучы паты. Перапрыбуткі, людзкія контрольныя пункты та обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
Question
↓
Retrieve
↓
LLM
↓
Answer
Question
↓
LLM
↓
"What information am I missing?"
↓
Retrieve
↓
Observe
↓
"What else do I need?"
↓
Tool call
↓
Observe
↓
Update hypothesis
↓
Retrieve again
↓
Answer
I need:
1. Current metrics
2. Historical metrics
3. Recent deployments
I see a preprocessing change.
I now need:
4. Code/config diff
5. Evaluation by preprocessing version
The degradation occurs only on the new preprocessing path.
Hypothesis strengthened.
14. Конкрэтны прыклад: Агент для дыягностыкі ML
У падзеўцы «14. Конкрэтны прыклад» неабходна праказаць вхідных дадзеных, адпаведальнага за выкананне крока і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перадзначыць выкананне крока з вядомай точкі контролю, не падозрываючы прыхованы стан системы. Лепш выбіраць маленькія, тэставаныя елементы заместо велікіх скрыптав. Калі крок не выкаанацца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач. Неабходна людская апраўда для тых крокаў, якія выкалічваюць грошы або зменяюць даны, выкарыстоўваные у працэсе виробніцтва. Компіляцыйныя налашчэнні не ўзроўнаўцяюцься з пачатковай цэласнасцю бізнес-процэсаў.
Image-level AUROC
Monday: 0.94
Tuesday: 0.93
Wednesday: 0.92
Thursday: 0.85
Пачатковы контэкст
У стадіўцы пачатковага контэксту неабходна з’явіць вхідныя даны, адпаведальнага за крок і крэтарыя завершэння прычыні змены коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не прабуючы спадарожваць схованы стан. Спрыяйце гэтай стадіўцы як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, з’явіць перакананні ў успеху і адмовіцеся ад тыхнай частковай рэалізацыі без паведамлення. Забезпечыце людзкія парады на тых кроках, дзе витрачаюцца грошы або зміняюцыся даны для працы. Компіляцыйныя налашчэння не ўзроўнаўцуюцься з пачатковай цэласнасцю бізнес-процэсу.
Task:
Diagnose the AUROC degradation.
Current metric:
0.85Previous metric:
0.92
Выклік інструмента 1: система развяроžэння
Для стадіі развяроžэння выкліку інструмента 1 неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не спрабоўваючы з’ясаваць схованы стан. Запісваюць час выконання і вартасць токена або запыту паляглі разам з функцыйнальнымі рэзультатамі. Відразлівае прадставлення вартасцей запобегае неспакоўным рахункам, калі процес пераходзіць з дэмовай среды ў спакульную. Автентыфікуецца пры в’язку, а паўторна автарызація выканае на роўні дадзенняў. Сам токен-носіцель не є межай арендаванага прыемку.
Current model:
v4.2
Previous model:
v4.1
Для стадіі развяроцькі «Выклік інструмента 1» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі павінны магчымае перадзеі крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія перакрыцці і обробка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
Выклік інструмента 2: рэжыстр модэляў
Працуючы над стадіяй модэляў «Выклік інструмента 2», спачатку запісайце контракт: неабяжныя вхідныя даны, сігнал успеху і тое, што выходзіць праз частковыя аберанні. Такі список контролю дапамагае заліцьварыць пазнейшыя змены коду. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, аберанне павінна вказываць на адную адпаведальнасць, а не на заплутаны процес. Зберагаюце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак є распашчытным факторам затрацы ресурсаў.
Weights:
v4.1 == v4.2
Выклік інструмента 3: служба налаштавання
Калі працюеце над стадзіяй налаштавання выкліку інструмента 3, спачатку запісайце угоду: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрэтывайце гэту стадзію як угоду межа данымі і перакананымі выходамі. Дайце назвы элементам, задаце перакананні на успех і не падзэлвайце задачу часткова без адпаведных падтверджэнняў. Зявляйце логі з назвай інструмента, хэшам параметраў, часам адкліку і рынку кожнага выкліку. Без такога следу дэбаггінгавы агент траціць гадзіны на безрезультатныя спробы.
Resize:
224 → 336
Normalization:
unchanged
Выклік інструмента 4: служба адзынакоўвання
Калі працуеце над стадзіяй адзынакоўвання для Выкліку інструмента 4, спачатку запісайце угоду: неабяжныя даны, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список контроля дапамагае залишыцца чыстым пад час пазнейшых змян у кодзе. Запісвайце часы выконання і кост токена або запиту па боку функцыональных рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўысы. Запісвайце назву інструмента, хэш аргументаў, час затрымкі і рэзультат кожнага выкліку. Без такога лёгкага следу дэбагаванне агента займае гадзіны.
v4.2 + 224px:
AUROC = 0.93
v4.2 + 336px:
AUROC = 0.85
Калі працюеце над стадзіяй адыяканалення вызову інструмента №4, спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Дакументавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некоректных паведамленняў ёсцю частью продукту, а не пазнейшым дапрацоўкам.
Finding:
The performance degradation is strongly associated with
the preprocessing change from 224px to 336px.
Evidence:
- Model weights unchanged.
- Deployment introduced 336px preprocessing.
- 224px evaluation restores AUROC to 0.93.
- 336px evaluation produces AUROC of 0.85.Recommendation:
Roll back preprocessing to 224px while investigating
why the new preprocessing configuration causes degradation.
15. Інжыніерыя контэксту і RAG
Этап 15 «Інжыніерыя контэксту» працюе наўзды калі яго розглядаць як вимерлую структуру. Перш чым расширваць масштаб, зафіксавайце адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану. Валіце маленькія, тэставальныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы должна адносіцца да конкрэтнай адпаведальнасці, а не да заплутанага ланцуга задач. Раздзеліце правілы фрагментавання інфармацыі ад правіл яе выкарыстоўвання. Змена адных не должна прымусваць перапісванне іншых, калі змянююцца паказнікі якосці.
Query
↓
Retriever
↓
Documents
↓
LLM
Goal
↓
Agent
↓
Determine missing context
↓
Retrieve / Query / Execute
↓
Evaluate results
↓
Update state
↓
Retrieve again
↓
Compress
↓
Assemble context
↓
LLM
↓
Action
16. Інжыніерыя контэкста падобнае да інжыніерыі фічар
Этап 16 «Інжыніерыя контэкста» працюе найкраща, калі яго розглядаць як вимерную плошчу. Зафіксавце адны ідеальны прыклад, адну справу з бягам і прыметку пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Разглядзайце гэты этап як кантракт межа вхіднымі даннымі і пераканаленымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакойваюць працу пасля перарываў.
Raw data
↓
Feature engineering
↓
Feature selection
↓
Model
↓
Prediction
Raw information
↓
Context retrieval
↓
Context filtering
↓
Context transformation
↓
Context selection
↓
LLM
↓
Decision
17. Ацэнка якосці контексту
Bad retrieval
↓
Bad context
↓
Bad reasoning
↓
Bad action
↓
Bad answer
Якасць адзыскання
Якасць контэксту
Якасць разумовых выводаў
Якасць дзеяння
Успех завершальнага задання
Retrieval
↓
Context
↓
Reasoning
↓
Action
↓
Outcome
18. Частыя памылкі
Памылка 1: «Проста падаць усё ў запит»
Памылка 2: Адносаванне вектарнага пошуку да ўсіх рашэнняў
Памылка 3: Зберагчыць бесканечную історыю дыялогу
Recent details
+
Compressed historical state
+
Relevant retrieved information
Памялка 4: Спалучэнне фактов з прыказкамі
Памялка 5: Ігнараванне часовага контэксту
timestamp
version
deployment
experiment
data snapshot
environment
19. Практычная архітектура для вашага першага агента
┌──────────────┐
│ User │
└──────┬───────┘
↓
┌──────────────┐
│ Agent │
└──────┬───────┘
↓
┌─────────────────┐
│ Context Manager │
└───────┬─────────┘
↓
┌────────────┼────────────┐
↓ ↓ ↓
Search Database Tools
│ │ │
└────────────┼────────────┘
↓
Context Assembly
↓
LLM
↓
Action
↓
Observation
↓
Context Update
20. Куды працюе інжыніерыя контэксту агентав
LLM + Tools
LLM
+
Memory
+
Retrieval
+
State
+
Tools
+
Environment
+
Context Management
Заключэнне
Prompt Engineering
↓
RAG
↓
Memory
↓
Tool Use
↓
State Management
↓
Agentic Context Engineering