Інжынерыя контэкста агентавання: паследоўны вядар для машын.
Інжыніерыя контэксту для агентаў для інжыніераў МЛ: па шагах — чаму толькі інжыніерыя запытаў недастаткова, і як састаўляць тое, што бачыць LLM для RAG і агентаў.
Крыніцы: Agentic Context Engineering: A Step-by-Step Guide for Machine Learning Engineers
Наступныя прытамлівкі паказваюць практычны шлях для розумэння кнігі «Agentic Context Engineering: A Step-by-Step Guide for Machine Learning Engineers». Акцэнт ставіцца на контракты, пераканальванняя і мескі для коду, а не на мотывацыйныя аспекты. Калі працуеце над этапам разгляду, спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы ўзельнага нявыпалення. Такі чэрнік дапамагае заліцца адкрытым пад час пазнейшых змен у кодзе. Документавайце як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
1. Пачніце з фундаментальнага пытання: Чым ёсць кантэкст?
Этап «Пачатак з 1» работае найкрашча, калі яго спрыяваць як мерыемую паверхню. Запісаце адна «золатая» транскрыпцыя, адын прыклад неудачы і прыметку па вярнэнні да пачатковага стану, прычым расшыруючы сферу дзеяння. Вольба яшчэ лепшая за вялікія, трудныя да тэставання скрыпты — маленькія, тэстабельныя елементы. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Дзеянне графа павінна быць простай і тыпаванай. Вкладзеныя структуры маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакоююць працу пасля перарываў.
Context → LLM → Output
User question
+
Model configuration
+
Recent evaluation metrics
+
Training dataset statistics
+
Recent production images
+
Deployment history
+
Data distribution statistics
+
Recent code changes
↓
LLM
↓
Diagnosis
2. Інжыніерыя запросаў — гэта не інжыніерыя кантэксту
Этап інжыніерыя запросаў працюе наякша, калі яго спрыяваць як мерыемую плошчу. Запісаўце адны ідэальны прыклад, адну справу з неудачай і прыміткі па поверненню да пачатковага стану пры розшырэнні масштаба. Спрыявайце этапу як кантракту межа вхіднымі дадзеннямі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння задачы. Задзейце бюджэт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэманстрацыям ператварыцца на неспакоючыя рахункі.
Інжыніерыя запросаў
Этап інжыніроўкі запроса працюе наяўней, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і прыметку па адвярненню працы перш чым расшырваць масштабы. Запісвайце час выканання і вартасць токенав або запытак паўступаючы да функцыйнальных рэзультатаў. Відразлівае відображэння вартасцей запобегае неспакою з боку расчыткаў, калі працэс пераходзіць з дамавайна на спяльныя сэрвісы. Задаць бюджэт на токены на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дамавайнам ператварыцца на неспакойныя рахункі. Этап інжыніроўкі запроса працюе наяўней, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і прыметку па адвярненню працы перш чым расшырваць масштабы. Дакументавайце як успішны, так і варыянт вяселення працэсу. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
You are an expert ML engineer.
Analyze the following anomaly detection results
and identify the most likely causes of the performance drop.
Consider:
1. Data distribution shift
2. Model degradation
3. Label quality
4. Hardware changes
5. Preprocessing changes
Інжыніерыя кантэкста
На стадзіі інжыніерыя кантэкста неабходна практычная прызначэння вхідных дадзеных, адміністратара данаго крока і крэтэрыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перадзначыць выкарыстоўванне крока на адным вядомым пункце контролю, не спрабоўваючы з’ясаваць схованы стан сістэмы. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выканаецца, прычына неудачы должна вказываць на адну конкрэтную прычыну, а не на заплутаную структуру працэса. Неабходна людская апраўда для тых крокаў, якія ведуць да выдаткаў грошаў або зменыння продакцыйных дадзеных. Компіляцыйная наладка не ўсега равная абдуманасці бізнес-процэсаў.
┌──────────────┐
│ User Request │
└──────┬───────┘
↓
┌──────────────┐
│ Agent State │
└──────┬───────┘
↓
┌────────────┴────────────┐
↓ ↓
Retrieval Tools
↓ ↓
Documentation Metrics / DB
└────────────┬────────────┘
↓
┌──────────────┐
│ Context │
└──────┬───────┘
↓
LLM
↓
Action
3. Чаму кантэкст стае складным для агентаў
У стадзіі «3 Чаму кантэкст стае складным» неабходна практычна адзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымае запускіць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяйце гэтай стадзіі як даговору межа вхіднымі данымі і падтвердзенымі выходнымі рэзультатамі. Даўце назвы артыфактам, практычна адзначыце пераканальнія крытэрыя і адмовіцеся ад тыхнага частковага завершэння без паведамлення. Заставіце людзкую апраўду на тых кроках, дзе відбываецца выдатак грошэй або зміняюцыся даны для працы. Компіляцыйныя налашчэння не ўзроўнаўцуюцься з павнайсткамасным выкаананням задачы.
User → LLM → Answer
User
↓
Agent
↓
Search documentation
↓
Read results
↓
Call database
↓
Analyze data
↓
Call another tool
↓
Observe result
↓
Modify hypothesis
↓
Search again
↓
Take action
↓
Final answer
4. Чатыры фундаментальныя проблемы кантэксту
Для этапы „Чатырнаццае фундаментальных прынцыпаў“ неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за выкананне крока і крэтыяры завершэння. Аператары должны магчымае перайсці на выкананне крока з вядомага пункта контролю, не спрабоўваючы здогадвацца пра схованы стан. Запісвайце час выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным расчыткам, калі працэс пераходзіць з дэмовай асяроддзя ў спяльнаныя сераўеры. Заставіце людзкую апрацоўку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Компіляцыйныя налаштаванні не ўзроўнююцца з повнасцю функцыоналу продукту. Для этапы „Чатырнаццае фундаментальных прынцыпаў“ неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за выкананне крока і крэтыяры завершэння. Аператары должны магчымае перайсці на выкананне крока з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як „шчаслівы“ шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не елементамі, якія дадаюцца пазней.
Проблема 1: Нямае кантэксту
Калі працюйце над стадзіяй «Нямае кантэксту» пры рашэнні Проблемы 1, спачатку запісайце умовы кантракту: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі спіс пераканае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну адпаведальнасць, а не на заплутаны ланцужок задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў плаціць за той самы вызов LLM, калі аператар праканае выконанне наступнага вузла.
Agent:
"The model may be suffering from data drift."
Reality:
The model was recently changed from ViT-B to ViT-L.
Проблема 2: Неадакватны кантэкст
Калі працуеце над этапам «Неадакватны кантэкст» пры рашэнні Проблемы 2, спачатку запісайце кантракт: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца пад частым нявыпаленнем. Такі спіс пераканаецца, каб пазнейшыя змены коду былі чыстымі. Спрыятлівайце гэты этап як кантракт межу вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыкулам, задаце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце перакананне пасля дорогіх крокаў. Сістэма вярнення не павінна зноў выкарыстоваць той самы вызов LLM, калі аператар праканаецца з пазнейшым вузлам.
Query
↓
Vector database
↓
50 documents
↓
LLM
Проблема 3: Застарэлы кантэкст
Калі працуеце над стадзіяй «Застарэлы кантэкст» проблемы 3, спачатку запісайце умовы вікорыстання: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы ўзельнага нявыполнення. Такі чарт дапамагае заліцвачыць пазнейшыя змены ў кодзе. Запісвайце час выканання і вартасьць токена або запытку пад функцыйнальнымі рэзултатамі. Відразы вартасці з самага пачатку запобегае неспакою, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Зробіце контрольную пазнаку пасля дорогіх крокаў. Сістэма вярнення не павінна зноў нарахоўваць кашты за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы ўзел. Калі працуеце над стадзіяй «Застарэлы кантэкст» проблемы 3, спачатку запісайце умовы вікорыстання: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы ўзельнага нявыполнення. Такі чарт дапамагае заліцвачыць пазнейшыя змены ў кодзе. Аддокументавайце як «шчаслівы» шлях, так і шлях вярнення. Прабулі выканання, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
Current production model:
anomaly-detector-v4
Old documentation:
anomaly-detector-v2
Проблема 4: Недастрыякаваны кантэкст
Этап проблемы 4 з недастрыякаваным кантэкстам работае наўзяй, калі яго расследваць як вімерную паверхню. Зафіксавайце адна ідэальная транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштаб. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адповядальнасць, а не на заплутаны ланцюг задач. Рэзервавайце стан графа ў простам і тыпізаваным фармаце. Вярнутыя структуры маскуюць інфармацію пра тое, які вузел запісаў канкрэтны поле, і спакойваюць працу пасля перэрываў.
Accuracy: 0.91
Accuracy: 0.87
Accuracy: 0.84
Model: anomaly-detector-v4
Dataset: Production
Metric: Image-level AUROC
Previous week: 0.91
Current week: 0.84
Change: -7.7 percentage pointsDeployment:
- Version: v4.2
- Date: 2026-08-12
- Preprocessing: resize=336
5. Корыстная псіхічная мадэль: Кантэкст як канал дадзейнаў
Этап 5 «Корыстная псіхічная мадэль» працуе наяўней, калі яго спрыяваць як вімерную паверхню. Запісаўце адна «золатая» транскрыпцыю, адзін прыклад неудачы і прыметку па адвярненню перад расшырэнням масштаба. Спрыявайце гэты этап як кантракт межа вхіднымі дадзеннямі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння. Задзеце бюджэт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгія ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.
Raw Data
↓
Cleaning
↓
Feature Extraction
↓
Transformation
↓
Model
↓
Prediction
Raw Information
↓
Retrieval
↓
Filtering
↓
Ranking
↓
Transformation
↓
Compression
↓
Context Assembly
↓
LLM
↓
Action
↓
New Observation
↓
Context Update
6. Крок 1 — Адакцыя целі агента
Этап 6 Крок 1 Адакцыя працуе наўзям лепш, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідэальны прымер, адзін кейс неудачы і запіс пра вярненне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і кост токеноў або запытаў па боку функцыйнаых рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Храніце стан графа ў простам і тыпаваным фармаце. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакшваюць продовжэнне працы пасля перарываў. Этап 6 Крок 1 Адакцыя працуе наўзям лепш, калі яго спрыяваць як мерыемую плошчу. Зафіксавайце адны ідэальны прымер, адзін кейс неудачы і запіс пра вярненне да пачатковага стану перад расшырэнням масштаба. Дакументавайце і шчаслівы шлях, і шлях вяснавання разам. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Objective:
Diagnose production degradation
7. Крок 2 — Адактуванне джэраў кантэксту
У этапы 7 Крок 2 Адактуванне неабходна прадзефінаваць вхідныя даны, адпаведальную особу за крок і крэтыры завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптаў. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы чы зміняюць даны ў працэсе віробніцтва. Компіляцыйныя налашчэння не ёсць гарантыяй полнай адпаведальнасці за бізнес-працэсы.
ML Debugging Agent
│
┌─────────────────┼─────────────────┐
↓ ↓ ↓
Metrics DB Git Repository Experiment DB
│ │ │
↓ ↓ ↓
Performance Code changes Experiments
│ │ │
└─────────────────┼─────────────────┘
↓
Context
Дакументы
У стадыі «Дакументы» неабяжна практычна вказаць інпуты, адміністратара крока і крэтыяры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце гэтай этапы як даговору межа інпутамі і падтверджанымым выходным даным. Даўце назвы артыфактам, практычна вказаць пераканальнія крэтыяры і адмовіцеся ад бяспечнага частковага завершэння. Заставіце людзкую апраўду для тых крокаў, якія выкарыстоўваюць грошы чы зміняюць даныя у працэсе. Компіляцыйны падключэння не ўзроўнаўваецца з пачатковым станом бізнесу.
Базы дадзеных
Для этапы баз даных неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыяры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск этапу з вядомай точкі контролю без неабяжнага вычыслення захаванога стану. Запісваць час выканання і кост токена або запыту разам з функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакоўныя серавісы. Апрацавваць людскую атрыбутацыю для тых крокоў, якія вітрачаюць грошы або зменяюць даны ў працэсе. Компіляцыйныя налашчэння не ўзначаюць павнае адпрацоўвання продукту. Для этапы баз даных неабяжна ўзначыць вхідныя даны, адпаведальнага за этап і крэтыяры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск этапу з вядомай точкі контролю без неабяжнага вычыслення захаванога стану. Аддзеіснаваць дакументацыю як для стандартнага, так і для альтэрнатыўнага падходу. Практыкі перапрыбутку, людская атрыбутацыя і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не дадатковым элементам пасля яго стварэння.
Інструменты
Калі працюеце на стадыі «Інструменты», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына нявыпання павінна вказываць на адну адпаведальнасць, а не на заплутаны ланцужок задач. Запісвайце назву інструмента, хэш параметраў, час адклікання і рынак кожнага вызову. Без такога следу дэбагаванне агента губіць гадзіны.
Памяць
Калі працюеце на стадзіі памяці, спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконтроўвае, каб пазнейшыя змены коду былі чыстымі. Спрыймайце гэтую стадзію як контракт межа данымі і перакананымі выходамі. Дайце назву рэзультатам, задаце крытэрыя успеху і не падтрымайце тых частковых выкаанняў, якія залішаюцца непазначанымі. Зробіце пераконтроль пасля дорогіх крокаў. Програма для продакцыі не должна зноў выкарыстоваць той самы вызов LLM, калі аператар праканае пазнейшы вузел.
Сераўак
Калі працуеце на стадыі Серавэсу, спачатку запішыце «контракт»: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы частковага нявыпалення. Такі спіс пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Запісвайце час выканання і кост токена або запыту празаўсёды разам з функцыйнальнымі рэзултатамі. Відразы коста з самага пачатку запобегае неспакойным рахункам, калі працэўнае серавэса пераходзіць з дамовай версіі ў спяльныя серавэсы. Зробіце контрольную пазнаку пасля дорогіх крокаў. Функцыя вярнення не павінна зноў нарахоўваць кост той самай вызову LLM, калі аператар праканае пазнейшы вузел. Калі працуеце на стадыі Серавэсу, спачатку запішыце «контракт»: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы частковага нявыпалення. Такі спіс пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Дакументавайце як «шчаслівы» шлях, так і шлях вярнення да нормальнасці. Пракананыя спробы, людзкія контрольныя пункты і обработка неканальных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
8. Крок 3 — Атрымайце толькі тое, што важна
Этап 3 «Адзяць пасохоў: Абранне» работае наякша, калі яго розглядаць як вымерную плошчу. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да поперадньяго стану прычым расшырэнню масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь пасох не выйшаў, прычына неудачы павінна вказываць на адную адповядальнасць, а не на заплутаны працэс. Раздзеліце правілы часткавання інфармацыі ад правілаў яе абрання. Змена ў одных не павінна вымагаць перапісву іншых, калі зменяюцыся паказатэлі якосці.
Question
↓
Embedding
↓
Vector DB
↓
Top 10 chunks
↓
LLM
1. Find current deployment
2. Find previous deployment
3. Compare configurations
4. Retrieve associated code changes
5. Retrieve metric changes
9. Крок 4 — Адаптаванне пад структураваны кантэкст
Этап 9, крок 4, працюе найкрашча, калі яго розглядаюць як меравальную плошчу. Запісаўце адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштаб. Разглядзіце гэты этап як кантракт межа вхіднымі данымі і паверыжанымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад тых падчасных завершэнняў, якія не зафіксаваны. Зберагачыце стан графа ў простам і тыпаванам фармаце. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў кожны поле, і спакшуюць возз'яджанне пасля перэрываў.
The deployment happened recently and the model seems
to have lower performance and there were some preprocessing
changes and the new version uses 336 resolution...
{
"model": "anomaly-detector-v4",
"deployment": "v4.2",
"deployment_date": "2026-08-12",
"image_size": 336,
"previous_image_size": 224,
"auroc_previous": 0.91,
"auroc_current": 0.84
}
image_size:
224 → 336
AUROC:
0.91 → 0.84
10. Крок 5 — Раздзелэнне фактов, гіпатэз і дзеянняў
Этап 10 Крок 5 «Раздзелэнне» працуе наяўней, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідэальны прымер, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і кост токеноў або запытаў па боку ад функцыйнаых рэзультатаў. Візуабельнасц костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Храніце стан графа простым і з узначаным тыпам. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакшваюць продовжэнне працы пасля перарываў. Этап 10 Крок 5 «Раздзелэнне» працуе наяўней, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідэальны прымер, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Дакументавайце як «вялікі успех», так і шлях вярнэння да нормальнага стану разам. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Факты
У стадыі «Факты» неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтыры завершэння пры перадзеўці коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехарактэрыстыкі павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс. Неабяжна ўключыць людзкія апраўленні для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе віробніцтва. Працэс кампілявання не ёсць гарантыяй полнай адпрацоўкі бізнес-процэса.
Current AUROC = 0.84
Previous AUROC = 0.91
Image resolution changed from 224 to 336
Гіпатэзы
На стадыі гіпатэзаў неабходна праканалічыць вхідныя даныя, адпаведальную особу за выкананне крока і крэтыніяты для завершэння пры перадзначэнні коду. Аперацыйныя працавнікі должны магчыма ўвайсці крок з вядомага пункту контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце цій стадыі як даговору межаў вхідных і пераканалічаных выходных дадзенняў. Даць назвы артыфактам, праканалічыць крэтыніяты успеху і не прымаць тыхняе часткова завершанне. Заставіць людзкую апраўду для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даныя ў працэсе вырабоцтва. Компіляцыйныя налашчэння не ўзроўнаваны з абсягам выканання бізнес-задач.
Hypothesis:
The resolution change may have caused distribution mismatch.
Дзеянні
У стадыі «Дзеянні» неабходна прадзеява вхідных дадзеных, адначальніка крока і крэтарыяў выходу пры перадзеяве коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную. Апраўляйце людзкую атстаўку для тых крокаў, якія выкарыстоўваюць грошы або зменяюць даныя ў працэсе. Компіляцыйныя налашчанні не ўзроўнуюцца з повнасцю бізнес-функцый. У стадыі «Дзеянні» неабходна прадзеява вхідных дадзеных, адначальніка крока і крэтарыяў выходу пры перадзеяве коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як «гарны» шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не пасляднім дапрацоўкам.
Action:
Evaluate v4.2 on the previous preprocessing configuration.
{
"facts": [
"AUROC dropped from 0.91 to 0.84",
"Image resolution changed from 224 to 336"
],
"hypotheses": [
{
"claim": "Resolution change caused degradation",
"confidence": 0.65
}
],
"actions_completed": [
"Compared deployment configurations"
],
"next_action": "Run controlled preprocessing experiment"
}
11. Крок 6 — Складзенне кантэксту
Калі працюеце над стадзіяй складзення кантэксту 11-го крока, спачатку запісайце умовы: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разы ўзельнага неякшчэна. Такі чарт дапамагае заліцвачыць змяны ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшае, прычына неякшчэна павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зробіце перапаковку пасля дорогіх крокаў. Програма не павінна зноў выклікаць той самы календар LLM, калі аператар прабуе зноў запрацаваць з пазнейшым узелам.
Investigation Summary
Objective:
Diagnose production AUROC degradation.Observed:
- AUROC decreased 0.91 → 0.84.
- Deployment v4.2 introduced 336px preprocessing.
- Model weights unchanged.
- Data volume unchanged.Ruled out:
- Model checkpoint change.
- Infrastructure failure.Current hypothesis:
Preprocessing change may be responsible.Next experiment:
Evaluate v4.2 using 224px preprocessing.
12. Крок 7 — Стварыце агенту рабочую памяць
Калі працуеце над крокам 7 з 12, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрыятлівае ставленне да гэтага крока як да угоды межу данымі і паўнасталяванымі выходамі. Дайце назвы элементам, задаце крытэрыя успеху і не падтрымвайце тыхню частковую працу. Ствараце контрольныя пункты пасля дорогіх крокаў. Програма не должна зноў выкарыстоваць той самы вызов LLM, калі аператар праканае працу з наступным вузлам.
Agent Memory
│
┌──────────────┼──────────────┐
↓ ↓ ↓
Working Memory Long-Term External
Memory Knowledge
│ │ │
↓ ↓ ↓
Current task Past decisions Documents
Current facts User preferences Databases
Hypotheses Past results APIs
Рабочая памяць
Калі працюеце над стадзіяй Рабочай памяці, спачатку запісаце кантракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Запісваце час выканання і кост токеноў або запытаў праза функцыйнаясць рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Ствараце контрольную точку пасля дорогіх крокаў. Функцыя вярнення не павінна зноў нарахоўваць косты той самай вызову LLM, калі аператар перапрыямляе працу да пазнейшага вузла. Калі працюеце над стадзіяй Рабочай памяці, спачатку запісаце кантракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Аддокументаваце як «шчаслівы» шлях, так і шлях вярнення. Перапрыямленні, людзкія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
Даўгастроковая памяць
Этап дзейнаўскай памяці працуе наякша, калі яго спрыяваць як мерыемую структуру. Запісаўце адна «золатая» версія, адзін прыклад неудачы і запіс пра вярнэнне да поперадньага стану, прычаму расшыруваць масштабы не трэба. Валіце прывялікія, тыпаваныя елементы замест большых скрыптов. Калі якісьця крока не выйшла, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты працы графа павінны быць простымі і з адначыям тыпамі дадзеных. Вкладаныя структуры дадзеных маскуюць інфармацыю пра тое, канферы які вузел запісаў кожны поле, і спакойваюць працу пасля перарываў.
Зовнішняя інфармацыя
Этап знання з зовнішніх джэраў працюе найэфектывней, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі данымі і падтвердзенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зберагачыце стан графа ў простам і тыпаванам фармаце. Вкладзеныя блокі маскуюць, які вузел запісаў кожны поле, і спакшуюць продажчэнне працы пасля перарываў.
13. Крок 8 — Дазвольце агенту самам выбраць, які кантэкст ёму патрэбен
Этап 13 Крока 8 Let працюе найкрашча, калі яго розглядаць як вімерную паверхню. Зафіксавце адны ідэальны прымер, адну справу з бягамі і прыметку паўрання раней, чым расшырваце сферу дзеяння. Запісвайце часы выканання і кост токена або запіту пад функцыональнымі рэзультатамі. Відразлівае прадставленне костаў запобегае неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Храніце стан графа як плоскі і з адначытаемымі данымі. Вярнутыя структуры дадзеных маскуюць, які вузел запісаў канкрэтны поле, і спакшваюць продыранне пасля перарываў. Этап 13 Крока 8 Let працюе найкрашча, калі яго розглядаць як вімерную паверхню. Зафіксавце адны ідэальны прымер, адну справу з бягамі і прыметку паўрання раней, чым расшырваце сферу дзеяння. Дакументавайце як успішны, так і вярнучы паты. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Question
↓
Retrieve
↓
LLM
↓
Answer
Question
↓
LLM
↓
"What information am I missing?"
↓
Retrieve
↓
Observe
↓
"What else do I need?"
↓
Tool call
↓
Observe
↓
Update hypothesis
↓
Retrieve again
↓
Answer
I need:
1. Current metrics
2. Historical metrics
3. Recent deployments
I see a preprocessing change.
I now need:
4. Code/config diff
5. Evaluation by preprocessing version
The degradation occurs only on the new preprocessing path.
Hypothesis strengthened.
14. Конкрэтны прыклад: Агент для дыягностыкі ML
У падзеўцы «14. Конкрэтны прыклад» неабходна праказаць вхідных дадзеных, адпаведальнага за выкананне крока і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перадзначыць выкананне крока з вядомай точкі контролю, не падозрываючы прыхованы стан сістэмы. Лепш выбіраць маленькія, тэставаныя елементы заместо велікіх скрыптав. Калі крок не выкаанацца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач. Неабходна людская апраўда для тых крокаў, якія выкалічваюць грошы або зменяюць даны, выкарыстоўваные у працэсе віробніцтва. Компіляцыйныя налашчэнні не ўзроўнаўцяюцься з пачатковай цэласнасцю бізнес-процэсаў.
Image-level AUROC
Monday: 0.94
Tuesday: 0.93
Wednesday: 0.92
Thursday: 0.85
Пачатковы кантэкст
У стадыўцы пачатковага кантэксту неабходна з’явіць вхідныя даны, адпаведальнага за крок і крэтарыя завершэння прычыні змены коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не прабуючы спадарожваць схованы стан. Спрыяйце гэтай стадыўцы як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, з’явіць перакананні ў успеху і адмовіцеся ад тыхнай частковай рэалізацыі без паведамлення. Забезпечыце людзкія парады на тых кроках, дзе вітрачаюцца грошы або зміняюцыся даны для працы. Компіляцыйныя налашчэння не ўзроўнаўцуюцься з пачатковай цэласнасцю бізнес-процэсу.
Task:
Diagnose the AUROC degradation.
Current metric:
0.85Previous metric:
0.92
Выклік інструмента 1: сістэма развяроžэння
Для этапы развяроžэння выкліку інструмента 1 неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не спрабоўваючы з’ясаваць схованы стан. Запісваюць час выканання і вартасць токена або запыту паляглі разам з функцыйнальнымі рэзультатамі. Відразлівае прадставлення вартасцей запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную. Автэнтыфікуецца пры в’язку, а паўторна автарызація выканае на роўні дадзенняў. Сам токен-носіцель не ёсць межай арэндаванага прыемку.
Current model:
v4.2
Previous model:
v4.1
Для этапы развяроцькі «Выклік інструмента 1» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі павінны магчымае перадзеі крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія перакрыцці і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Выклік інструмента 2: рэжыстр модэляў
Працуючы над стадыяй модэляў «Выклік інструмента 2», спачатку запісайце контракт: неабяжныя вхідныя даны, сігнал успеху і тое, што выходзіць праз частковыя аберанні. Такі спіс контролю дапамагае заліцьварыць пазнейшыя змены коду. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, аберанне павінна вказываць на адную адпаведальнасць, а не на заплутаны працэс. Зберагаюце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзесланне ідэнтычных прамаўляючых частак ёсць распашчытным факторам затрацы рэсурсаў.
Weights:
v4.1 == v4.2
Выклік інструмента 3: служба налаштавання
Калі працюеце над стадзіяй налаштавання выкліку інструмента 3, спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрэтывайце гэту стадзію як угоду межа данымі і перакананымі выходамі. Дайце назвы элементам, задаце перакананні на успех і не падзэлвайце задачу часткова без адпаведных падтверджэнняў. Зявляйце логі з назвай інструмента, хэшам параметраў, часам адкліку і рынку кожнага выкліку. Без такога следу дэбаггінгавы агент траціць гадзіны на безрэзультатныя спробы.
Resize:
224 → 336
Normalization:
unchanged
Выклік інструмента 4: служба адзынакоўвання
Калі працуеце над стадзіяй адзынакоўвання для Выкліку інструмента 4, спачатку запісайце угоду: неабяжныя даны, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі спіс контроля дапамагае залішыцца чыстым пад час пазнейшых змян у кодзе. Запісвайце часы выканання і кост токена або запіту па боку функцыональных рэзультатаў. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўысы. Запісвайце назву інструмента, хэш аргументаў, час затрымкі і рэзультат кожнага выкліку. Без такога лёгкага следу дэбагаванне агента займае гадзіны.
v4.2 + 224px:
AUROC = 0.93
v4.2 + 336px:
AUROC = 0.85
Калі працюеце над стадзіяй адыяканалення вызову інструмента №4, спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Дакументавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некорэктных паведамленняў ёсцю часткай продукту, а не пазнейшым дапрацоўкам.
Finding:
The performance degradation is strongly associated with
the preprocessing change from 224px to 336px.
Evidence:
- Model weights unchanged.
- Deployment introduced 336px preprocessing.
- 224px evaluation restores AUROC to 0.93.
- 336px evaluation produces AUROC of 0.85.Recommendation:
Roll back preprocessing to 224px while investigating
why the new preprocessing configuration causes degradation.
15. Інжыніерыя кантэксту і RAG
Этап 15 «Інжыніерыя кантэксту» працюе наўзды калі яго розглядаць як вімерлую структуру. Перш чым расшырваць масштаб, зафіксавайце адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану. Валіце маленькія, тэставальныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы должна адносіцца да конкрэтнай адпаведальнасці, а не да заплутанага ланцуга задач. Раздзеліце правілы фрагментавання інфармацыі ад правіл яе выкарыстоўвання. Змена адных не должна прымусваць перапісванне іншых, калі змянююцца паказнікі якосці.
Query
↓
Retriever
↓
Documents
↓
LLM
Goal
↓
Agent
↓
Determine missing context
↓
Retrieve / Query / Execute
↓
Evaluate results
↓
Update state
↓
Retrieve again
↓
Compress
↓
Assemble context
↓
LLM
↓
Action
16. Інжыніерыя кантэкста падобнае да інжыніерыі фічар
Этап 16 «Інжыніерыя кантэкста» працюе найкрашча, калі яго розглядаць як вімерную плошчу. Зафіксавце адны ідэальны прыклад, адну справу з бягам і прыметку пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Разглядзайце гэты этап як кантракт межа вхіднымі данымі і пераканаленымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння. Храніце стан графа ў простам і тыпаваным фармаце. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакойваюць працу пасля перарываў.
Raw data
↓
Feature engineering
↓
Feature selection
↓
Model
↓
Prediction
Raw information
↓
Context retrieval
↓
Context filtering
↓
Context transformation
↓
Context selection
↓
LLM
↓
Decision
17. Ацэнка якосці кантэксту
Bad retrieval
↓
Bad context
↓
Bad reasoning
↓
Bad action
↓
Bad answer
Якасць адзыскання
Якасць кантэксту
Якасць разумовых выводаў
Якасць дзеяння
Успех завершальнага задання
Retrieval
↓
Context
↓
Reasoning
↓
Action
↓
Outcome
18. Частыя памылкі
Памылка 1: «Проста падаць усё ў запіт»
Памылка 2: Адносаванне вектарнага пошуку да ўсіх рашэнняў
Памылка 3: Зберагчыць бесканечную історыю дыялогу
Recent details
+
Compressed historical state
+
Relevant retrieved information
Памялка 4: Спалучэнне фактов з прыказкамі
Памялка 5: Ігнараванне часовага кантэксту
timestamp
version
deployment
experiment
data snapshot
environment
19. Практычная архітэктура для вашага першага агента
┌──────────────┐
│ User │
└──────┬───────┘
↓
┌──────────────┐
│ Agent │
└──────┬───────┘
↓
┌─────────────────┐
│ Context Manager │
└───────┬─────────┘
↓
┌────────────┼────────────┐
↓ ↓ ↓
Search Database Tools
│ │ │
└────────────┼────────────┘
↓
Context Assembly
↓
LLM
↓
Action
↓
Observation
↓
Context Update
20. Куды працюе інжыніерыя кантэксту агентав
LLM + Tools
LLM
+
Memory
+
Retrieval
+
State
+
Tools
+
Environment
+
Context Management
Заключэнне
Prompt Engineering
↓
RAG
↓
Memory
↓
Tool Use
↓
State Management
↓
Agentic Context Engineering