Агенты, якія паляпшаюцца праз навыкі: паўторнае выкарыстанне, выбар, выпраўленне і праверка
Чатырохчасткавы дызайн агентаў, якія ўдасканальваюць свае навыкі: захоўваюць рабочы код, удакладняюць апісанні, прапануюць правераныя выпраўленні і правяраюць вынік перад перадачай.
Крыніцы: Your Agent Keeps Making the Same Mistake. Start With Its Skills.
Агент для напісвання коду, які два разы сталкаецца з тым самым проблемам, зазвычай не мае стойкага месца для зберагання таго, што ён выучыў. Ідэя плагіна пад назвай Whetstone закладаецца на тое, што праца, яку агент выканае сёння, павінна паліпшыць працу завтра. Дапаможнік, які агент напісаў і працаваў з якім, павінен быць там наступны раз. Рабочы працэс, які выказвае патрэбу у корэкцыі, павінен прыводзіць да стойкай змены, якую можна будзе пераглянуць. А перш чым рэзультат будзе перэданы, перакрыцці, якія, як вядома, неабходны для выпання задання, ужо павінны быць адбыты.
Гэта звычныя інжынерныя прыемы, але яны часта застаюцца толькі ў галаве чалавека і павтараюцца пасля кожнай сесіі. Whetstone агрупавае іх у чатыры навыку, якія дзейнуюць над іншымі навыкамі: павторны выкарыстоўванне пераверанага коду, паліпшэнне способу выбору навыкаў, фіксацыя процедурных урокав і перакрыцце рэзультата перш чым ён будзе вярнуты корыстніку.
Тэрмін «самапраўляючыяся агенты» выкорыстоўваецца у спецыяльна стрыманам сэнсе. Агент памагае прабачыць свае сабе інструкцыі і інструменты, чалавек пераглядае змяны і выявляе, што стане стацыонарным, сама модэль не ператрэніруецца, і ніч не працуе без нагляду, каб сама навучылася.
Пачатковая аўдытка 383 файлаў з навыкамі даўала плагіну конкрэтную плошчу для тэставання. Аднак найболей перэносным элементам ёсць дыяграма: дзе павінны знаходзіцца воспалюемыя элементы, як выбраць правыя заходы і якія доказы трэба выкарыстоўваць пры прыняцці рашэння пра зберэжэнне змян. Гэтыя прынцыпы прыменяюцца як да плагіна, так і да версіі, створанай на адповіднасць вашым сабе рабочым працэсам.
Частка агента, яю можна фактычна прабачыць
Навык — гэта папка. У яе ёсць файл SKILL.md з інструкціямі, а таксама, за выборам, скрыпты і дакументы-справакі. Спецыфікацыя Agent Skills задае стандартную структуру: у пачатку файла стоіць коротка назва і апісанне. Інжынерныя каманды Anthropic апісвалі навыкі як спосаб дадзець універсальным агентам можлівасць вікорыстоўваць перадпрацаваны досвід, пры чым перавага заключаецца ў тым, што можна паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабава
skill-repair пропануе змены ў процедурах.verify-before-return пераканальвае рэзультат.Тое, што дапамагае такам раздзеленню, — гэта тое, што кожная операцыя зміняе разнае. Памочны прыемак можа быць вартыя зберагчэння, нават калі нічога не зламалася. Неясны опіс можа патрабаваць увагі, нават калі сама процедура працуе ідэальна. Перадача кожнага запіту праз усе чатыры операцыі спаяла б нералевантную работу, тады як окольныя точкі входу дазволяюць выклікваць толькі тую частку, якая патрэбна заданню.
Кожная операцыя завершаецца чымось, што можна паглядзець: файлам на дыску, аўдытным атласам, пропанутым разлікам або доказам пераканальвання. Гэта спрыяе адлагоджэнню і дае таму, хто пераканальвае, конкрэтны аб’ект для затверджэння. Памочь агента ўсё ж прыемна, але сама пераканальваючая адказка ніколі не робіць змяну стойкай.
1. DRY: захаваць работу, якая ужо успелася
DRY значыць "не павтарайце ся", а таксама апілуецца да агента, які мае код, створаны яму раней. Калі кожны запіт на прадставленне вымагае перзапуску рэндэрара, ён павінен спачатку рашыць старую інжынерную проблему, перш чым працаваць з новым контэнтам.
Рэндэрар — гэта машынерыя, якая можа вікорыстоўвацца знову, а контэнт — гэта тое, што зміняецца. У дасягліханнях Anthropic таксама паводзіцца пра гэта, паказваючы PDF-навык, які запускае загадзя напісаны скрыпт для выкарыстоўвання: код відпаведае за стабільную механічную частку, а мадэль прымечае рашэнні, прыязначаныя конкрэтнаму задачу.
Гэта і ёсць задача dry-promotion. Ён копіюе корыстны адпамогчык у папку scripts/ навыку і перапісвае інструкцыі, каб скрыпт быў выкананы. Адна-ўсего запіс файлу недастатні: хоча навык яшчэ прасіць агента напісаць скрыпт, нічто не паказвае яму на той, які ўжо запісаны.
Лічылка сімвалаў — гэта хорашы прыклад з працэсу напісання. У падзагалоўку ёсць меры дужыні, і невялікая програма можа пісаць ўсё тое, што лічыцца, пакуль мадэль зосераджваецца на формулюванні. У такім навыку можа быць інструкцыя пра такім парадку:
Перш чым вярнуць падзагалоўку, запрацаваць зямлёваную лічылку сімвалаў. Калі рэзультат перасягае меру, скорачыць формулюванне і зноў пісаць лічылку. Ніколі не спадзявацца на цыфру і ніколі не перзаснавляць лічылку.
Гэта дае стабільную рэалізацыю, яю можна пераглядаць і тэставаць. Гэта не робіць весь працэс напісання дэтэрміністычным, адколі сама падзагалоўка все ўсё можа варыявацца, а програма можа верна павтарыць некорэктную дэфініцыю. Лічылка павінна выбраць, чы рахаваць кодовыя пункты Unicode чы відныя сімвалы, і як яна ставіцца да прасоў і перыядаў ліній.
Перад тым, як апгрэдаваць дапаможнік, падготавьце яго: адзёрвайце шляхі, якія належаць да адной сесіі, зробіце вхідныя даны яснымі, і прыкольцуйце яго ў разлічных сцэнарыях, кроме таго, які стаў прычынай яго стварэння. Потым зноў запусціце робочы працэс і пераканаецеся, што зберажаны файл яўляецца тым, каму ён павінен служыць. Запуск, які таямніча стварае іншы лічылак, паспелівае мету паўторнага вікорыстоўвання, нават калі канечныя цыфры збігаюцца.
Той жа прынцып застосоўваецца да шаблонаў і спільных апылянняў. Калі калькі навыкаў дзеляцца аднаковым контрактом выходных дадзеных, заставіце адну автантыфікованую копію і нехай іншыя апыляюцца на яе. Не прымушайце два сапраўдна разлічных робочыях працэса праходзіць праз аднаго дапаможніка толькі таму, што ўсе ў ўсіх першыя прыклады выглядаюць аднакова. Паўторнае вікорыстоўванне должна парадзіць стабільнай працы, а не маскаваць значныя разлікі.
2. Дапаможце агенту выбраць правы навык
За дапамою прагрэсіўнага адкрывання агент пачынае з лёгкіх метадаў і завантажае полныя інструкцыі навыку толькі тады, калі выбірае гэты навык. Практычныя прычыны — гэта тое, што завантажэнне всіх процедураў з самага пачатку вітрачае рэсурсы на работу, якая можа ніколі не быць запатрэбнай.
Для автаматычнага выбору назва і апісанне выступаюць як інформацыя для направлення. Апісанне, напісанае адзяйна, можа нават не быць доступным, калі мадэль вяршыць рашэнне пра тое, чы розпакаваць файл.
Апісанні не ўсё — Claude Code таксама падтрымляе явныя вызывы, а настройкі пад час выканання вплываюць на тое, што ёсць доступным. Тым не менш, апісанне ёсць сігналам выбору, які контролюець автар навыку.
Працаваючы з бібліятэкай навыкаў адной чалавека, пасчытавшы дублікаты з аднаковымі назвамі окрэмна ад калізый, была атрымана такая статыстыка:
383 skills scanned
missing description 0
no trigger language 306
colliding pairs 3
duplicate names 23
skills with >=1 defect 306 (79%)
79% — гэта скорачаныя 306, дазелэваныя на 383, што дае прыблізна 79,9%. Гэтыя апісанні не працавалі пасля пераконтролю формулірацыі, што не тое ж самае, калі 306 разоў была зафіксавана неправільнае выкарыстоўванне навыку. Сканер перакантролюе толькі буквальныя фразы-трыгеры, такія як „выкарыстоўваць калі“ або „калі корыстувальнік“. Мадэль можа выконваць заведаменні без такіх слоў, а заведаменні з імі можа застацца занадта шырокімі, ўсё ж не дапамагаючы. Рэзультат — гэта спіс для дакладнага аналізу, а не показнік таго, насколькі несправны агент.
Дазвольце суседнім навыкам выканваць разныя задачы
Разглянем два рэальных заведаменні з двух навыкаў у тым жа плагіне:
Адзін з іх прызнаецца экспертом у стварэнні сістэм генеравання з падтрымкам разысквання на адмініструванні вектарных баз дадзэння, эмбедынгаў і прыглыбленых стратэгій разысквання. Іншы прызнаецца эксперам у выборэ, налашчэнні і настроек вектарных баз дадзэння, такіх як Pinecone, Weaviate, Chroma, Qdrant і Milvus, для семантычнага разысквання і RAG.
Оба варуць добра, тады калькі з іх падойдзе корыстніку, які патрэбуе падтрымкі у выборэ вектарнай базы дадзэння для прыкладнага рашэння RAG? Спроможны мадэль можа праглядаць другі варыянт, які ёсць болей спецыялізаваным, але першы таксама прэтэндуе на тыя ж навыкі. Не сказана, калькі навыкі належы кожнаму, таму мадэль павінна сама выважваць граніцы.
Перапісвы па такім прынцыпе стварылі бы чыстэйшую разлінію межаў між імі. Іх не пераканалі:
name: vector-database-selection
description: >-
Compare vector databases against workload, filtering,
deployment, and operating-cost requirements. Use when
choosing or replacing a vector store. For retrieval-pipeline
design with an already chosen store, use rag-pipeline-design.
name: rag-pipeline-design
description: >-
Design ingestion, chunking, retrieval, reranking, and
evaluation for a RAG application. Use when building or
diagnosing a retrieval pipeline. For a standalone vector
database selection, use vector-database-selection.
Першы выконавец карае за выбор базы дадзеных, а другі — за шлях ад дакументаў да корыстнага кантэксту для адпаведзі. Частка слоў застаееся спяльная, адколькі задачы практычна перакрываюцца.
Спачатку разрабатайце запіты на тэставанне, перш чым змяніце хоць якія словы. Запіт „Параўняйце сховішчы вектараў для додатку для пошуку дакументаў, які працюе на сабе“ стосуецца выбору базы дадзеных. Запіт „Дзе павінны знаходзіцца нашы эмбедынгі? Памагніце мне выбраць“ значыць тое ж самае, толькі іншымі словамі. Запіт „У нас ужо ёсць сховішча вектараў, але працэс выкарыстоўвання не знаходзіць актуальныя параграфы“ належыць да дыягнастыкі працэсу апрацоўкі.
Потым дадзіце запіт, які не павінен належаць ні аднаму з выконавцаў, напрыклад, парадкаванне адступаў у кнопцы пошуку на мобільным прыстрое. Без гэтага вы тэставалі, калі з двух выконавцаў выграе адні, а не тое, чы можа агент адмовіцца ад обох.
Практыкуйце іх у новых сесіях з ідэнтычным модэлем, увімкнутымі навыкамі і кантэкстам праекта. Не включайце назву паветранага навыку ў жадныя тэсты на аўтаматычны выбір, таму што яе называнне змініце експерымент. Там, дзе час выканання яго адкрывае, запісвайце, які навык быў завантажаны, і захавайце адпаведную адпаведзь чы рэзультат. След, які паказвае адкрываны файл, ёсць лепшым доказам, чым тверджэнне агента пра тое, што ён вжыў правільны навык.
Пораўняйце рэзультаты да і пасля, і не включайце дзеякія парафразы ў сесію перапісвы, каб не налаштовваць толькі па своіх прыкладах. Гэты невялікі набор тэстаў паказвае, чы змяна дапамогла ў значных запытках.
3. Ператворыце дасвядчэнне на можна выкарыстоўваць інструкцыі
Выявленне проблемы стварае болей корыстны вопыт: дзе павінна знаходзіцца парадкса?
skill-repair запісвае свае прыявы ў фармаце разлікоў, каб чалавек могаў іх затвердзіць, на аднаковай базе дадзеных, якая знаходзіцца пад кантролем версій. Мета — здзейсніць як магчыма меньшыя змяны, якія вылечыць зафіксаваную проблему, так што адпаведальны за перагляд зможа яго прачытаць і анулюваць, калі гэта зашкодзіць чамусь іншаму.
Уявіце сабе навык напісання атласа, які вяртае толькі падсумак, не адзіраючыся ў вучорні дакумент. Заповедзь «быць абэрнейшым» дае агенту вельмі мало інформацыі для дзеяння. Тое, што гэта вылечыць, залежыць ад таго, чаму практыкаванне не было адбіванае:
- Процедура ніколі не выкарыстоўвала вучорні дакумент: трэба змяніць працэс.
- Вучорні дакумент быў неабходны, але не была вказана яго локацыя: трэба запростаць гэты кантэкст або прагледзець нехватную інфармацыю.
- Вучорні дакумент быў прачытаны, але даныя былі скопіяваны некорэктна: патрэбна іншая перапаказвання.
Адна загальная паведамленне, якая будзе дапісана ў кожным случае, або ўвесь час абходзіць дыягназу.
Зберагачыце неякша выконаны запіт разам з запраектаванымі змянамі, апісайце жаданую працэю і захавайце дакумент, які паказаў прычыну неяксвоў. Прыступіце да запіта занова ў новай сесіі, а потым спробуйце іншы запіт, які яшчэ павінен працаваць. У іншым случае лёгка затвердзіць змяну, калі яна напісана пераканальна, што ёсць зручны спосаб паспрабаваць час, не падбіраючы нічога.
Таксонамія таксама мае значэнне. Перакананні ў чынніцу, стосаваныя аднаго справаздачы, застаюцца ў тым звіце. Правіла для кожнага справаздачы, якія запісвае навык, падаюць у сам навык. Факты, якія часта зміняюцца, можа будзе лепш захаваць у справаке, яку навык выкарыстоўвае для пошуку. Калі кожная парадкаванне падае ў стацыонарныя інструкцыі, процедура, якая можа быць вікорыстана знову, паступова ператвараецца на журнал пасляпэльнай сесіі адной людзі.
Успехі заслуговаюць на такое ж адказанне. Калі пэрэходы працуюць надзеямо, трэба зберагчы корыстны парадак, вхідныя даны і прыклады, а не толькі паведамленні пра тое, што пайшло не так. Рэкамендаціі па стварэнні навыкаў Agent Skills саветуюць апіроўвацца на рэальную працу і удосконаляць іх праз ўжыццё. Навык павінен мець тыя веды, якіх не хапяе ў наступным запуске, а не проста пераказ усьго, што адбылася.
Калі спільныя інструкцыі патрабуюць рэмонту
Бібліятэка адной чалавека — гэта яго саўственны накуп бялкі, які пераглядае яго саўственны інструмент, таму той самы перагляд быў застосаваны да публічнага рэпазітарыя плагінаў, які адрабоўвае команда з доследжэнняя програмнага забаваў у універсітэце. У фіксаваным копіі ён меў 76 навыкаў у 12 плагінах.
Флажкі знаходзіцца ў групах па плагінах. Семь плагінаў былі пазначаны флажкамі цэлкам, а адзін плагін на Python для науковых цэлей меў чатыры з пяці пазначэнных флажкамі. Гэта сгрупаванне спрыяла пошуку спакойных шаблонаў і правілаў, і выявілася, што сама інструкцыя ёсць джэрэлам гэтых правілаў. У інструкцыі была запатрэба «чыстага апісання агента і яго месца выкарыстоўвання», а таксама быў запропанаваны шаблон-заместык, у яком указвалася, калі агент выкарыстоўваецца. У інструкцыі ніколі не пыталіся, калі яго трэба вжываць. Трыдзяць шасць элементаў было створана правільна за інструкцыяй, а сама інструкцыя являла сабою дыфект.
Паведамляецца, што былі ачынены два публічныя запытанні: адна — пра інструкцыю, а другая — пра 36 апісанняў, і тут важна правільная парада. Павінны быць апдэйтаваныя правілы, паказаны хорашы прыклад, і толькі пасля чаго існуючыя апісанні трэба прыстосаваць. Інакш следуюшчы учаснік будзе следаваць інструкцыі ідэальна і знову стварыць той самы патэрн.
Перагляд CI можа дапрацаваць, але пачніце як рэкамендацыю. Калі правіла ведаюць толькі калькі спрычынення, тады строгая прамаха прывабляе учаснікаў да таго, каб яны вставлялі гэтыя фразы, пакуль запуск не пройдзе, чым падыходзіць колькісна ціфра, але не ростуць кваліфікацыя. Настоямы тэст адзымкі все ж такі трэбуе рэпрэзентатыўных запросаў, укладаючы тыя, якія кваліфікацыя павінна ігнараваць.
4. Пераканацца пры перэдачы
verify-before-return забезпечвае кваліфікацыю крытэрамі адзымкі і цыклам перагляду. Запіс файлу на дыск — толькі проміжны пункт, і рабочы працэс все ж такі павінен пераканацца ў выніку, выкарыстоўваючы доказы, якія падходзяць да задання:
- Для прэзентацыі трэба ўвідзіць елементы, а потым пераканацца, чы немае обрэзанага тэксту, неразбіраемых пазначэнняў чы элементаў за межамі экрана.
- Для даследнічага атласа трэба ачыніць выкладнікі і пераканацца, чы яны падтрымліваюць зроблены тверджэнні.
- Для коду трэба запрацаваць тэсты, якія пераканаюць у неабходным працэсе выканання.
Кожныя заявы пра прынятнае праца павінны адначасова паказваць, што самэўчынна было пераканана.
З’явіце гэтыя крэтыніяя ўсё раней, чым прыняць рэшэння. Пасля чаго нехай спецыяліст прайшоўся па матэрыяле, выявіў недагоднасці, іх вылечыў і паўтарыў пераканання ў тых частках, якія паўтарна падвергліся змянам. Нехай будзе абмежэнне колькісці паўтароў, і нехай будзе абавесцьвацца пра усё, што застаўся нерашаным, калі бо «пастаянная прабоўка падбадзёрваць якасць» могла ператворыцца на бесканечную праверку без яснага рэзультата.
Калі мова пра суб’ектыўную працу, патрэбна іншая метода ацэнкі. Сімуляваны пачатківець можа пазначыць нез’ясаваныя тэрміны, а скептычны чытальнік — заперачыць аргументы. І аднае, і другое ёсць корыстным, але гэта ўсё ж крытыка, створаная модэлем, а не адгукі рэальных аудыянтав, таму кожную прыпоўедзь павінны ацэніваць на адной лініі з метай самай працы, а не прыймалаць усе заперачэнні. Рашэнні па часткаце смаку і стратэгіі застаецца за тым, хто замовіў працу.
Адзіёнка пераконтролу не ўсё роўна адзіёнка правільнага пераконтролу, і самыя тэсты аўдытара паказваюць прычыну.
Какія тэсты змяніў аўдытар
Рэзультаты тэстаў паказалі, што аўдытару было неабходна спрацаваць з дублікатнымі інсталяцыямі і перакрытымі апісаннямі як з аднойчынымая знаходкамі. У першай адзіёнцы было зафіксавана 81 пара кандыдатацыйных парадактов; багато з іх складаліся з ідэнтычных навыкаў, якія знаходзіліся ў разных версіях плагінаў у кэшы. Аналіз гэтых пар прывёў да выдзелення дублікатав з аднаковымі назвамі з аналізу перакрыцця, што зменіла колькасць кандыдатацыйных парадактов на 3.
Самэльга таму запісі, якія лежачы за аптывам, трэба перакантроліваць прытым, прычым яны вялі да якіх-небудзь змян. Дублікатныя файлы трэба перакантроліваць за дапамою інвентарызацыі, а супернікуючыя апісання — за дапамою тэста направлення. Адналічэнне іх разам ведае людзей да неправільнага рашэння.
Адзьякаванне дубліруючых назваў таксама выявіла 23 назвы, якія з’являюцься ў болей чым аднам сканаваным паце. Кэшаваныя копіі не падтверджуюць, што старыя версіі былі актыўныя, таму неабходна пераканацца ў актыўных плагінах і рашытых пацях пад час выканання. Таксама, 383 — гэта колькасць сканаваных файлоў, а не актыўных, унікальных навыкаў, і адключэнне паўтарэнняў назв не дапамагае адзьякаваць усю інвентарную спісацію.
Рэйтынг — гэта толькі гістэрычны показнік: колькасць слоў, спаканых у обох апісаннях, дзеленыя на колькасць разных слоў у кожным з яных, пры чым стандартны порог станавіць 0,35. Адключэнне паводзка можа выглядаць як перакрыцце, а два апісання аднаго і таго ж абавесці, напісаныя разнымі словамі, могу застацца непазначанымі. Парсер frontmatter таксама падтрымлівае толькі частку фармата YAML. Кожны флаг патрабуе перагляду чалавеком, прычым перацвячае ў праваку.
Пасуўчы пасля рэмонту, заставіце прыклад з бягамі проблемы разам з прыкладам, калі старая версія ужо працавала правільна. Разам яны паказваюць, чыя новыя змяны выліковваюць адну проблему, але пашкоджаюць іншую. Для модуля whetstone не было зафіксавана жадная загальная павышэння ў успэшнасці заданняў, і самэ гэтыя пераконтанні служаюць спосабам яе ацэнкі.
Упаковка не перавозіцца; навыкі — так
Метай было зробіць модуль whetstone прыдатным не толькі для Claude Code. Аддача фармата SKILL.md дапамагае часткова ў гэтым. Навык можа яшчэ завісіць ад інструментаў, праваў або шляхоў да файлаў, якія іншы кліент не надае, а кожны кліент упаковвае плагіны по-разнаму. Стандарт Agent Plugins, справака Claude Code і даследжэння OpenCode опісваюць гэтыя структуры.
Whetstone адрасуе які маніфесты ў аднам спяльным каталогу skills/. Працэс адбываецца ў аднам месцы, а інтэграцыя кожнага кліента тэстуецца окрэма. Портатыбныя інструкцыі такім чынам не робяць модэлі взаімназаменнымі, таму трэба запусціць той самы рэпрэзентатыўны заданне на іншай сумесный асяроддзі і пераканацца ў ўсіх елементах — вызовах інструментаў, залежнасцях і рэзультатах — прычым ужо пасля гэтага можна будзе сказаць, што працэс адбываецца аднакова.
Прабаўка на аднай рабочай схеме
Не трэба вялікіх бібліятэкаў. Выберыце адну рабочую схему — напрыклад, дапаможнік, які агент постаўляе занова, два навыку, якія ён сумешчае, або рэзультат, які вы зазвычай готавіце ручна. Зберагчыце адну рэпрэзентатыўную запытку і яе рэзультат, каб можна было іх парабіць.
Далей выберыце тую мера, якая падходзіць: паўтарнае выкарыстоўванне існуючага дапаможніка, адточэнне выбору, запіс урока з адбывання задання або дадаць нехватную перакананню ў правільнасці. Потым параганьце наступны запуск з захаваным прыкладам. Большы спіс можа чакаць, а стары кэш не трэба выдаліць толькі таму, што рэкурсыўны скан знайшоў старыя файлы.
Праект распространяецца пад ліцэнцыяй MIT. Для Claude Code ў яго README даўнаецца наступныя команды для інсталяцыі:
claude plugin marketplace add cdcore09/whetstone
claude plugin install whetstone@whetstone
Експанаваныя чатыры точкі входу: /audit, /promote, /repair і /verify. Ожывайце тую, якая падходзіць вашаму працэсу работы. Першы раз цікава ідэя — прабавіць, каб прыстрой аналізаваў адпаведныя файлы і прыметляў змяны, прычым нічога не застаўляючы.
Ёсць можласць вывучыць прыстрой аўдыту без якога-лібо інсталлявання: клонавайце рэпазітарый, прачытайце файл skills/skill-audit/scripts/audit_skills.py. З верхней часткі рэпазітарыя запускаецца наведзены выклік, прычым ужоўваецца толькі стандартная бібліятэка Python:
python3 skills/skill-audit/scripts/audit_skills.py ./skills
Заменіце ./skills на каталог, які вы хочаце пераглядаць, пачынаючы з невялікага калекцыі, які вы ведаеце, пры тым, як сканаваць кеш кожнага плагіна на вашым камп’ютары. Параметр --json дае структураваны атлас, а --threshold 0.25 паказвае шырэй спектар перакрываючыхся апісаў.
Скрыпт толькі чытае файлы і ніколі не перапісвае даныя пра навыкі. Статус выходу 1 означае, што былы знайдзены спецыяльныя знакі, калізіі кандыдатаў або дублікаты імен, і гэта не завжды означае збой Python. Яго стандартныя шляхі таксама не пакрываюць структуру інсталяцыі кожнага кліента, таму ясны шлях робіць межы болей зрозумелымі і лёгкімі да відтворэння. Калі атлас уключае прыватныя апісы навыкаў або шляхі файлавой сістэмы, заставіце яго на месцы і раздайце толькі паказнікі і анонімізаваныя прыклады заместо пераказу всіх внутрашніх праектаў.
Мэтаем яе ўтварэнне корыстных рэшэнняў: коду, які можна перыяўтарыць, процедураў, якія можна адразу пераглядзець, і перакананняў, якія супроводжваюць заданне. Гэта практычны пункт выходу для агентаў, якія самі сабе паспрабоўваюць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць паспрабоўваць пас