Галоўная / Артыкулы

Ваша абвязка агента, хутчэй за ўсё, пераўскладненая: што выкінуць

Абвязка агента, хутчэй за ўсё, залішне складаная. Па меры паляпшэння мадэляў каркас ператвараецца ў мёртвы груз. Як назапашваюцца лішнія праверкі і кошт кантэксту і што скараціць.

Выдавец: REACTAPP.TOP9 хв чытання2154 слоў

Крыніцы: Your Agent Harness Is Probably Overengineered

Калі агенты становяцца розумнейшымі, корыстная работа пераключаецца на выкарыстоўванне іх можаў. Гэта суперачыць большую частку таго, што каманды рабілі працуючы ў пярэдні год, тое ўсё, што заключалася ў дадаўанні новых навыкаў і можаў.

Паўнае большасць прагрэсу з агентамі даўна выйшла з вікорыстоўванняя падтрымкі: планавання крокаў, ціклы верыфікацыі, навыкі, памяць, прыемы канектавання. Калі мадэлі былі слабейшыя, гэта мела сэнс, таму што такая падтрымка компенсавала тое, чаго мадэль не могла зробіць сама. Проблема ў тым, што ніхто не знімае гэтую падтрымку, калі мадэль наздаганяе. З’яўляецца абмежэнне, ствараецца альтэрнатыўны спосаб, і гэты спосаб застаецца назаўсёды. Гэта тэхнічны борг, спецыфічны для агентаў, і ён часта пагаршвае рэзультаты.

Калі падтрымка суперачыць мадэль

Разглянем сіткаву структуру, налаштаваная для 4,5-й і 4,6-й генерацыйяў аднай сямайеі модэляў. Яна планавала, пераканалася ў сваёй рабоце і адбывала дадатковыя перагляды пры адпаведзе, што тады было разумным падходам. Аднак калі тую ж самую структуру перанесці ў новейшую генерацыю, яна пачынае працаваць працоўна працоўніку. Модэль ужо сама так разумее без дапамогі спецыяльных настанов, пры тым час як сіткавая структура яшчэ прыказвае ёй сумневацца ў сабе, пераглядаць усё і пачынаць зноў. Яна плануе, а потым занова перэсвядчваецца ў сваім плане. Яна выкананае, а потым крытыкуе сваё выкананне. Яна пераканалася, а потым спарачуецца з сабой самай. Нявялікі час пасля гэтага агент застрэчаецца ў паралічы аналізу і вітрачае рэсурсы на запытанні пра рашэнні, якія ўсё ж былі правільныя. Гэта ўсьмо ўскладніць справу: адна парадка вперад, адна — назад, пры чым большая частка разумовых процэсаў не дае лепшага адпаведзення, а інодзе нават пагоршвае яго.

Дапытле, гэта пакуль толькі вясканне, таму вот што можна вымерыць. Аднам інжынеру належыць шаблон перагляду перад падачай змян, які ён правіў месяцы. Спачатку ён складаўся з 22 рэчэй, а зараз — з 37; колькісць відзнак перагляду зросла з двух да трох. Нічога ніколі не было выдалена. Кожны дадатак быў правілам, і кожнае правіле было дадана таму, што ў прыемным запрошэнні справды выйшла проблема. Зсероўні, так выглядае некантрольаваны накопіцэнне. Добрыя намеры — гэта тое, што прыводзіць да занадто большага колькісця правілаў. Кожная змяна рашала рэальную проблему ў дзень яе адбыцца, але відсутня другі крок: ніхто пазней не пераглядае, чыя правіле ўсё ўсё ўзаемна падтрымліваюцься. Ніхто не падточвае сокіру.

Компанія Anthropic сталкнулася з тым самым. У сваёй публікацы па тэхнічную тэму з апрэля 2026 года пра масштабаванне керованых агентаў яна пісала, што канструкцыі harness кодуюць прыпускі пра тое, чаго мадэль не можа зрабіць сама, і гэтыя прыпускі стаюць застарэлымі па меры прагрэсу модэляў. Іх прыкладам ёсць Sonnet 4.5, які завершае свою працу раней, калі відчувае, што падходзіць ліміт кантэксту; гэтая поведэнчна рэакцыя называецца «трывогай кантэксту». Яны дадалі можлівасць перазначэння кантэксту, каб супрацаваць з гэтым. У версіі Opus 4.5 гэтая поведэнчная рэакцыя знікла, а перазначэння кантэксту стало марным.

З гэтага вытыкаецца практычны прыём: калі з’являецца новая мадэль, спачатку патрабаваць, каб яя пераглянула свой існуючы harness прыемаючы новыя задачы.

Большая аналіза — не значыць больш сігналу

Патрабаванне ад агента дадатковага аналізу таямніча падташоўвае сігнал, і гэта вырабляецца частае, чым людзі чакаюць.

Анаіз коду чытка паказвае гэта. Направіце агента на які-небудзь код і паведаміце яму шукаць проблемы, і ён вярнёт самэ тыя проблемы. Дзеяныя з іх ёсць важлівымі. Іншыя — гэта дробныя зауважэння ў стылі, гіпотэтычныя крайнія кейсы або тверджэнні, якія тэхнічна правды, але не маюць значэння. Агент тут не паспялівае, таму што вы прасілі пра проблемы, і ён іх падаліў. Дзеяныя з нараджэнняў проста некарэктныя, што ёсць яго сабе проблемай, але найболей дорогіяя — гэта тыя, якія правыя, але не маюць значэння.

Проблемы пачынаюцца, калі яны накапліваюцца. Калі ёсць дзесяць правдападобных прычын, пытанне перастае быць такім, чыі з іх кожны ёсць правдападобным, і стае такім, калія з іх маюць значэння. Таму сістэма анаізу можа адразу падаць вам больш мяркаваінняў, але менш значымых сігналаў.

Рэальны прыклад паказвае, як гэта выглядае на практыцы. У запіце было прабавасяяць, каб канцэнтры падтрымкі вярнуў код 409, але ён вярнуў код 500. Найменшы правільны спосаб змены складаўся з двух ліній у аднам файле. У вярнутай просьбе пра змены было 13 файлаў і майжэ 500 ліній у трох службах. Большая частка з гэтага была тэстамі, таму гэта не было цэлым марнаваннем, але паўгодзіла вялікая кантыятка. Шысць спецыялізаваных адпаведальных за перагляд пераглядалі змены, кожны з іх выканаў сваю працу і знайшоў справжнія проблемы, а главны адпаведальны застосаваў усе іх, таму просьба пра змены значна распрашылася. Чалавек пабачыў гэты перабор, напісаў двухлінейную змену, і гэтае выданне было з’едынена. Занадто вялікая просьба пра змены была закрыта.

Ніхто з пераглядачаў не паспяў. 13 файлаў ніколі не было адной рашынкай. Гэта было 13 аддзельных рашынак, якія ніхто не аднакоўваў. Кожны пераглядач спытаўся, чы рэшэнне правільнае, але ніхто не спытаўся, чы гэта рэшэнне вообшча трэбае.

Адзыёванне адзыёнача не было правым рашэннем. Команда замест таго дала новаму адзыёначу працупаказванне працупаказванне: спрацаваць з разніцай як з чымось, што, верагатэльна, не павінна існаваць, і заставіць автара захаціваць кожны файл, каб яго застаўці. CUT быў стандартным выборам. Ён паказвае адзін паказнік — колькісць паданых файлаў у працупаказванні паўстаўнае мінімуму, і гэты паказнік паказвае, чыя размер змены ўсунуты.

Аналіз большага калекцыі файлаў не коштуе нічога. Сігнал — гэта тое, што ўскладненае, і аднавышаныя модэлі не даюць яго безкоштовна.

Anthropic таксама сталкалася з такой проблемай. У сваёй публікацы з марца 2026 года працоўнікі компаніі адпаведзялі на пытанне пра дызайн інструментаў для дапамогі у розробцы дапрынцоўных прыкладненняў і пояснілі, чаму агент для кодавання і яго атрыбут для ацэнкі былі роздзелены. Калі агентаў прасяць ацэніць працу, яку яны самі стварылі, яны часта са впэўненнем яе хваляць, нават калі людзі вважаюць яе якосць проста сярэдней. Атрыбут для ацэнкі можна прабачыць быць скептычным, тады калі агент сам ацэнюе сабе працу, гэтага зробіць нельга. Аднак ступень значэння такога атрыбута залежала ад задання: па простым заданням ён стаў зайвым, а па складным — продаваў рэальную дапамогу.

Разлік межаў між актыўным і корыстным становіцца ўсё большым, калі агент працуе цэлы дзень.

Агент, які завжды працуе, не павінен завжды думаць

З’явіліся агенты, створаныя для ротаціі спецавтаў у рэжыме нарадчага адпаведання. Яны сочаць за інжынерскімі каналамі і выявляюць усё, што людзі, якія знаходзяцца у рэжыме нарадчага адпаведання, павінны дазнацца. У тых каналах багато спілкування, і жадана людзь не чытае ўсё, таму агент, які працуе цілы час, можа пазначыць тое, што заступае людзі.

Першая версія была занадта складной: інструменты для перыяда тыпу maintenance-window, можлівасць самаперагляду службы, запыты ўзграджэнняя політыкі і інструкцыі пра тое, калі вікорыстоўваць кожны з іх. Автар назваў гэта on-call maxxing і зупініўся на паўпацёку. Насамперадж, былі два трэбаванні: быстра пазначыць інцыдэнты, каб нікому не падаўся сігнал, і сочыць за каналамі настацькі, каб справжнія проблемы былі розглянуты якомога раней. Для пазначэння інцыдэта быў патрэбны ўсьмоўны каманд без аргументаў. Рэшта нічога не дадавала і была адключана.

Нечытаўшы часу пасля гэтага той жа памылка з’явілася на наступным роўні, у самай архітэктурэ. Таймер запускаў цыкл кожныя дзесяць хвілін па кожнай змяні, і адна сесія продавалася ў працу над зборам кантэксту. Такім чынам, кожны раз перачытвалася транскрыпцыя, якая стаяла ўсё дыявольска дзьвягучая, і якая фіксавалася як запыты да кэшу Opus; да канца змяны ў яе было больш 150 тысяч токенав. За весь перыяд было зафіксавана 2,1 мільярда токенав запытав да кэшу, што за цэнамі команды дэйствавала прыблізна як $1,050. План з фіксаванай цэнай значыў, што прамага рахунку не будзе, але ўжо нават пасля дадання прыбавкі ў 50 процэнтаў тысячнае ліміт выкарыстоўвалася. Аналіз спрацоўкі паказаў прычыну проблемы.

Болейшы прыказ не быў рашэннем. Рашэннем была іншая дыяграма. З кожнага разу цыкл стварае короткачасовага агента Sonnet, чыя задача проста: прачытаць все новае, запісаць час апошньага перагляду для кожнага каналу ў маленькім файле і вернуць адну лінію. Пакалі сесія самога цыклу застаецца простай, дорогі мадэль запускаецца толькі тады, калі маленькі мадэль стае некантрольным. У тэрмінах коду гэта дало можлівасць адмахнуцца 79 ліній і цэлага компонента. Наступны перыод працы прыняўся без жадных важлівых прыгэў, а назіранне продовжаецца.

Прогназ быў такім, што звычайная ітэрацыя зменіцца з прыблізна $0,25 да адносна $0,03. Пры вылічэнні 433 ітэрацыяў старай дыяграмы па прыблізна цэлы перыод працы новай дыяграмы была атрыбутавана правільная працэнтная ставка, але ў іншай меры: прыблізна $1,85 за ітэрацыю раней і прыблізна $0,19 пасля, тое ў дзесяць разоў дышэўша. Форма проблемы была правільна адгукнута, але яе размер быў недаоценены.

Таксама важна інфармацыя пра тое, што не стала прычыной выкладоў. У пачатковым дызайне для фактычнага чытання канала вжывалася дырваная мадэль Haiku, якая станавіла менш чым 1 процэнт усіх запытань да кэша. Выклады выклікаліся тым, што родны сэшан зноў чытаў свой растучы транскрыпт па кожнай пераглядзе. Дырваная мадэль выканала працу, а дорогая была змушана чытаць усё занова.

З гэтага можна вывесты два урокі. Першы — паказваць, каб дорагая мадэль не павтарала працу, яку ужо выканала дырваная. Другі — па задачах з высокай частотай і нізкім рызыкам моцнейшая мадэль практычна нічога не дае, а ўплата за яе працу выражаецца тады, калі трэба раследаваць складныы інцыдэнт у працэсе. Найрозумнейшая мадэль не павінна быць найбольш адпрацоўванай.

Кантэкст не ў безплатнасці

Чым большэй становяцца вікна кантэксту, тым аднаковаўся падтрымкі да занадто складнага праектавання. Калі кантэкст быў скупы, выбір быў прымусовым. Цяпер лёгка прыймаць кантэкст за месца зберагачвання: падаюць размовы, дакументы, апісанні інструментаў, історыя і кожны навык, які можа дапамогчы, а потым модэль сама ўсё сортавае. Модэль не спрыймае кантэкст як месца зберагачвання. Усё гэта ўскладнюе саму проблему, якую трэба рашыць. Кожная інструкцыя — гэта ўсё больш элемент, які трэба адразумець, а кожны інструмент — гэта ўсё больш апцыя, да якой ён можа апысацца. Хутчэйшы агент, як і хутчэйша людзіня, патрэбуе большай концэнтрацыі, а не большых вхідных дадзенняў.

Гэта падае на пытанне, якое можна задаць любам агенту: што можна зробіць, каб не пагоршыць сітуацыю? Замест таго, каб стварыць ўсё новыя навыкі, лепшая адменаваць адзін з існуючых. Рабіце з меншым колькасцю кантэксту, чым сцягчаецца адчуванне безпекі. Адменаваць цыкл праверкі. Адбывайце опыты з меньшай частотай. Потым прымкніцеся да рэзультатаў. Калі нічога не пагоршыцца, агент стае дышэўшы без жадных затрат і, верагатна, лепшы, адколі модэлю трэба аналізаваць менша колькасць інфармацыі. Калі сітуацыя пагоршыцца, вы дазнаецеся, што даны навык не падходзіць для гэтага модэлю.

Ад максымізацыі всага да інжынерыі агентав

Пад всім гэтым лежыць адна прычына. Команды сталі асаблівыя ў максымізаванні усяго: больш токэнаў, кантэксту, навыкаў, інструментаў, памяці, механізмаў, способу разумовага аналізу, пераканання ў правядзібнасі і падагентаў. Дадаванне ўсё большых элементаў здаецца прынцыпам прыступу да прагрэсу, адколі сістэма становіцца болей складной, але складнасць і практычнасць — не сінонімы. У певны момент агента абгортае бюракратыя, а бюракратыя зазвычай ўсё толькі вялікі марнатрап.

Уявіце кожны элемент прыстрою як гіпотэзу, напрыклад:

  • Гэты навык дапамагае агенту пісаць лепшы код.
  • Гэты механізм запобегае справжнім аберанням.
  • Іншая пераглядовая процедура дапаможае знайсці багі, якія главны агент працягнуў не зазначыць.
  • Больш падагентаў дапаможу завершыць работу быстрэй.

Тое, што здаецца корыстным, — гэта толькі прыпуск насчыт вашай сістэмы, а не факт. Не можна ухіліцца ад нуднай часткі, яюю ёсць експерыментаванне. Запускайце працэс з і без данай спярозумеласці, потым з і без спецыяльнага элемента, і аналізуйце рэзультаты.

У публікацыі Anthropic пра дызайн крэплінга прама прызначаецца гэты прынцып: кожны элемент крэплінга містыць прыпуск насчыт таго, чым мадэль не можа распорадзіцца сама, і гэтыя прыпускі павінны працаваць пад навантажэнням. Іхнія спецыялісты створылі складны крэплінг, які працаваў, а потым пачалі выкасываць элементы по аднаму, ўбачыць, каліяя з іх маюць значэнне. Метод расчленавання на спрынты быў адмовлен, таму што завдзяк паліпшэнням у Opus 4.6 была вялікая прычына думаць, што мадэль можа сама выконваць гэту задачу.

Гэта навучае большаму, чым гасло пра тое, што выграюць простыя агенты. Спрытак трэба спрыяваць як дае, які трэба мерыць і налагоджваць. Калькі элемента становяцца непатрэбнымі, іншыя застаюцца, таму што мадэль яшчэ не можа выконваць тую задачу. Адзялэнне компонента і паказанне таго, што ніхто гэтага не пазіраў, ёсць складнейшым, чым яго дадзенне, і гэта пазначае межу между максымізацыяй усьго і інжынерыяй агентав.

Удосконаліце сапёр

Калі мадэлі стаюць крашчымі, спіс таго, што трэба адзяліць, расшыроўваецца. Работа, якой раней была патрэбна дапамога, паступова стае абавеснай, ціклы перагляду перастаюць правядзіцься з прычыны ўскоўнасці ўсіх затрат, а частка таго, што здавалася фундаментальной, адкрываецца як спосаб парадкавання мадэлі, якая ужо не працуе. Спрытак ніколі не ўжо готовы. Задавайце толькі пытанне, чы рэальна якая-небудзь частка яшчэ павышае рэзультаты для гэтай мадэлі і задачы, мерыце яе, адзяліце і вярніце яе толькі тады, калі доказы паказваюць, што гэта мае значэнне.

Існуе апофаг, які часта прыязначаюць Лінкольну: якбы ёму далі шас гадзін на зрубанне дрэва, ён бы першыя чатыры гадзіны пасвяціў на загадванне сякіры. Загадвайце сякіру.

Спадневая літэратура

  • DeepSeek Harness (dsh): Адаптаваны рэнтайм агента, які перапісвае свой сабе настройкі — што такое DeepSeek Harness, чаму яго агент, які сам сабе рэдагуе, выдзеляецца, як адражаваўся спільнатак, і што трэба падготавіць пры запуску яго з местнымі мадэлямі.