Ацэнка і оптымізацыя агентаў: порэванне DSPy, TextGrad, Reflexion і OPRO

Команды рэдкая разважаюць адразу пераходзіць да автаматызаванага ацэнкавання і оптымізацыі агентаў. Звычны шлях — паэтапны: спачатку выкорыстоўваецца хуткае запрас і калькі експэрыментаў, пасля — павтаральныя замеры, потым цэльвыя налашчэнні, і нарэшце — дастатковая вярасць, каб выдаты змяны пад контролем.

Зазвычай усё пачынаецца з агента, у якога ёсць сільнае сістэмнае запрас, калькі інструментоў і дэманстрацыя, якая захопляе. Оось хорашы пачатак, але гэтага мала. Калі больш людзей пачынае павяржацца ў агента, пытанні стаюць практычнымі. Калкі робочыя працэсы будуць працаваць, а калкі зламаюцца пад вялікім навантажэнням? Што будзе з ягоя поведэннем, калі будзе апдэйтавана асновная модэль? Чы робіць агент добра ў тых справах, якія найбольш важлівы для аперацый, кантролю рызыкаў чы кліянтаў?

Інжыніроўка запросаў — гэта важлівая першая навык, але прамоўнасць даходзіць за счыткам аплектавання агента дысціплінованага цыклу пасляўпрабавак. Агент, які можа быць сістэматычна ацэнены, можа быць і сістэматычна паспрабаваны, а той, які можа быць сістэматычна паспрабаваны, можа быць керованы з набагато большай вярасцю. Таму награда — гэта не проста лепшыя запросы. Гэта керованы цыкл навучэння для сістэм на адной мове: пацікавіцца, што значыць «добра», вымерыць працэю агента па гэтым крытэрыям, застосавіць цялевую оптымаўзацію і зафіксаваць достатню колькасць даных, каб паверыць у рэзультат.

Пяць падходаў раздзеляе гэты прынцып: DSPy з яго оптымаўзаторамі MIPRO і COPRO, TextGrad, Reflexion і OPRO. Іхнія механізмы, ступень прамоўнасці і адпаведнасць да практычных задач разніцацца, але кожны з іх адпавядае на аднае пытанне: як агент пераходзіць з ручных паспрабавак запросаў да павтаральных, абмежаных метрыкамі удосконаленняў?

Ацэнка знаходзіцца ў цэнтры кожнага цыклу

Самы ўпростоўны спосаб разглядаць гэтыя методы як адну семью — гэта як разныя способы аналізу поведэнцы агента. Усе яны выклікаюцца чатырма аднаковымі элементамі.

• Што-небудзь, што можна зменіць: програма агента, запіт, працэўны лянцуг або правіла прыняткі рашэння.
• Набор задач, набор для ацэнкі, які прадстаўляе тое, што агент павінен выконваць.
• Крэтарыя, будзь то метрыкі, крытэрыя, награды або правіла успеху, якіе разлічаюць лепшыя рэзультаты ад горшых.
• Оптымізатор, як выразны, так і неявны, які прымеўляе змены на аднойчынку па ранейшых рэзультатах.

Якшча дывіцца так, гэтыя тэхнікі стосуюцца оптымізацыі з закрытым цыклам больш, чым стварэння запітоў для агента. У компаніі стварэнне адного лепшага запіту рэдкая ўскладненая частка. Аднародны спосаб павышэння поведэнцы агента ў многіх задачах ёсць ускладненным, таму што кожная перадача мае свой цэну:

• точнасць проты часу адпаведзення

Якасць па адліквіднасць віток

Захопленне па рызык перэадаптавання

Аўтонамія па кантроле

Шырыя можлівасці па налаштаванне толькі для конкрэтных задач

Локальна паспрабованая мера па надзею на надзейнасць цэлага сістэмы

Таму бібліятэкі лепей спрыяе розумець як пазычныя точкі ў прасторэ дызайну для паспрабоў удосконаліць агенты, а не як конкуруючыя трыкі з падказкамі.

Чаму тыранія зрастае

У пачатковых праектах агентоў у корпорацыях зазвычай выкорыстоўваецца інтуіцыя экспертаў. Кваліфікаваны спецыяліст перапісвае падказкі, налаштоввае апісанні інструментаў, дадае прыклады і зноў тэстуе, пакуль рэзултат не стане прыемным. Для адной-двух сцэнарыяў выкарыстоўвання гэтага дасыць.

Эта сістэма перастае працаваць, калі калькі команды адночасна ствараюць агенты, калі запіты зміняюцца ў разных сэрвісах, калі даныя для ацэнкі розсеююцца, калі команды маюць разныя паняванні пра якасць, калі апдэйт мадэлі зменяе ўзоры яе дзейства неперакладнымі способамі, або калі лёгкія для перагляду журналы дзействаў і рэгламенты выпуску пачынаюць мець значны вага.

Тады патрэбна дысцыпліна, сэродная MLOps, прыстосаваная да сістэм, створанных на аднойчынных мадэлях. Звычны тэставанне програмнага забезпечэння неабходна, але недастаткова, а класычная ацэнка машыннага навучэння дапамагае, але не пакрывае усё. Агенты дадаюць своія сабэйны элементы: запіты, вызовы інструментаў, спосабы выкарыстання даных, структуру планавання, памяць, спробы перапрыявлення дзействаў і чутлівасць да конкрэтнай мадэлі. Аўтоматызаваная ацэнка і оптымізацыя ствараюць практычныя засобы для кантролю над гэйманоўнасцю.

Чатыры галоўныя тэхнікі

DSPy з MIPRO і COPRO: оптымізацыя праграмы

Сярод гэтых інструментаў DSPy даходзіць далей у стварэнні можлівасцяў для програмавання працы модэляў у зместы замест ад случайных рашэнняў. Прыказы больш не ёсць едынаковымі стрэлкамі, а пайплайны задаюцца структураваным спосабам, што дае можлівасць эфектыва працаваць над паліпроцэсам.

MIPRO і COPRO — гэта автаматызаваныя оптымізаторы ў гэй экасістэме. MIPRO налаштоввае прыказы, інструкцыі і дэманстрацыі на адповеднасць певным крытэрыям і падходзіць для команд, чыя задачы ўсталяваныя і якія хочуць, каб пошук знайшоў настройкі прыказаў, калісця лепшымі, чым мог бы зробіць чалавек уручную. COPRO таксама доўнелівае прыказы і програмы па адной лініі. Основная ідэя спакульна: програма становіцца об’ектам, які можна скомпіляваць, налаштовваць і перэоцэніваць, а не проста рэдагаваць уручную.

У практыцы гэта дае аўтаматычную складанню запрасу, можлівасць выбору прыкладаў з некалькіма кейсамі, налаштаванне запрасу па інструкцыях, прагрэс за дапамогою метрык і чысцейшы разлік межаў логікі задання і гэтага оптымізаванага запрасу. Рэзультатам являецца воспавямліванасць, моцнейшая база для офлайн-ацэнкі, меньшая залежнасць ад індывідуальнага стварэння запрасоў і оптымізацыя, якая нагадвае інжынерную працу, а не фольклор.

Для компаній, якія хочуць серйозны внутрашні працэс оптымізацыі замест адразу купы ручна створаных запрасоў, DSPy ўваходзіць у чысле найкрашчых вароў, бальшаваць для заданняў, якія падходзяюць пад павтаральныя модулі і стабільныя метрыкі. Аднак у яго ёсць меры. Ён працуе найкрашча, калі заданне ўсталявана настаткі, каб набор для ацэнкі могаў кераваць пошукам, і ён не такі чудо-працэздатны, як можа здавацца. Калі сігнал слабы, частковы або несувязаны, оптымізатор проста становіцца лепшым у неправільным напрамку.

TextGrad: крытыка як градыент

TextGrad выбірае адрыхлейшы падход. Замест чысловых градыентаў ён апыягаецца пісьмовымі адзінакамі і сігналамі апдэйта, каб паспрабаваць падбіць запросы і элементы, сэродзеўныя ім. Логіка глыбока: калі мадэль можа сказаць, што не так у выніку і як гэта паспрабаваць выправіць, гэтыя прымечанні можу служыць сігналам для оптымізацыі.

Ён падтрымляе паўторную перработу тэксту запроса, абнаўленні у стылі оптымайзера, а таксама работу над сістэмнымі запросамі, крэтыкамі, планамі чы нават інструкціямі з ацэнкі. Оптымізацыя становіцца ітэратывным працэсам у замест адной локальнай пошуку. Ён падходзіць для сітуацыяў, калі правільныя адзінакі лёгкей сказаць словамі, чым цыфрамі, і можа падбіць як крэтыку, так і сам запрос задання.

Ёго лепшае спрыткаванне — як перспектывнага прымітыву, а не як готовай рашэнні для всей організацыі. Ён падходзіць там, дзе каманды хочуць удосконаліваць запросы, планы і крэтырыя оцэнкі за дапамою адзываў на аснове мовы, але ён не ўзьміцца як стандартна апштара для всей організацыі. Яго галоўная сіла ёсць таксама і яго галоўная небяспека: сігнал аб актуальненні сам ёсць мова, створаная модэлем. Без дысціплінованага каркаса для адзыначэння якосці гэта можа зробіць оптымізацыю менш стабільной, менш зрозумелай і важкай для аўдыту.

Размышленне: навучанне на адной зневярэнных спробах

Размышленне адрозніцца ад двух паказваных раней. Яго мета — не компіляцыя запросаў па афлайн-шляху. Ён стосуецца самапраграскі пад час выканання, якая керуецца размышленнямі пра невярэнныя спробы. Пасля неудачной спробы агент пішае крытыку, і гэта запам’ятанае размышленне напрамоўвае празбавы пазней. Рэзультатам ёсць просты цыкл навучання, які не выкарыстоўвае налёгчання модэля.

Ён адказвае можлівасцю прабаваць знову, выконваючы самакрытыку, пам’ятуючы прыклады паўзлів у мінулом, выправляючы траекторыю дзеяння агента і прыстосоўваючыся пад час кожной спробы. Багато проблем агента ўзагалі не ёсць пробамі, якія можна рашыць за адразу; гэта пробламы выканання, такія як некалькаснае мышленьне, неправы выбор інструмента або пропуск пераканальняў, і рэфлексія дапамагае павернуцца з гэтых сітуацыяў. Кроме таго, ён прыбліжае працэс навучання да рэальных умов працы больш, чым можна дасягнуць толькі за дапамогою офлайн-тэстаў.

Для агентаў, які функцыонуюць як рабочыя праграмы, а не як генераторы на адну спробу, Reflexion мае вялікую значымасць, особліва там, дэе можна сабраліць патэрны частых абяканняў і гэта прыносіць дадзеныя. Яго зазвычай рэалізуюць у вачынку коду, а не як адну стандартную бібліятэку, таму компанія павінна спрыйматы яго як шаблон дызайну, канстантны ў сваём слою оркестрацыі, а не як рашэнне постаўшчыка. Апасцярожнасць трэба падкрэстыць: неакранізаваная самакрытыка прыносіць затрымкі, вышчыкі і нэўнаследжанасць. Reflexion павінен керавацца правіламі, запусквацца выборча і ацэнювацца як і будзь-якае інша дзейнасць.

OPRO: модэль як оптымізатор

OPRO, скрацанне ад Optimization by PROmpting, прыменяе мовную модэль як оптымізатор. Яна пропануе лепшыя варыянты запітоў, выкарыстоўваючы історыю пакананых ранейся рэзультатаў, тады адна модэль шукае варыянты інструкцый для іншай модэлі чы програмы.

Ён абараняе шуканне за апаведамом, стварэнне кандыдатаў і ўпорадакоўванне іх, а таксама ітэратыўнае паслабленне. Яго логіка базуецца на тым, што мадэлі мовы добра справляюцца з падборам альтэрнатыўных формулюваń, таму быстра ствараецца разнаобразны прастор шукання, а падход можа адаптавацца да багацькоў віда задач.

OPRO мае стратэгічную ціннась, хоць часта належыць скорэй да інструментаў для експерыментавання, чым да стандартнага набора платформ. Ён зазвычай выклікаецца ў кодзе даследнічага тыпу або у спецыяльных цыклах, а не ў стандартызаваных бібліятэках для працы. Яго найкрашчая аплікацыя можа быць як складовая частка кантроліруемага шукання ў рамках большага сервіса оптымізацыі, а не як самастоятэльны інструмент, які прыменяецца безпосерэдна распрацоўшчыкамі.

Два спосабы сортавання варыянтаў

Тэхнікі можна распаўзіць па двух осях: дзе адбываецца оптымізацыя і што саме оптымізуецца.

Па месцазнаходжэнні:

• Аптымізацыя паўнастая працы павінна включаць DSPy з MIPRO і COPRO, TextGrad і OPRO.
• Адаптацыя пад час выканання або для кожнага эпізода — гэта сфера прыменення Reflexion.
• Магчыма таксама гібрыдны спосаб выкарыстоўвання, адколі сігналы з запускаў Reflexion можна збіраць паўнастая працы і вводзіць у ціклы у стыле DSPy-, TextGrad- або OPRO.

Па цэлі:

• Тэкст запрасу і інструкцыі обрабоўваюцца за дапамогою MIPRO, COPRO, TextGrad і OPRO.
• Прыклады з малай колькасцю прыкладоў налаштовуюцца за дапамогою MIPRO і COPRO.
• Структура програмы і складовыя канвею належаць шырэйшай экасістэме DSPy.
• Траекторыі выканання і вярнэнне пасля адхылень — гэта сфера прыменення Reflexion.

Абаронны прынцып обох табелей — гэтыя методы дапамагаюць аднам другаму, калі толькі яны знаходзяцца ў правай архітэктурэ керування.

Продовжайце вімеры і прагрэс як окрэмыя слоі

Сярод архітэктурных памылак самая дорогая — гэта прыемка метода оптымізацыі раней, чым існуе надзеяна практыка ацэнкі. Калі ацэнка ў слабым стане, оптымізацыя стае небяпечной, адтуды што прыстрой для оптымізацыі будзе паспрабоўваць паспрабаваць павысіць карэнтны стан чаго-небудзь, што яму даўця, укладаючы ў гэта і элементы, якія не адносяцца да рэальной бізнес-цэні. Роцэнныя падходы дзеля правільнага дызайну дзеляюць працэс на два слоі.

Структура ацэнкі візначае і атрымлівае рэзультаты мераванняў. Яна должна мяць наборы дадзеных для стандартных тэстаў і рэпрэзентатыўныя заведамы, паметры і крэтырыя, прыдатныя для конкрэтных заведамых, даныя пра траекторыі дзейнароў, паметры вартоў, часу адпаведзення і надзеянасці, аналіз важлівых падгруп або спосабаў абыякання, а таксама механізмы выпуску з можласцю выяўлення рэгрэсіі.

Механізм оптымізацыі берае рэзультаты адзынакоўвання і прыметлівае, а таксама параболяе і пераканальвае ў внесенні палегчэнняў. Яго сфера: налаштаванне запытанняў, выбір прыкладаў, заданне правіл адбівання падчас выканання, стварэнне і пошук кандыдатаў, адстэйкаванне эксперыментаў адночасна, а таксама правілы прызначэння, якія вяршаюць, калі перспектывны кандыдат стае затверджаным стандартам.

Разлік мае значэнне, таму што адзынакоўвання — гэта можлівасць керавання, а оптымізацыя — механізм змян. Компаніі патрэбны і тое, і другое, а іх памешчанне — глытак.

Скромны спіс

Для практычнага корпоратыўнага стэку, на адміністрацыю да акадэмічнага падходу, спіс кандыдатаў трэба скасці рэшуча. Не кожная перспектывная ідэя для даследжэння заслугвае на тое, каб стаць залежнасцю першага класу для платформы.

DSPy як галоўная рамка оптымізацыі. Яна забезпечвае наймоцнейшую структуру для адносу да програм-модэляў як да аб’ектаў, якія можна оптымізаваць. MIPRO і COPRO безпасяродна адпавядаюць практычнай налаштовкі запітоў і прыкладаў, а весь падход лепей паслужыць для повтаруваных внутрашняях робочых процэсаў, чым спрывочныя запіты. Яго ролі — як стандартны механізм для стабільных задач, як аднойчына для компіляцыі запітоў па зніжанню інтэрнэт-з’яносу, а таксама як галоўная абстракцыя для команд, якія жадаюць повтаруваных, метрычна-кераваных рэзультатаў.

Рэфлексія як стандартній шаблон выканання. Гэта не обов’язково мае буты окрэма залежнісць. Яна спрамована на розв’язання іншоі проблемі, ніж DSPy, а саме на відновлення під час выканання, і допомагае агентам, што вікорыстовуюць інструменты, і багатокроковім робочым працэсам. Яна інтэгруецца в шары оркестраціі, такі як LangGraph чы звічайні віконавці Python. Іі функція — гэта політыка вібіркового повторного спробування і аналізу для агентаў робочых працэсів, джэрэло структурованіх даных про помілкі для подальшоі налаштування поза мерэжэю, а таксама стандартній спосіб здыйснення обмежэноі самокорэкціі.

TextGrad як перэдовій, експерыментальній варыант. Ён пропонуе новій прымітыв удосконалення, які підходыць для запітыв, крытэрыів оцінкі чы планів, што отрымуюць корысць ад ітэрацій, заснованіх на крытыці. Яго найкрашчэ додаваты пасля створэння стабільноі сістэмі оцінкі. Яго роль — гэта спеціалізованій інструмент для команд з оптымізаціі, які вікорыстовуецца там, дэ пісьмові відгукі ёсць більш ціннімі, ніж простый рэйтынг.

OPRO – з ніжней прыорытэтам як стандарт платформы. Ён частаеўш застаёцца лепшым у якосты внутранняга рэжыма оптымізацыі, чым як выбор центральнай бібліятэкі. Большасць яго ідэй можна рэалізаваць за дапамою спецыяльных цыклаў пошуку, адаснованых на болей моцным крэтырыі ацэнкі, і ён не яўляецца наіболей прыдатным стандартам для звычайных разработнікаў. Як толькі ён вікорыстоўваецца, яго трэба прыменяць як стратэгію пошуку ў межах центральнага сервіса оптымізацыі або як засоб для експерыментавання для команд платформы.

На чым будаваць далей

Распрацоўшчыкам не трэба ў кожны праект складваць гэтыя тэхнікі з первісных бібліятэкаў. Большасць команд не выкарыстоўвае пяць парадыгм оптымізацыі на роўні аплікацыі. Ім патрэбная простэйшая внутраняя платформа, якая вірашае пытанні апрацоўкі, вімеры, паслаблення і падтрымкі якосці агента. Розумны выбар — гэта лёгкая, але чыста спрамованая внутраняя платформа, створаная на адзінай, выбранай групе бібліятэкаў. Яна должна маскаваць ненаватныя складнасці, адночасна стандартызуючы важлівыя элементы керування.

1. SDK для ацэнкі. Адна спяльная метода для апрацоўкі задач, набораў дадзеных і паказначыкаў агента. Яна стандартызуе схему тэстовых кейсаў, апэктывныя выходы чы рубрыкі ацэнкі, фармат логавання, фіксацію вартоў і затрымакаў, версіяванне набораў дадзеных і базы для рэгрэсійных тэстаў. Мета: каманда можа апісаць свой агент, свой набор для ацэнкі і паказначык успеху без неабходнасці пісання спецыяльных інструментаў.

Служба оптымізаціі. Гэта кантралявана служба, якая віконуе задачы оптымізаціі, шчоб команды не створувалі власніх цыклів. Яна підтрымуе налаштування за допомогою DSPy, необов’язкову настройку TextGrad, пошук за прынцыпом OPRO, параўнання експерыментыв з відображэнням рэзультатыв у фарматы топ-лісту, а таксама працэсі схвалення кандыдатыв. Розробнік можа замовіты налаштування агента для певноі версіі набору даных у межах встановленіх обмежэнь шчодо часу адказы і вітрат, шчоб отрыматы кандыдатыв для параўнання.

Слой політык рэфлексіі пад час выканання. Паведамленні, сэродныя рэфлексіі, стаюць частынай настройкі замест самапрарабатанага коду ў кожным агенце. Політыкі включаюць правіла ўзнавання падчас перапрыбуткаў, моменты актываціі рэфлексіі, колькасць дазволеных перапрыбуткаў, якую інфармацыю пра пакульшыя неудачы трэба зберагчы, а таксама калі трэба перадаць задачу чалавеку або выкарыстаць запасны алгорытм. Команды можу самастойна правіляць сваея дзейнасць за дапамогою шаблонаў і такім чынам ухіліваюцца ад стварэння некансістэнтных логікаў перапрыбуткаў.

Рэжыстар запросаў і політык. Запросы, крэтырыя і элементы оптымізацыі адносуюцца да кераваных актываў: яны зберагаюцца у версіях, існуе цэласна лінія прыняцтва рашэння ад запроса да эксперымента да выпуску, ёсць прыміткі пра сумеснасць з мадэлямі, падтрымка адкатаў і запісы затверджэння для версій, прызначаных для практычнага выкарыстоўвання. Такім чынам запросы стаюць частынай настройкі, якую можна размясціць, а не проста тэкстам, копіюемым между зошытамі і рэпазітарыямі.

Спяюванне з планам керування падчортком адміністрацыі. Шаблон наладжвае звязакі з інструментамі CI/CD, апаратамі для стварання статыстык, каталагамі модэляў, інструментамі для карыстоўвання секрэтных дадзеных і керування сераўнамі, механізмамі керування дадзеннямі і працэсамі затверджэння для высакарысных сцэнарыяў. Такі звязак аддзеляйце бібліятэку тэхнік ад можлівасцяў падчортка.

Для большасці разрабоў гэта должна складацца з чатырох основных пунктав: адзначэнне кантракту агента, запасты кейсаў для ацэнкі, выбор рэжыму оптымаўвання і перагляд кандыдата пасля яго размешчэння з атрактыўным справаздачай. Пад спадам можа выкорыстоўвацца будзь-якая з чатырох тэхнік, але тое, што бачаюць разрабы, должна застаўцца простай. Проблема масштабавання рэдка каштуе ў нехватцы алгорытмаў; яна выступае ў форме розпрыскання індывідуальных, неадэкватных цыклаў паліпшэння між камандамі.

Этапавая рэалізацыя

Першы ўраг: дысцыпліна ацэнкі. Перш чым прыступіць да шырокай оптымаўзацыі, створыце спяльныя схемы ацэнкі, рэтэльна падготавленыя наборы даных для кампаратыў, механізмы фіксаціі і перэгляду рэзультатаў, а таксама базовыя показнікі за вартасцю, затрымкай і яшчэннем задання.

Другі ўраг: оптымаўзацыя без падключэння да інтэрнэту з DSPy. Зробіце DSPy са MIPRO і COPRO галоўным механізамам для стабільных класаў заданняў, які будзе абавявацца складаннем запітоў, выборам прыкладаў, налаштаваннем інструкцый і можлівасцю павторных, перадбачальных пораўнанняў експерыментаў.

Трэці ўраг: рэфлексія пад час выканання з межамі. Уведзіце прынцыпы у стылі Reflexion для агентаў, чыяя непаводкі часта можна выправіць праз павторныя спробы з аналізам прычын, селектыўныя павторныя спробы, структураваную памяць для рэфлексіі і дыягнастыку на рэвалюцыйным роўні.

Чэтвёрты ўрад: прыглыбленыя рэжымы, рэдка. Дадзіце TextGrad і пошук у стылі OPRO толькі там, дзе існуе чыткая патрэба і калі аналіз достатньа развіты, каб кераваць імі. Гэта зазвычай павінна застацца можлівасцю команды платформы, прычыму не дастыся да звычайных распрацоўшчыкаў.

Дзе выходзіць напамінак

• Перанасыцэнне метрыкамі. Вузкая або застарэлая база практык вучыць оптымізатора самой базе практык, а не рэальнай задачы.
• Хуткабяжучыя крытэрыяў. Калі оцэнка базуецца на слабых або нэўпорадкованых мадэлях-суддзях, оптымізацыя ганяецца за особлівасцямі адгукніка.
• Локальныя успехі, глобальныя прытупленні. Налагоджэнне адной падзадачы можа тыха падняць косцы або спамтавіць іншыя крокі, або змяніць працэю рэшты рабочага прайсепту.
• Шумная рэфлексія. Рэфлексія без меж правіл вырабляе больш токэнаў і больш затрымакоў за мінімальную рэальную выгоду.

Фрагментацыя арганізацыі. Калі кожная команда выбірае сабе свае бібліятэкі оптымізацыі і правіла адказоў, компанія трапляецца без можлівасці порэйнаўання і кантролю.

Усе гэта ведае да аднаго заключэння: оптымізацыя ёсць настолькі ж эфектыва, насколькі ўзгодныя з яю методы адказоў і керавання.

Форма адказу

Тое, што з’еднае DSPy, MIPRO, COPRO, TextGrad, Reflexion і OPRO, — гэта не тое, што кожны з іх павышае якасць запрошэнняў. Кожны з іх прагчыць ператворыць павышэння якосці агента ў сістэму зворачных выяўленняў. Стратэгічны падход — не адкрываць кожную ідэю для кожнаго разрабоўца, а стварыць контролюемую внутранюю структуру, дзе адказы стандартызаваныя, оптымізацыя ўскарыстоўваная выборча, рэфлексія пад час выканання адпаведна політыцы, а варыянты запрошэнняў кераваныя як продукцыйныя рэсурсы.

Для болейшаў захоплення рэкамендацыямі найболей эфектыўны падход — гэта дазволіць DSPy з MIPRO і COPRO выканаць оптымізацыю па афлайн-шляху, выбраць Reflexion як спакаваны шаблон работы для самаўтвэрджэння з межамі, вызначыць TextGrad для спецыялістскіх каманд, а OPRO рассматраць пераважна як внутранюю тэхніку пошуку, а не як залежнасць для распрацоўшчыкаў. Пераможцямі сярод корпаратывных агентаў стане тыя, у якіх высокая якосць цыклу адзываў, пры чым швальнае спрытнасць мае значна меншыя наследкі.