Агентскае знарэклісацыя з нуля: шась стадзеў і эксперыт, які ісольвае гэныя выгады.
Крэйс можа парадксальна спрыяць падышку рэзультатаў тэста больш, чым сама модэль. Створыце маленькі крэйс-агента ў шасці этапах і працаваце з кожной змянай аддзельна, каб выявіць, што на самай працоўнае дапамагла.
Крыніцы: Build an Agent Harness, Then Prove Which Change Moved the Score
Взяце адну мадэль для працы на межах і два інструментарыя для оцэнкі. За дапомогою першага ёй вдалося досягнуць 62,7 процента за крытэрыямі розумовых тэстаў, а за дапамогою другага — 99,9 процента, і гэта за адны тыждэнь. Разлік у 37,2 пунктав прымножыўся на разлік у 32,5 пунктав межа двумя лепшымі рэзультатамі на табелі лідэраў. Такім чынам, інструментарый, які працуе разам з модэллю, але не ёсць часткай яе самой, можа змяніць рэзультаты больш, чым сама модэлля. Ёсць кароткі огляд таго, што включае гэты інструментарый, маленькая структура ў шасці етапаў, а таксама фінальны крок, які паказвае, якія з вашых змян справжняя прычына падвышэння рэзультата.
Што ўключае інструментарый
Інструментарый складаецца з шасці элементаў, і ніхто з яных не тыкаецца у вагі модэлі.
- Сістэмны запрошчанне — тое, што модэлі паведамляецца пра ўсё, што стосуецца яе ролі і мерыябоў, перш чым пачнуцца задачы.
- Доступ да інструментаў: чы можа ёна запускаць код, чытаць файлы чы выканаць запіты да API, і што ёй вяртаецца пасля гэтага?
Кожны з гэтых пунктаў — гэта рашэнне, якое прымеў калісьці. Як толькі вы выберазе кантэйнер, вы перадзяючыце яго рашэнні, не бачачы іх. Гэта працуе добра, пакуль вам не трэба будзе поясніць, чаму вашы рэзультаты адрозніяцца ад чужых.
Чаму гэта важна
Эты эфект праўдзівы і ў меншых масштабах у падзеях нарадзей. Уявіце два модэлі, якія разыліцца на 0,7 пунктаў у тэстах кодавання, дзе змена параметраў прыносіць перабіранне рэзультатаў прыбліжна на 5 пунктаў. Разыліца, якую трэба вырахаваць, становіць прыбліжна сьведзёную частку шуму ў вымераннях. Аналогічны прыклад даўае той жа вывод: рэзультат інтэрактывага тэста для адного модэля, як паведамляецца, утроіўся, калі яго прадаўець увёў два налашчэння, якія дазволілі ўтрымваць логіку з аднаго крока да іншага. Той самы модэль, проста з дазволам застаўляць свою справную працу.
Самым чыстым з усіх ёсць гісторыя з рэальнага жыцця. Як паведамляецца, адзін інжынер взяў адну задачу на програмаванне і запускаў яе пяць разоў на той самы модэль, кожны раз дадаючы адну складовую крэплі. Пустыя базы дадзенаў даўалі прыблізна 20 процэнтав успеху. Файл з інструкцыямі падняў гэты показнік да адоўсоў 60, команды верыфікацыі — да 80, а файл з станам працы — майжэ да 100. Ніхто не падтвердзіў гэтыя цыфры, таму спрыймайце іх толькі як ілюстрацыю. Важлівае — гэтая структура, калі ўжо, таму што яна дазволяе аддзеліць вклад кожнага дадання, чаго немагчыма зробіць паўстанавленнем двух цэлых крэплі.
У публікованых робатах таксама прыказваецца тое ж. Адна тэхніка развівае прампты, аналізуючы практычныя працэўкі, і, як сказваецца, дастаёна на 10 процэнтоў лепшыя рэзультаты, чым базовая мадэль на адной з методаў падкрэплення, і да 20 процэнтоў у некалькіх прыкладах, пры чым колькасць прабоўкі зменшаецца аж у 35 разоў. Іншая тэхніка выкорыстоўвае накопаны кантэкст як эвалюючую інструкцыйную кнігу, якая дастаёна на 10,6 процэнтоў лепшыя рэзультаты у віконанні задач для агента. Постацэйны скрапбад дапамогаў аднай з модэляў павысіць рэзультаты у задачах з гэтымі загадкамі з 10 до 99 процэнтоў. У всых трох тэхніках вагі засталіся некалькі змяненыя.
Адзіныя нараджэнні суперачаюць з іншымі. У студзіі 2026 года прыстрой быў раздзелены на чатыры часты, кожная з якіх могла эвалювацыявацца, і спакульвалася, што такая структура прынесе плоды. Рэзультаты складалі 0,657 проты 0,642 для эвалювацыі адной плоскай строчкі; автары называюць гэты разлік незначным. Як яны тлумачыць, фіксаваны бюджэт оптымізацыі, разпадзены на чатыры часты, дае кожнай з іх меншы сігнал. Дадатковая структура за замовчаннем не дапамагае, і гэты нулявы рэзультат мае большую ценна, чым успехі, адколі ён выключае можлівасць тлумачэння прыстройкі як «бесплатнага обеду».
Стварэнне прыстройкі за шасць стадзій
Усё гэта складаецца з апошніх ста ліній без якога-лібо каркаса. Вы павінны запростаць адную функцыю, якая надае тэкст модэлю і вяртае тэкст.
Першая стадзія — гэта сама мінімальная частка, якая працюе: ёй трэба взяць заданне, вызваць модэль з адпаведным запітам і зафіксаваць час вызову.
import time
def run_task(task, call_model):
t0 = time.time()
output = call_model(task["prompt"])
return {"id": task["id"], "output": output,
"seconds": round(time.time() - t0, 2)}
Другій стадзія дазвае модэлю дзейваць і бачыць. Памагчык выканае каманду шэлу ў каталозе працы з таймаутам.
import subprocess
def run_command(cmd, workdir, timeout=60):
try:
r = subprocess.run(cmd, shell=True, cwd=workdir, timeout=timeout,
capture_output=True, text=True)
return {"exit": r.returncode, "stdout": r.stdout[-4000:],
"stderr": r.stderr[-4000:]}
except subprocess.TimeoutExpired:
return {"exit": None, "stdout": "", "stderr": "timed out"}
Ўж два рашынанья ўжо там знаходзяцца. Рэзультат скрачваецца да последніх 4 000 сімвоў, а каманды прыпыняюцца пасля 60 секунд. Аба яны зменяюць тое, што бачыць модэль, таму аба яны павінны быць у вашых нотатках як частка інструментарыя, а не самай задачы.
Трэці этап выбірае, што будзе перадавана между раундамі, ствараючы спіс паведамленняў на адной з аснов: сістэмнага запросу, задачы і історыі.
def build_messages(task, history, carry_reasoning=True):
msgs = [{"role": "system", "content": SYSTEM},
{"role": "user", "content": task["prompt"]}]
for turn in history:
if carry_reasoning:
msgs.append({"role": "assistant", "content": turn["output"]})
msgs.append({"role": "user", "content": format_result(turn["result"])})
return msgs
Зробіце выкорыстанне логічных раследаванняў флагам, а не жорсткая настройкай, таму што вам знадобіцца мерыць обе настройкі.
Чэтырый этап аналізуе дзеянне з выходных даных мадэлі, не прыпінаючы працу без паведамлення.
import re
ACTION = re.compile(r"<action>(.*?)</action>", re.S)
def parse_action(output):
m = ACTION.search(output)
if m:
return m.group(1).strip(), "matched"
fence = chr(96) * 3
alt = re.search(fence + r"(?:bash|sh)?\n(.*?)" + fence, output, re.S)
if alt:
return alt.group(1).strip(), "fallback_fenced"
return None, "no_match"
Запісуйце другую значэнне, якая вяртаецца, адколькі ў яй маецца найбольша колькасць інфармацыі. Калі значны частак працаванняя заканчваецца на альтэрнатыўным рашэнні, парсер больш ацэнюе фарматаванне, чым спроможнасць, і рэйтынг не можа паказаць, калі самэ гэта. Апошні прыклад: дэтэктар, які пераканаліваў, чы не завершыў модэль работу, перажыў пяць кейсаў верыфікацыі, але працягнуўся два явныя заявы, таму што канецкі знак у назе файлу перарваў шаблон, заснованы на рэчэнні. У протаколах было напісана, што тэсты працягнуліся, а дэтэктар не зафіксаваў жадных заяв.
Пяты ўрадок — гэта цыкл, з максымальным колькасцю разоў у восем.
MAX_TURNS = 8
def agent_loop(task, call_model, carry_reasoning=True):
history, workdir = [], task["dir"]
for turn in range(MAX_TURNS):
out = call_model(build_messages(task, history, carry_reasoning))
action, parse_status = parse_action(out)
result = run_command(action, workdir) if action else {"note": "no action"}
history.append({"output": out, "result": result, "parse": parse_status})
if action and task["done"](workdir):
return {"solved": True, "turns": turn + 1, "history": history}
return {"solved": False, "turns": MAX_TURNS, "history": history}
Тут task["done"] — гэта функцыя, яку вы задаеце, якая аналізуе рэальны стан справы замест таго, каб паверыла твэрджэнням мадэлі. Гэтае адрасаванне ператварае дамонстрацыю на прамеры.
Шосты ўрадок і ёсць тое, што прыводзіце весь гэты механізм у стан інструмента: функцыя эксперыменту, якая выкананае кожную задачу пад кожным варыянтом, павтараючы кожную з іх калькі разоў.
def experiment(tasks, call_model, variants, runs_per=2):
results = []
for name, config in variants.items():
for task in tasks:
for r in range(runs_per):
out = agent_loop(task, call_model, **config)
results.append({"variant": name, "task": task["id"], "run": r,
"solved": out["solved"], "turns": out["turns"],
"fallbacks": sum(1 for h in out["history"]
if h["parse"] != "matched")})
return results
variants = {"carry_on": {"carry_reasoning": True},
"carry_off": {"carry_reasoning": False}}
Зменіце адзін элемент, залейчыце рэшту незменнымі, запрацавайце оба варыянты і параболіце рэзультаты. Гэты метод часта не выкорыстоўваецца практычна ў жадных опублікованых порэвняннях. Зменяйце мадэль, запіт і ліміт колькасці паслядоўных крокаў адночасна, і вы нічога не дазнаецеся пра тое, што самэ ўплынуло на змяну рэзультатаў.
Што мерыць і чаго спакушацца
Варта сочыць за чатырма показнікамі. Першы — гэта шчыльнасц рашэнняў для кожнага варыянта. Другі — колькасць паслядоўных крокаў, неабходных для рашэння, адтолькі ў варыянта, які досягае таго ж рэзультата за меншы час, вартасць ніжэй. Трэці — як часта падчас аналізу выкарыстоўваецца запасны варыянт. Чатвёрты — насколькі разлічныя ў рэзультатах адразу калькыляціі для адной задачы, і гэта ёсць найболей значны показнік. Калі ідэентычныя калькыляціі даюць розныя рэзультаты, можа значыць, што шум большы, чым эфект, які вы прагледзеце.
Не дывіцеся, якшо першы рэзультат пакажае два варыянты на роўных. У адной з прымёркаў такога дзеяння два мадэлі працавалі над дзесяццю малымі задачамі з выправлення бягаў по два разы кожны, і ўсе працэсы завершыліся успехам, таму нічога не розлучала іх. Задачы былі занадта простыя, ўсёлякія адрозненні не было можлівага. Гэта звычны рэзультат, і ён говорыць пра самыя задачы, а не пра мадэлі. Выбірайце такія задачы, якія даюць сярэдні рэгліў раскрычвання, значна ніжы яго максімум.
Меры
Інструмент не можа даць модэлі спосабнасцяў, якіх ёй бракуе, таму кожны прырост абмежваецца тым, што дазволяюць яе вагі. Інструмент, налаштаваны пад вашыя задачы, таксама не будзе эфектываў. Тое, што ўспэшна рэмонтуе код, не будзе ўспэшна працаваць пад час вільнага адкрывання новых можлівасцей, адтуды ўпоры таксама разныя.
Такім чынам, сэрца падыходу ніколі не было ў тым, што модэлі некальківалі. Порэванні рассматрываюць іх так, нібы змянюецца толькі адна з іх, хоча змянююцца обе, а фіксуецца толькі адна.