Створення агента Harness з нуля: шість етапів та експеримент, який ізолює досягнення
Пристрій кріплення може покращити показники тестів більше, ніж сама модель. Створіть невеликий пристрій кріплення для агента у шести етапах та тестуйте кожну зміну окремо, щоб з’ясувати, що насправді допомогло.
Джерела: Build an Agent Harness, Then Prove Which Change Moved the Score
Візьміть одну модель для роботи на межах та два інструменти оцінки. За допомогою першого інструменту модель досягла 62,7 відсотків у тесті на міркування, а за допомогою другого — 99,9, і все це протягом одного тижня. Різниця у 37,2 бала перевищує різницю у 32,5 бала між двома найкращими результатами у топ-листі. Отже, механізм, який оточує модель, але не є частиною неї, може змінювати результати більше, ніж сама модель. Нижче наведено опис того, що входить до складу цього механізму, короткий опис його створення у шести етапах та останній крок, який показує, які саме зміни справді вплинули на результат.
Що знаходиться всередині інструменту
Інструмент складається з шести елементів, і жоден з них не торкається ваг моделі.
- Системний запит — це те, що повідомляється моделі про її роль та обмеження перед виконанням завдання.
- Доступ до інструментів: чи може модель виконувати код, читати файли чи звертатися до API, та що вона отримує у відповідь?
Кожен з цих елементів є результатом рішення, прийнятого хтось інший. Якщо ви використовуєте певну платформу, ви успадковуєте її рішення, не бачачи їх. Це підходить добре, поки вам не потрібно пояснити, чому ваш результат відрізняється від результату іншої людини.
Чому це важливо
Цей ефект проявляється у меншому масштабі у повсякденній роботі. Уявіть два моделі, які відрізняються на 0,7 бала у тесті кодування, де зміна параметрів призводить до зміни результату приблизно на 5. Розрив, який потрібно визначити, становить приблизно одну сьому від шуму у вимірюваннях. Публічний приклад підтверджує це: інтерактивний результат тесту для однієї моделі, за повідомленнями, збільшився утричі, коли її постачальник увімкнув два параметри, які дозволяли їй зберігати логіку між кроками. Це та сама модель, просто їй дозволили зберігати власну роботу.
Найчистішим з усіх є приклад з вторинних джерел. За повідомленнями, один інженер взяв одне завдання з програмування та виконав його п’ять разів на одній і тій самій моделі, додаваючи щоразу по одному компоненту кріплення. Порожній репозиторій давав приблизно 20 відсотків успішних результатів. Файл із інструкціями підняв цей показник до близько 60 відсотків, команди перевірки — до 80 відсотків, а файл із статусом роботи — майже до 100 відсотків. Ніхто не підтвердив ці цифри, тож сприймайте їх лише як ілюстрацію. Важливою є сама структура, адже вона дозволяє розділити внесок кожного доданого елемента, чого не може зробити порівняння двох повних кріплень.
Опубліковані роботи вказують на те саме. Одна з технік розвиває запити шляхом аналізу попередніх виконань та, за даними досліджень, перевершує базовий підхід з машинним навчанням на 10 відсотків у середньому та до 20 відсотків, при цьому кількість спроб зменшується у 35 разів. Інша техніка використовує накопичений контекст як постійно оновлюваний план дій, що забезпечує покращення ефективності агента на 10,6 відсотка. Постійний записник допоміг одній з моделей покращити результати у завданні з головоломками з 10 до 99 відсотків. У всіх трьох випадках ваги параметрів залишилися незмінними.
Одне дослідження дає протилежний результат. У статті 2026 року пристрій було розділено на чотири частини, кожна з яких могла еволюціонувати, і очікувалося, що це принесе користь. Результати склали 0,657 порівняно з 0,642 для еволюції однієї плоскої стрічки; автори вважають цю різницю незначною. На їхню думку, фіксований бюджет оптимізації, розподілений між чотирма частинами, зменшує сигнал для кожної з них. Додаткова структура за замовчуванням не допомагає, і цей негативний результат має більшу цінність, ніж позитивні, оскільки він виключає можливість безкоштовного отримання результату.
Створення у шести етапах
Вся структура складається приблизно зі ста рядків без жодних фреймворків. Ви надаєте одну функцію, яка надсилає текст до моделі та повертає текст у відповідь.
Перший етап — це найменша частина, яка працює: береться завдання, викликається модель із відповідним запитом та вимірюється час виконання цього виклику.
import time
def run_task(task, call_model):
t0 = time.time()
output = call_model(task["prompt"])
return {"id": task["id"], "output": output,
"seconds": round(time.time() - t0, 2)}
Друга стадія дозволяє моделі діяти та бачити. Допоміжний процес виконує команду шелу у робочому каталозі з таймаутом.
import subprocess
def run_command(cmd, workdir, timeout=60):
try:
r = subprocess.run(cmd, shell=True, cwd=workdir, timeout=timeout,
capture_output=True, text=True)
return {"exit": r.returncode, "stdout": r.stdout[-4000:],
"stderr": r.stderr[-4000:]}
except subprocess.TimeoutExpired:
return {"exit": None, "stdout": "", "stderr": "timed out"}
Вже включено два рішення. Результат обрізається до останніх 4 000 символів, а команди припиняються через 60 секунд. Обидва фактори впливають на те, що бачить модель, тому обидва мають бути внесені до ваших нотаток як частина інструментарію, а не самої задачі.
На третьому етапі визначається, що буде передано між етапами, шляхом формування списку повідомлень на основі системного запиту, завдання та історії.
def build_messages(task, history, carry_reasoning=True):
msgs = [{"role": "system", "content": SYSTEM},
{"role": "user", "content": task["prompt"]}]
for turn in history:
if carry_reasoning:
msgs.append({"role": "assistant", "content": turn["output"]})
msgs.append({"role": "user", "content": format_result(turn["result"])})
return msgs
Зробіть використання логіки прапорцем, а не жорстко визначеним вибором, оскільки вам знадобиться вимірювати обидва параметри.
Четвертий етап аналізує дію з вихідних даних моделі, не призводячи до тихого збою.
import re
ACTION = re.compile(r"<action>(.*?)</action>", re.S)
def parse_action(output):
m = ACTION.search(output)
if m:
return m.group(1).strip(), "matched"
fence = chr(96) * 3
alt = re.search(fence + r"(?:bash|sh)?\n(.*?)" + fence, output, re.S)
if alt:
return alt.group(1).strip(), "fallback_fenced"
return None, "no_match"
Запишіть друге значення, яке повертається, адже воно містить найбільше інформації. Коли значна кількість виконань закінчується за допомогою запасного рішення, парсер оцінює більше форматування, ніж справжню здатність моделі, і результати не дозволяють визначити, що саме має значення. Є ще один попереджувальний приклад: детектор, який перевіряв, чи модель стверджує про завершення роботи, пройшов п’ять випробувань на перевірку, але пропустив два очевидні випадки через те, що крапка в назві файлу перервала шаблон, заснований на реченнях. У протоколах тестів було зазначено, що вони пройдені, тоді як детектор не зафіксував жодних таких стверджень.
П’ятий етап — це цикл із максимальною кількістю обертів вісім.
MAX_TURNS = 8
def agent_loop(task, call_model, carry_reasoning=True):
history, workdir = [], task["dir"]
for turn in range(MAX_TURNS):
out = call_model(build_messages(task, history, carry_reasoning))
action, parse_status = parse_action(out)
result = run_command(action, workdir) if action else {"note": "no action"}
history.append({"output": out, "result": result, "parse": parse_status})
if action and task["done"](workdir):
return {"solved": True, "turns": turn + 1, "history": history}
return {"solved": False, "turns": MAX_TURNS, "history": history}
Тут task[“done”] — це функція, яку ви надаєте, щоб перевіряти реальний стан речей замість того, щоб довіряти твердженням моделі. Саме ця відмінність перетворює демонстрацію на вимірювання.
Шостий етап робить усю систему інструментом: це функція експерименту, яка виконує кожне завдання у кожній з варіантів, повторюючи кожне з них кілька разів.
def experiment(tasks, call_model, variants, runs_per=2):
results = []
for name, config in variants.items():
for task in tasks:
for r in range(runs_per):
out = agent_loop(task, call_model, **config)
results.append({"variant": name, "task": task["id"], "run": r,
"solved": out["solved"], "turns": out["turns"],
"fallbacks": sum(1 for h in out["history"]
if h["parse"] != "matched")})
return results
variants = {"carry_on": {"carry_reasoning": True},
"carry_off": {"carry_reasoning": False}}
Змініть одну річ, залишивши все інше незмінним, запустіть обидва варіанти та порівняйте їх. Цей метод відсутній майже у кожному опублікованому порівнянні. Змініть одночасно модель, запит та ліміт кількості кроків, і ви нічого не дізнаєтесь про те, що саме вплинуло на результат.
Що вимірювати та чого очікувати
Варто стежити за чотирма показниками. По-перше, швидкістю вирішення для кожної версії. По-друге, кількістю кроків для вирішення, адже версія, яка досягає такого ж рейтингу за меншу кількість кроків, є дешевшою. По-третє, тим, наскільки часто процес аналізу вдається уникнути за допомогою альтернативних методів. По-четверте, наскільки сильно відрізняються результати кількох повторних запусків однієї задачі — це найбільш інформативний показник. Якщо однакові запуски дають різні результати, шум може бути більшим за ефект, який ви шукаєте.
Не дивуйтеся, якщо перший результат покаже, що обидві версії мають однакові показники. У одному експерименті з такою схемою два передові моделі виконували по десять невеликих завдань з виправлення помилок по два рази кожна, і всі спроби пройшли успішно, тож ніщо не відрізняло їх результати. Завдання були занадто простими, щоб можна було їх розрізнити. Це звичайний результат, який свідчить про самі завдання, а не про моделі. Вибирайте завдання, які дають середній рівень ефективності рішень, значно нижчий за максимальний можливий рівень.
Обмеження
Інструментарій не може надати моделі здібностей, яких бракує її вагам, тому кожен покращення обмежується тим, що дозволяють ці ваги. Інструментарій, налаштований під ваші завдання, також не буде ефективним. Те, що ефективно для виправлення коду, не обов’язково ефективно для відкритого дослідження, оскільки причини невдач різні.
Отже, суть ніколи не полягала у тому, що модель не має значення. Порівняння розглядають обидві версії так, ніби змінюється лише одна, хоча насправді змінюються обидві, а повідомляється лише про одну.