Главная / Статьи

Создание агента Harness с нуля: шесть этапов и эксперимент, позволяющий выделить полученные результаты

Ремень безопасности может улучшить показатели тестов больше, чем сама модель. Создайте небольшой агент в шести этапах и тестируйте по одной изменению за раз, чтобы выяснить, что действительно помогло.

Издатель: REACTAPP.TOP7 мин чтения1524 слов

Источники: Build an Agent Harness, Then Prove Which Change Moved the Score

Взяли одну модель для работы на границах возможностей и две системы оценки. С помощью первой модель показала результат 62,7 процента в тесте на рассуждения, а с помощью второй — 99,9 процента, причем это было за одну неделю. Разница в 37,2 процента превысила разницу в 32,5 процента между двумя лидирующими моделями в топ-листе. Следовательно, инфраструктура, окружающая модель, но не являющаяся самой моделью, может повлиять на результаты сильнее, чем сама модель. Ниже приведен обзор составляющих этой инфраструктуры, пошаговая инструкция по ее созданию в шести этапах, а также финальный этап, показывающий, какие именно изменения действительно повлияли на результат.

Что входит в состав системы оценки

Система оценки состоит из шести компонентов, и ни один из них не влияет на веса модели.

  • Системное указание, то есть информация о роли и ограничениях модели, которая ей предоставляется перед выполнением задачи.
  • Доступ к инструментам: может ли модель запускать код, читать файлы или обращаться к API, и что она получает в ответ?
  • Обработка контекста, которая определяет, будет ли рассуждение продолжаться между ответами или начинаться заново каждый раз.
  • Обработка попыток: количество разрешенных попыток и то, видит ли модель результат предыдущей попытки.
  • Лимиты времени и токенов.
  • Парсинг вывода, который преобразует ответ в готовый ответ и решает, что делать с правильным ответом в неожиданном формате.
  • Каждый из этих аспектов — результат решения человека. Используя определенную платформу, вы принимаете ее решения без возможности их увидеть. Это работает нормально до тех пор, пока вам не нужно объяснить, почему ваш результат отличается от чьего-то другого.

    Почему это важно

    Этот эффект проявляется в меньшем масштабе в повседневной работе. Представьте две модели, отличающиеся на 0,7 балла в тесте на программирование, где смена инструментов приводит к изменению результата примерно на 5 баллов. Разница, которую необходимо определить, составляет примерно одну седьмую от шума в измерениях. Публичный пример подтверждает это: согласно отчетам, оценка интерактивного теста для одной модели утроилась, когда её разработчик включил два параметра, позволяющих сохранять логику рассуждений между этапами. Это та же модель, но ей было разрешено сохранять собственный подход к решению задач.

    Самым наглядным примером является история из практики. Говорят, что один инженер взял одну задачу по программированию и выполнил её пять раз на одной и той же модели, добавляя каждый раз по одному компоненту крепления. При использовании пустого репозитория уровень успеха составлял примерно 20 процентов. Файл с инструкциями повысил его до примерно 60 процентов, команды проверки — до 80 процентов, а файл с информацией о ходе работы — почти до 100 процентов. Никто не подтвердил эти цифры, поэтому рассматривайте их лишь в качестве иллюстрации. Важна сама структура, поскольку она позволяет отделить вклад каждого добавленного элемента, чего невозможно сделать при сравнении двух полных комплектов креплений.

    Опубликованные исследования указывают на то же самое. Одна из техник развивает подсказки путем анализа прошлых запусков и, как утверждается, превосходит базовый вариант с использованием метода обучения с подкреплением в среднем на 10 процентов, а иногда даже на 20, причем количество запусков сокращается вдвое. Другая техника рассматривает накопленный контекст как постоянно обновляющуюся инструкцию, что позволяет добиться улучшения эффективности агента на 10,6 процента. Использование постоянного временного хранилища позволило одной модели повысить свою эффективность при решении головоломки с 10 до 99 процентов. Во всех трех случаях веса моделей оставались неизменными.

    Один результат противоречит другому. В статье 2026 года устройство было разделено на четыре части, каждая из которых могла эволюционировать отдельно, и ожидалось, что такая структура принесет пользу. Результаты составили 0,657 против 0,642 для случая эволюции одной плоской строки; авторы считают эту разницу незначительной. По их мнению, фиксированный бюджет на оптимизацию, распределенный между четырьмя частями, приносит каждой меньше эффекта. Дополнительная структура по умолчанию не помогает, и этот нулевой результат ценнее позитивных результатов, поскольку он исключает возможность бесплатного решения проблемы.

    Создание в шести этапах

    Все это состоит примерно из ста строк без какой-либо фреймворки. Необходимо предоставить одну функцию, которая отправляет текст в модель и возвращает текст.

    Первый этап — это самая минимальная единица, выполняемая в процессе: берется задача, вызывается модель с соответствующим запросом и измеряется время выполнения вызова.

    import time
    def run_task(task, call_model):
        t0 = time.time()
        output = call_model(task["prompt"])
        return {"id": task["id"], "output": output,
                "seconds": round(time.time() - t0, 2)}
    

    На втором этапе модель может действовать и воспринимать окружающую среду. Вспомогательный процесс выполняет команду оболочки в рабочей директории с таймаутом.

    import subprocess
    def run_command(cmd, workdir, timeout=60):
        try:
            r = subprocess.run(cmd, shell=True, cwd=workdir, timeout=timeout,
                               capture_output=True, text=True)
            return {"exit": r.returncode, "stdout": r.stdout[-4000:],
                    "stderr": r.stderr[-4000:]}
        except subprocess.TimeoutExpired:
            return {"exit": None, "stdout": "", "stderr": "timed out"}
    

    Там уже заложены два решения. Результат сокращается до последних 4 000 символов, а команды прекращаются через 60 секунд. Оба фактора влияют на то, что видит модель, поэтому оба должны быть записаны в ваши заметки как часть инструментария, а не самой задачи.

    На третьем этапе определяется, что будет передаваться между этапами, путем формирования списка сообщений на основе системного запроса, задачи и истории.

    def build_messages(task, history, carry_reasoning=True):
        msgs = [{"role": "system", "content": SYSTEM},
                {"role": "user", "content": task["prompt"]}]
        for turn in history:
            if carry_reasoning:
                msgs.append({"role": "assistant", "content": turn["output"]})
            msgs.append({"role": "user", "content": format_result(turn["result"])})
        return msgs
    

    Сделайте использование логических рассуждений флагом, а не жестко заданным параметром, поскольку вам понадобится измерять оба варианта настройки.

    На четвертом этапе действие анализируется из вывода модели без тихого сбоя.

    import re
    ACTION = re.compile(r"<action>(.*?)</action>", re.S)
    def parse_action(output):
        m = ACTION.search(output)
        if m:
            return m.group(1).strip(), "matched"
        fence = chr(96) * 3
        alt = re.search(fence + r"(?:bash|sh)?\n(.*?)" + fence, output, re.S)
        if alt:
            return alt.group(1).strip(), "fallback_fenced"
        return None, "no_match"
    

    Записывайте второе значение возврата, поскольку оно содержит наибольше информации. Когда значительная доля тестов завершается с использованием запасного варианта, парсер оценивает скорее форматирование, чем способности модели, и оценка не позволяет определить, что именно имелось в виду. Ещё один пример: детектор, проверяющий, заявила ли модель о завершении работы, пройдя пять случаев валидации, не обнаружил двух очевидных заявлений из-за того, что точка внутри имени файла прервала шаблон, основанный на предложениях. В отчётах тесты указывались как пройденные, в то время как детектор не зафиксировал ни одного заявления.

    Пятый этап — это цикл с лимитом в восемь ходов.

    MAX_TURNS = 8
    def agent_loop(task, call_model, carry_reasoning=True):
        history, workdir = [], task["dir"]
        for turn in range(MAX_TURNS):
            out = call_model(build_messages(task, history, carry_reasoning))
            action, parse_status = parse_action(out)
            result = run_command(action, workdir) if action else {"note": "no action"}
            history.append({"output": out, "result": result, "parse": parse_status})
            if action and task["done"](workdir):
                return {"solved": True, "turns": turn + 1, "history": history}
        return {"solved": False, "turns": MAX_TURNS, "history": history}
    

    Здесь task["done"] — это функция, которую вы предоставляете и которая анализирует реальный мир вместо того, чтобы верить утверждениям модели. Именно это отличие превращает демонстрацию в измерение.

    Шестой этап делает всю систему инструментом: это функция эксперимента, которая выполняет каждую задачу в рамках каждой вариантной конфигурации, повторяя каждую из них несколько раз.

    def experiment(tasks, call_model, variants, runs_per=2):
        results = []
        for name, config in variants.items():
            for task in tasks:
                for r in range(runs_per):
                    out = agent_loop(task, call_model, **config)
                    results.append({"variant": name, "task": task["id"], "run": r,
                        "solved": out["solved"], "turns": out["turns"],
                        "fallbacks": sum(1 for h in out["history"]
                                         if h["parse"] != "matched")})
        return results
    variants = {"carry_on":  {"carry_reasoning": True},
                "carry_off": {"carry_reasoning": False}}
    

    Измените один параметр, оставив все остальные неизменными, запустите оба варианта и сравните результаты. Этот метод почти полностью отсутствует во всех опубликованных сравнениях. Изменяя одновременно модель, запрос и лимит количества шагов, вы так и не узнаете, что именно повлияло на результат.

    Что измерять и чего ожидать

    Стоит отслеживать четыре показателя. Во-первых, скорость решения для каждого варианта. Во-вторых, количество шагов, необходимых для решения, поскольку вариант, достигающий того же результата за меньшее количество шагов, является более эффективным. В-третьих, частота использования резервного режима при обработке данных. В-четвертых, разница в результатах при повторных запусках одной задачи, что является наиболее информативным показателем. Если результаты одинаковых запусков отличаются, шум может быть сильнее, чем искомый эффект.

    Не удивляйтесь, если первый результат покажет, что обе версии сравниваются на равных. В одном эксперименте по этой схеме два передовых моделя выполняли по десять небольших задач на исправление ошибок по два раза каждая, и все пробы прошли успешно, поэтому между ними не было разницы. Задачи были слишком простыми, чтобы можно было их различить. Это типичный результат, который говорит о самом наборе задач, а не о моделях. Выбирайте задачи, при которых показатель решения будет находиться в среднем диапазоне, значительно ниже максимального уровня.

    Ограничения

    Инструментарий не может дать модели способности, которых у неё нет из-за отсутствия соответствующих весов, поэтому любой прогресс ограничивается тем, что позволяют эти веса. Инструментарий, настроенный под ваши задачи, тоже не будет эффективен. То, что срабатывает при ремонте кода, не обязательно сработает при открытой эксплорации, поскольку причины неудач различаются.

    Суть в том, что речь никогда не шла о том, что модель не имеет значения. При сравнениях обе версии рассматриваются так, будто меняется только одна из них, хотя на самом деле изменяются обе, а отчитывается только о результатах одной.