从零开始构建智能体:六个阶段与一项用于分离收益的实验
框架对基准测试分数的提升效果往往优于模型本身。通过六个阶段构建一个小型智能体框架,每次只测试一项改动,从而确定究竟是哪一部分起到了作用。
来源: Build an Agent Harness, Then Prove Which Change Moved the Score
使用一个前沿模型和两种评估工具。在同一周内,通过第一种工具该模型在推理基准测试中的得分达到62.7%,而使用第二种工具时则升至99.9%。这37.2分的差距超过了排行榜上前两名之间的32.5分差异。由此可见,围绕模型构建的那些组件——虽不同于模型本身——却能比模型本身带来更大的成绩变化。下文将介绍这些组件的构成、分六阶段的小型构建过程,以及最终用于判断哪些改动真正提升了分数的步骤。
评估工具的内部构成
一个评估工具由六部分组成,且没有任何部分会直接修改模型权重。
- 系统提示词,即在任务开始前告知模型其角色与限制的内容。
- 工具访问功能:模型能否运行代码、读取文件或调用API,以及执行这些操作后会得到什么结果?
这些都属于人为做出的决策。一旦采用某个框架,就必须接受其预设的规则而无需知晓具体内容。这在结果与他人不同需要解释时就会带来问题。
为何这很重要
在日常工作中,这种效应会以更小的幅度显现。想象一下,在某个编程基准测试中,两个模型的得分相差0.7分,而更换推理框架后得分差异会达到约5分。此时要求你识别的差异仅相当于测量数据中噪声的七分之一左右。有一个公开案例也说明了同样的情况:某款模型的交互式基准测试得分,在其提供商启用两项允许其保持各轮推理连贯性的设置后, reportedly上升了三倍。同样的模型,只是被允许保留自身的推理方式而已。
其中最清晰的是一个间接案例。据称有位工程师针对某项编码任务,在同一模型上进行了五次运行,每次都添加一个支架组件。在空仓库环境下,成功率约为20%;加入说明文件后提升至约60%,加入验证命令后升至80%,而加入进度文件后则接近100%。这些数据尚未得到证实,仅可作为参考。重要的是这种变化趋势,因为它能区分每次添加带来的影响,而直接比较两个完整的支架则无法做到这一点。
已发表的研究结果也表明了同样的趋势。有一种技术通过分析以往的运行结果来优化提示词,据说其平均性能比强化学习基准模型高出10%,最高可达20%,同时训练次数可减少多达35倍。另一种技术则将积累的上下文视为会不断演进的策略手册,其在智能体任务上的性能提升了10.6%。还有一个持续使用的临时存储机制让某个模型在解谜任务上的性能从10%提升到了99%。在这三种方法中,模型的权重均未被修改。
有一项研究结果与前述观点相反。2026年发表的一篇论文将该结构分为四个可独立演化的部分,并预计这种结构能带来更好效果。实验结果显示,分四部分演化时的性能为0.657,而仅演化一条扁平字符串时的性能为0.642,作者认为这一差异并不显著。他们认为,将固定的优化资源分配到四个部分中会导致每个部分的优化信号减弱。额外的结构并不会自动带来好处,而这一无差异的结果反而比有优势的结果更有价值,因为它排除了“不劳而获”的可能性。
分六阶段构建
整个程序仅约一百行代码,且没有使用任何框架。用户只需提供一个函数,该函数负责将文本发送给模型并返回处理后的文本。
第一阶段是最基础的可运行单元:接收一个任务,用相应的提示词调用模型,并记录调用所需的时间。
import time
def run_task(task, call_model):
t0 = time.time()
output = call_model(task["prompt"])
return {"id": task["id"], "output": output,
"seconds": round(time.time() - t0, 2)}
第二阶段让模型能够进行操作并“观察”。一个辅助程序会在工作目录中执行shell命令,并设置超时时间。
import subprocess
def run_command(cmd, workdir, timeout=60):
try:
r = subprocess.run(cmd, shell=True, cwd=workdir, timeout=timeout,
capture_output=True, text=True)
return {"exit": r.returncode, "stdout": r.stdout[-4000:],
"stderr": r.stderr[-4000:]}
except subprocess.TimeoutExpired:
return {"exit": None, "stdout": "", "stderr": "timed out"}
其中已经包含了两个决策。输出内容被限制在最后4,000个字符以内,指令则在60秒后停止执行。这两者都会影响模型所看到的内容,因此都应作为配套设置记录在笔记中,而非任务本身。
第三阶段会根据系统提示、任务内容以及历史记录来构建消息列表,从而决定在各轮次之间传递什么信息。
def build_messages(task, history, carry_reasoning=True):
msgs = [{"role": "system", "content": SYSTEM},
{"role": "user", "content": task["prompt"]}]
for turn in history:
if carry_reasoning:
msgs.append({"role": "assistant", "content": turn["output"]})
msgs.append({"role": "user", "content": format_result(turn["result"])})
return msgs
应将启用推理设置视为一个可选项而非固定选项,因为你需要同时衡量这两种设置的效果。
第四阶段会从模型的输出中解析出相应操作,而不会静默失败。
import re
ACTION = re.compile(r"<action>(.*?)</action>", re.S)
def parse_action(output):
m = ACTION.search(output)
if m:
return m.group(1).strip(), "matched"
fence = chr(96) * 3
alt = re.search(fence + r"(?:bash|sh)?\n(.*?)" + fence, output, re.S)
if alt:
return alt.group(1).strip(), "fallback_fenced"
return None, "no_match"
请记录第二个返回值,因为它包含的信息最多。当有相当比例的测试在回退方案下结束时,解析器实际上是在衡量格式化效果而非实际能力,而分数无法区分二者。有一个相关的警示案例:某个用于检测模型是否声明已完成的工具通过了五个验证用例,但却因为文件名中的句号导致句子模式被截断,从而漏掉了两个明显的完成声明。测试记录显示这些测试通过了,但该检测工具却报告没有检测到任何完成声明。
第五阶段是循环,每轮最多进行八次。
MAX_TURNS = 8
def agent_loop(task, call_model, carry_reasoning=True):
history, workdir = [], task["dir"]
for turn in range(MAX_TURNS):
out = call_model(build_messages(task, history, carry_reasoning))
action, parse_status = parse_action(out)
result = run_command(action, workdir) if action else {"note": "no action"}
history.append({"output": out, "result": result, "parse": parse_status})
if action and task["done"](workdir):
return {"solved": True, "turns": turn + 1, "history": history}
return {"solved": False, "turns": MAX_TURNS, "history": history}
这里的 task[“done”] 是你提供的函数,它负责实际检测现实情况而非依赖模型的说法。正是这一区别使得演示变成了真正的测量。
第六阶段则是将整个系统转化为测量工具的关键:它是一个实验函数,会在每种变体下执行所有任务,并且每项任务都会重复几次。
def experiment(tasks, call_model, variants, runs_per=2):
results = []
for name, config in variants.items():
for task in tasks:
for r in range(runs_per):
out = agent_loop(task, call_model, **config)
results.append({"variant": name, "task": task["id"], "run": r,
"solved": out["solved"], "turns": out["turns"],
"fallbacks": sum(1 for h in out["history"]
if h["parse"] != "matched")})
return results
variants = {"carry_on": {"carry_reasoning": True},
"carry_off": {"carry_reasoning": False}}
改变一个参数,其余保持不变,分别运行两种方案后再进行比较。几乎所有已发表的对比研究都忽略了这种方法。如果同时修改模型、提示词和轮次限制,就无法判断究竟是哪个因素影响了结果。
应衡量什么以及预期结果
有四个数值值得追踪。首先,是每种方案的解决率;其次,是解决问题所需的轮次,因为能在更少轮次内达到相同分数的方案成本更低;第三,是解析过程触发备用机制的频率;第四,也是最关键的一点,是重复执行同一任务时结果之间的差异程度。如果多次运行结果不一致,那可能是噪声因素比你所追求的效果更为显著。
如果第一个测试结果显示两种模型表现相当,不必惊讶。在某次此类实验中,两种前沿模型各自完成了十项小型缺陷修复任务,每项任务都完成两次,且所有测试都通过,因此两者之间没有任何差异。这些任务过于简单,无法区分它们。这通常是会出现的结果,反映的是任务本身的难度,而非模型本身。应选择那些解决率处于中等水平、远低于上限的任务。
局限性
框架无法赋予模型其权重所缺乏的能力,因此任何提升都受限于这些权重的支持范围。为特定任务调整过的框架也无法发挥最佳效果。在代码修复方面表现优异的模型,在开放式探索任务中未必能取得好成绩,因为两者的失败原因不同。
因此,重点从来不是模型无关紧要。比较时往往只考虑其中一个变量在变化,而实际上两个变量都在变化,只是只报告了其中一个的结果。