微调成本已大幅降低，但模型代理仍需权重管控机制
如何通过策略内自蒸馏将智能体的存储经验转化为权重，四种优化标准，以及为何重复该循环三次会导致其失效。
来源: Fine-Tuning Got Cheap. Your Agent Should Still Learn Almost Nothing.
每晚，大脑都会默默地执行一批处理任务。白天零散形成的记忆存储在海马体中，而在睡眠期间这些记忆会被重新播放，并有选择地写入大脑皮层。研究人员曾在迷宫被移除数小时后观察到大鼠的这种记忆重放现象。次日清晨，就会出现前一天才学到的技能，而训练过程本身却从未被观察到。
安德烈·卡帕西早些时候指出了智能体中缺失的环节：没有提炼步骤，也没有睡眠过程。大约18个月后，该领域开始尝试构建这样的机制。2026年有一篇论文甚至将标题定为《语言模型需要睡眠》，文中描述了在专门的睡眠阶段将模型的上下文记忆整合到新添加的专家权重中。
因此，“清醒与睡眠”的划分已从隐喻转变为架构图，这既是好消息也是陷阱。模型整合的成本已低到可以纳入日程安排，正因如此，那些有趣的工程工作便转向了其他领域，即筛选出成千上万条经验中少数几条值得被纳入权重中的内容。
由此可得出四项技能。首先，将快速循环（上下文，每次请求处理）与慢速循环（权重，每次发布更新）分开，并为两者设定相应的成本。其次，利用已在生产环境中运行的智能体作为高级自学习者，无需更大的模型。第三，在应用任何梯度更新之前，根据四项优化标准对每节课进行评分。第四，通过运行三次循环来发现单轮演示所隐藏的故障。唯一的入门要求是已发布过调用大语言模型 API 的产品。
具有不同时间机制的两种循环
故事的前半部分是智能体完成任务后，将所学内容记录在操作手册中——这是一种纯文本格式的文档，每次任务开始时都会被读取，这样下一次执行就能在上次的基础上继续前进。后半部分则是整合阶段：一个独立的离线流程会重新播放存储的追踪数据，判断哪些数据足够稳定且有用，可以用于训练，然后仅将这些有效信息写入参数中。
2026年的一项记忆研究将这一过程称为“积累-内化”循环。首先在内存和操作手册中明确积累知识，这样就可以低成本地查看和编辑这些内容；然后将那些稳定的剩余信息内化为参数，这样在推理时就能实现快速、通用且无需额外成本的处理。简单来说，智能体整天都在基于笔记本工作，而稍后会有其他机制负责挑选出值得记忆的内容。
夜间处理流程包含三个步骤：回放、筛选和提炼。只有中间这一步涉及判断，也是最关键的部分。
- 快速时钟在请求时启动计时。上下文和内存会随着每次对话进行调整，这些更改是可逆且成本较低的。
- 慢速时钟在发布时启动计时。整合机制每隔几周才会更新权重，且需要在严格控制下以较高成本进行。
优秀的系统会同时使用这两种时钟，并记录每条经验规则存储的位置。而劣质的系统要么从不推动慢速时钟运转，导致上下文存储成本不断上升，要么直接将快速时钟的结果用于权重更新，从而早早引发数据污染问题。
最好的老师就是拥有操作手册的智能体本身
传统蒸馏法训练学生模仿教师的输出结果。问题在于数据的来源：学生只能学习教师经过优化后的行为路径，却从未见过自身错误所导致的混乱状态。其第一次犯错往往发生在训练集从未涉足的区域。
在策略内蒸馏法则纠正了这一缺陷。训练样本来自学生自身的行为，教师会对这些样本进行评分或指导，从而使修正信号针对学生实际存在的错误分布。这是一种针对自身错误的密集反馈，而非他人成功的展示。
其实用价值在于教师无需是更复杂的模型。它可以是同一个模型，但拥有不公平的优势：上下文中的操作指南、已检索到的课程内容，以及对已结束事件的回顾信息。一个名为SEED的研究系统正是基于这一思路设计的。它将智能体完成的行动轨迹转化为用通俗语言写成的技能，再将这些技能中的指导信息融入策略本身，从而在推理过程中既无需技能提示也无需内存查询。如此，课程内容便直接转化为行为。
可以把教师想象成背着背包的学生。蒸馏过程就是在不丢失背包内物品的情况下将其取出的过程。
一个小版本甚至可以在一个下午内完成。选出智能体已能处理的五十项任务，冻结操作指南使其不再变化，然后设置好双方所需的条件：
# teacher: same model, unfair advantage
teach = Agent(system=playbook)
# student: same model, empty context
bare = Agent()
tries = [bare.run(t) for t in tasks]
接着让教师根据学生的尝试给出评分，并以此进行训练。几句话就概括了在策略内的蒸馏全过程：
graded = [teach.grade(x) for x in tries]
finetune(bare, graded) # one round only
# now serve it with NO playbook
这次测试产生了三个值得记录的数值。6月时，在支持队列中50个任务的测试中，没有使用任何辅助工具的学生有61%的答案被接受，而使用了操作指南的学生这一比例达到了79%，而完全依靠内化模型且不使用任何操作指南的学生则获得了77%的准确率。
操作指南带来的18个改进点中有16个依然有效，每个请求的处理量从4,270个标记降到了910个。原本需要携带的辅助工具不再需要，租赁关系也变成了所有权关系。第一次测试就让人觉得这个问题已经解决了。
梯度即承诺
该行业大约三年时间都在抵制权重更新，这种抵制是有道理的。上下文信息可以在一个下午内被修改、审核甚至删除，而权重更新则具有不可见性、复杂性，且只能通过回退到某个检查点来撤销，这样就会丢弃模型自该检查点之后学到的所有其他知识。
灾难性遗忘正是这种风险的典型表现：能力出现退化，而此前无人进行过相关测量，后来才由客户发现。由于在基础模型上确认的属性并不会自动延续到微调后的模型中，因此每次更新后都需要重新验证安全性一致性。
一个有用的类比是特性分支合并到主分支的过程，此时需要具备重复出现、审查、溯源以及回滚路径等功能。但这种类比在某个关键点上存在差异——在 Git 中回退操作是精确可控的，而权重回滚则是非黑即白的，一旦合并出错，检查点之后的所有更改都会丢失。
有四个标准决定哪些内容可以被保留：
- 该经验在足够多的不同场景中反复出现，足以被视为一种规律而非偶然事件。
- 它始终存在于操作手册中，且从未被任何内容推翻。
任何未通过这些检查的内容都会留在原上下文中，此时出错只会导致费用增加，而不会触发检查点。通常情况下，权重负责保留残留信息，而上下文则负责记录变化情况。
这四个检查环节是按顺序运行的，且这种顺序本身就是设计的一部分：未能通过第一道检查的内容永远无法进入第四道检查。如果某个环节通过的候选者数量极少，那就不能称之为真正的检查环节。
根据2026年6月对自我提升智能体的调查，决策权在于控制框架而非模型本身。正是控制框架负责筛选出值得转化为训练信号的轨迹，从中提取监督信息，保留这些轨迹有效的条件，并判断某段经验是否适合用于参数层面的学习。
一旦出现两条改进路径，就必须有更高层的机制来决定在何时、以何种预算、证据阈值以及回滚规则下启动哪条改进流程。这个控制层才是真正的核心成果。在做选择时，应首先查看回滚列，因为那些只需简单删除一行即可撤销的路径通常应占据十次选择中的九次。
第一轮可行；第三轮失败
这一新的研究结果应该会让所有人放慢脚步。论文《重新思考持续经验内化》指出，将经验一次性转化为权重效果良好，而反复进行自我演化循环则会导致性能崩溃。
作者将性能崩溃归因于三个因素：经验的表示方式、该表示方式对教师监督内容的影响，以及用于实现知识迁移的轨迹分布。那次一次性成功的演示仅属于示范性质，真正的要求是在多轮训练中保持稳定，而至今尚未有人解决这一问题。
早期的支持队列测试结果完全符合论文中的预测。第二轮的准确率为74%，略低于第一轮的77%，这一差异很容易被视为偶然误差而忽略。第三轮的准确率则降至58%，甚至低于实验开始时作为基准的学生水平，而且该模型在评估集中未包含的两种工单类型上的表现也悄悄恶化了。需要记住的关键是第一轮与第三轮之间的差距，因为只有第一轮的结果常被多数研究提及。
还有第二个界限。代理强化学习指的是将强化学习应用于整个多步骤的代理运行过程，其奖励来自机器能够检测到的结果。在检测成本较低的场景中，比如代码、数学运算和结构化任务，这种方法效果显著。而大多数有价值的现实世界代理任务则会产生模糊、延迟或可被利用的信号。《早期经验》一文明确指出：许多真实环境不存在可验证的奖励，即便存在，也往往需要耗时且成本高昂的测试过程。该文的解决方案是让代理在没有任何外部奖励的情况下，通过自身的早期交互来学习，将行动的后果视为监督信号。
所有权也会带来额外成本。每个整合后的变体都会成为独立的产物，需要相应的回归测试套件、新的安全评估以及专属的部署空间；而每个用户对应的变体又会使这些需求按客户数量成倍增加。
对2026年中形势的冷静审视：对于那些奖励可明确评估的编码与工具使用智能体，参数驱动学习已进入早期应用阶段；而对于奖励难以量化的场景，它仍属于研究阶段。支持上下文记忆的阵营也有合理的反驳意见。当某项技能符合操作手册及检索功能的要求时，将其固化到模型权重中虽能提升效率与完善性，但会丧失可审计性，对于许多产品而言，这种交换并不划算。
在需要之前就构建好相关机制
冻结模型仍是一种刻意的设计选择，不过存在一个问题。目前的先进模型本身就是以智能体的形式通过强化学习在可执行环境中进行长周期工具使用训练而形成的。通过API获取的冻结模型也越来越源自此处描述的训练循环，因此，随着底层模型生成方式的改变，基于经验的时代正在率先到来。
一个实际的第一步是妥善设计累积循环的监控机制。接着可以进行一次低成本审计：打开上个月的操作手册，统计在五个或更多独立场景中出现且未被矛盾信息抵消的记录。经过这样一次筛选，43条记录被缩减为6条候选项，最终只有一条获得通过。
那条通过的记录就是首个有效梯度。其余的都是无效数据，应保留在上下文中，因为错误会导致代币损失，而非检查点失效。需要思考的问题是：操作手册中的哪条经验反复出现且没有矛盾，足以被批准发布？
相关阅读
- 根据工作负载特征选择智能体框架：六个维度与决策路径 — 通过测试确定性、生命周期、幂等性、审计追踪、团队处理速度以及每次决策的成本这六个工作负载维度，来选择LangGraph、CrewAI、AutoGen、Temporal或干脆不使用任何框架。
- 众人拾柴：协调智能体的七条规则 — 为何在某些情况下工作流比智能体更优、协调器为何不应掌控工具、如何记录子智能体的返回结果并设定终止条件，每条规则都配有Python示例代码。