智能体微调：训练知识维基而非模型权重。
在从公司文档中提取的学习资料构成的维基上运行机器学习训练循环：基于原始数据、保密问题构建基准，并生成带有明确限制的证书。
来源: Agentic Finetuning: Your Data Knows Things Nobody in Your Company Knows
企业拥有却无法获取的知识
想象一下，某家机械制造商手中存有约900份维修报告。这些报告里藏着能带来巨大价值的答案：哪些机器系列最容易出故障及原因是什么、哪些维修方式有效、冬季安装的设备为何会出现问题而夏季安装的则不会。
问题在于：没人能够提供这些答案。少数资深员工仅凭记忆记得部分内容，但没有文档能完整记录所有信息。单个人根本无法读完全部900份报告。因此，这些知识就存在于企业内部，却依然无法被企业获取。几乎所有规模较大的组织都面临这一问题，而如今的多数人工智能项目也选择对其置之不理。
企业真正需要的东西
企业并不想自己检索数据，因为很久以前 Ctrl+F 就已经解决了搜索问题。他们想要的是学习成果。将查询型问题与学习型问题进行对比：
- 查询型问题是询问测试规范 214 中的内容；而学习型问题则是根据十五年的测试报告，探讨某种具体混合材料在低温浇筑时的表现。
- 查询型问题是要求获取某个特定案例的专利文件；学习型问题则是了解实际申请流程是怎样的，哪些异议会反复出现，以及有哪些申请会在首次提交时就被驳回。
- 查询型问题是查找编号为 8812 的工单；学习型问题则是了解当机器在一个月内出现两次故障时，经验最丰富的客服人员会采取什么措施，以及他们会向客户做出怎样的承诺。
这些知识具有价值，但它们的存在方式十分残酷：仅以碎片形式存在，从不固定于某一处。没有任何纸面记录能够将它们留存下来。它们出现在各类文档之间，成为贯穿数百份报告的规律，是从三百个案例中提炼出的流程，或是两位资深人员牢记在心的准则。一旦这两人离开，走出的就是公司的记忆，而不仅仅是两名员工。
为何“与文档交流”方法不够理想
业内常见的做法是将所有内容嵌入其中，获取最近的片段并从中生成文本。对于查询任务而言，这种方法效果不错，这也并非对RAG的攻击。不过，检索系统只是返回别人写下的内容而已。如果提出学习类问题，比如哪款产品故障最多以及原因是什么，系统会从三份报告中提取三个片段，当场即兴编造出看似合理的总结，下次则又会给出不同的答案。没有人真正提取出有价值的学习内容，对其进行验证或整理成稳定的形式。系统并非查询知识，而是根据每个问题重新构建知识，而且质量很差。
这些资料本身也一团糟，存在相互矛盾的政策版本、过时的规范以及不断被沿用的错误。任何读取这些原始资料的系统都会继承这些缺陷。想象有两份PDF，一份承诺12个月保修期，另一份则承诺24个月。当这两份资料都被检索出来时，答案就变成了碰运气的事。
即便是偶尔生成的人类合成内容，无论是咨询师的报告还是实习生的总结文档，都会面临两个关键问题：如何确定其正确性？又如何判断其完整性？由于不存在客观标准、测试方法或完成定义，这类文档在完成后便开始悄然变质。
因此，真正的问题并不在于信息检索，而在于如何将海量数据转化为人们可信赖的见解，并确保这些见解长期保持准确。用一句话概括就是：从煤矿中开采钻石。钻石固然存在，但人工筛选煤炭显然不是明智之举。
为何模型微调会遗漏关键点
微调是一种自然而然的本能，它之所以合理是有原因的。这正是传统的机器学习方式：数据、标签、损失函数、权重更新，以及模型从未见过的测试集。而这正是文档聊天系统所缺乏的严谨性。
然而，微调修改了错误的层面。权重是不可见的。当生成的答案有误时，没有四百万个神经元可以用来修正它。在训练阶段学到的内容会固定下来，并随着后续的大量报告而逐渐过时，而每次刷新都需要再次进行训练、评估和部署。微调还因能在存储事实的同时传授技能与风格而备受争议。简而言之，正确的循环机制被套用在了错误的对象上。
将循环向上提升一层
该方案旨在保留整个传统的机器学习训练流程，但将其在更高层级上运行——针对知识而非权重。这种方法被称为“智能体微调”。
这种对应关系是结构上的而非比喻性的：标准训练流程的每个部分都有直接的对应物，而被训练的对象正是知识本身。
可训练的成果是一个维基页面，即由提取出的学习内容构成的可读页面，每个论点都与其来源相关联。一个页面可能介绍冷浇注行为，另一个则说明 filings 的实际操作流程。人类可以打开这些页面并对其提出质疑。而位于顶层的智能体则被设计得极为简单，仅负责阅读维基页面，所有智能都体现在维基所存储的内容中。错误的答案是通过修正知识来纠正的，就像反向传播通过修正权重来实现纠错一样，绝不是通过调整提示词来期望得到正确结果。
在循环中只需遍历一次即可理解该流程：首先进行深度挖掘，接着从原始数据中提取基准值，不断调整直至得分稳定，最后才是那些任何前期步骤都不会涉及的秘密问题。
第一步：上传数据并明确目的
所有数据都会未经分类地被上传，同时还会附上一个常被忽视的问题的答案：应当从这些数据中学到什么？示例包括材料的特性或文件的实际处理方式。明确的目的在于引导挖掘工作朝着获取知识的方向发展，而非仅生成总结。
第二步：深度挖掘，wiki v0
接下来会仔细地逐份文档、逐个区域地对全部资料进行挖掘，深度则根据需求而定。这是成本较高的阶段，且只会进行一次。之所以要提前确定挖掘深度，是有原因的。假如只有在后续基准测试指出有问题时才进行挖掘，那么维基的内容就会完全取决于测试要求，知识体系也会为考试而非数据而调整。先深入挖掘可以让资料本身决定其完整性，这样基准测试的作用就仅限于检查和修正。
在挖掘过程中发现的矛盾，比如12个月与24个月保修期的冲突，会被放入队列等待人工处理。这些矛盾不会阻碍挖掘进程，且会在最后解决，因为没有任何模型能判断哪份PDF是过时的。
步骤3：基于数据而非维基构建基准测试
人们往往首先在这里犯错。如果试题来自维基，那么维基中缺失的内容就不会有相关题目进行考察，于是这个盲点就会自行“出题”并轻松得到“正确答案”。因此，试题需要另外三个来源：原始文档（读者应从这份报告中获取什么信息？）、明确的目的（关于趋势、原因和过程的跨文档问题），以及相关人员（他们实际会被问到什么问题）。这些资料随后会被分配，75%用于培训，25%作为保密试题保存，保持相同的主题比例，没有重复内容，且任何人不得查看。以考试为导向的教学会使其失去意义。
第4步：作答、评分、诊断、重写
每道错题都会被分析出根本原因，而每个原因都有其对应的处理路径：
- 如果数据中存在相关学习内容而维基却忽略了它，那就再次更深入地挖掘该区域。
- 如果到处都找不到相关内容，就询问人类专家，绝不能自行编造答案。
- 如果两个来源的观点不一致，就要将这种冲突呈现出来。
- 如果问题本身存在缺陷，就修正问题，不要干扰处理该问题的智能体。
有一条规则比其他所有规则都重要：问题的答案绝不能被复制到维基中。基准数据指出需要深入挖掘的方向，文档则决定记录什么内容，而所记录的内容必须是任何后续问题都能使用的通用页面。一旦这条规则被打破，维基就会在无人察觉的情况下变成一本答案手册。
第5步：诚实性检查
当训练分数停止上升时，会一次性运行秘密题目。如果训练结果与秘密题目的结果相近，说明该维基确实包含了有效学习内容，此时可以对其进行认证、版本控制，并将相关限制信息标注在包装上予以发布。若两者差距较大，则说明所构建的系统其实毫无价值。此时需要重新进行测试：将已用过的题目淘汰，从数据池中选取新的题目并更换表述和示例，再将新的一组密封题目存档，继续进行调整。由于维基之前偏向于旧题目，后续测试会遇到它未曾见过的题目类型。虽然训练分数从95降到了秘密题目的71分，这确实令人担忧，但同样的过拟合现象在2019年的任何Kaggle笔记本中都会出现。旧有的经验依然适用，这正是整个方法的精髓所在。
系统会持续提供无尽的测试数据集。若智能体处理不当的问题既需要通过维基进行修正，又会成为新的基准条目，而新的报告又会重新启动这一循环。最终，企业会拥有一个持续更新、经过验证的数据库，其价值甚至能超越相关人员的离职。
整个方法可以用一句话概括：
基准数据指示挖掘方向，数据本身决定要记录什么，而专用测试集则告知何时停止。
适用场景
这种方法适用于那些价值体现在其所拥有的有限资料堆中的组织。拥有数十年报告和测试规范的工程与材料公司符合条件，法律和知识产权领域也是如此，因为实际工作流程涉及数百个案例。拥有操作手册和服务记录的制造商也适用，此外那些积累了多年沟通记录的支持团队也同样适用，他们的基准数据几乎随时都可以导出。
那些要求提供证明的买家也能受益，因为附有秘密问题测试结果的证书比声称产品采用最新型号的声明更具说服力。
两种副作用本身也变成了有价值的产品。经过整理的维基页面能成为极佳的新手引导材料，因为新人可以直接阅读其中的学习内容。而审计发现的“两项政策相互矛盾，同时员工还在临时应对”的问题，正是咨询师会向企业收取高额费用来发现的——这个循环过程会自然产生这样的发现。
局限性
这种方法通过明确自身的局限来赢得信任，具体如下：
- 技能、风格和表达方式不在其范畴之内。如果模型无法以任务所需的方式推理或写作，那就属于真正的模型微调范畴。代理式微调调整的是模型的知识储备，而非其功能能力。
枯燥的部分，真正的优势
这些都不是什么研究突破。测试集早已存在，大语言模型评估也是常规操作，知识提取更是成熟的领域。真正的优势在于几乎没人愿意去做那些枯燥的工作。各团队都在比较模型，而真正有价值的经验却静静地躺在名为 FINAL_v2_old_DO_NOT_DELETE 的文件夹里无人问津。
模型会不断自我改进，但公司数据中的经验却不会自动被提取出来。真正值得训练的，是那些属于公司自身的内容。