通用人工智能是一个学习问题，而非存储问题。
有一种观点认为，人工智能所缺少的关键在于持续学习而非更大的权重，并提出了一个用于验证每项微小变化的自我更新循环示意图。
重新定义问题的文字记录
最近，一段时长四小时的投资者电话会议的文字记录开始流传，据称参与者为DeepSeek的创始人梁文锋。在记录中，他指出了当今人工智能所缺乏的东西——既非创造力，也非推理能力。根据该记录，真正的缺陷在于人工智能无法像人类那样持续学习，而在这一情况改变之前，任何模型都算不上下一代产品。
据称他提出的发展路线图从思维链推理开始，接着是智能体，然后是持续学习，再往后是“奇点”，最终实现具身智能。
这一观点还有另一套独立的论证支持，其出发点与前述观点不同。
智力并非可储存的资源
每当有新的语言模型发布，总会出现同样的讨论：基准测试分数、推理能力、上下文长度、参数数量，以及它相比前代模型究竟聪明了多少。智能几乎完全是通过模型已掌握的知识来衡量的，但这可能并非正确的标准。
人们之所以聪明，并不是因为大脑存储的信息量。如果以存储容量作为标准，医学教科书反而会比医生更“聪明”。
试想有人被问及一个他完全不懂的领域。答案并不会立刻出现。首先他会意识到自己掌握的知识不足，接着开始搜索、对比不同资料、阅读相关内容、对所获信息提出质疑，逐步建立起理解，最终找到答案。几周后若不再回顾，许多细节早已模糊不清。一旦再次需要这些知识，就不得不重复整个过程。智慧并未随着被遗忘的事实而消失，因为学习的能力依然存在。
人并非通用人工智能，即便是人类的普通智力也会不断遗忘。长期不使用的技能会逐渐退化，必须通过针对该主题的重新训练来恢复。这并非智慧的缺陷，而是所有已观察到的智能系统——包括我们自己——的学习方式。
语言模型的差异
如今的模型运作方式有所不同。首先进行大规模的预训练，随后是精心设计的微调阶段，之后参数基本上保持不变，直到下一个训练周期开始。如果世界上出现了新事物，模型无法自行决定去研究它。工程师、研究人员以及数据处理流程会在模型闲置时做出这样的选择。实际上，本应属于学习范畴的智能问题，却被当作存储问题来处理。
灾难性遗忘
机器学习面临着一个难以克服的障碍，即灾难性遗忘。当用新数据对模型进行微调时，它常常会丢失部分先前的知识，因为那些支撑原有能力的参数会被修改以适应新知识。这一问题的根源就存在于设计之中——变换器将所掌握的知识存储在用于推理的固定权重矩阵中，因此修改其中一个就会影响另一个。尽管多年来人们一直在努力减轻这一效应，但反复重写同一个共享表示是否真的是一种合理的策略，至今仍存在疑问。
并非某位创始人的直觉
这一担忧并非仅限于某一位创始人。负责DeepMind的德米斯·哈萨比斯今年也在公开场合表达了类似观点。他认为，一致性、长期可靠性以及类人的适应性——其中还包括持续学习能力——仍是阻碍进展的因素，而他并未将问题归咎于计算资源不足。他的立场与Anthropic的不同，后者的大卫·阿莫代曾表示，该机构就像一个由众多杰出研究人员组成的“国家”，他们生活在数据中心里，主要通过扩展现有的扩展方法来实现目标。
这两种观点可以同时成立。规模扩展依然有效，而持续学习仍是目前无人能完全解决的问题。二者共同表明，这一理念并非边缘观点，而是存在于各大实验室对未来工作描述方式中的真正分歧点。
借鉴大脑的智慧
人类大脑似乎并不会在每次掌握新事实时都进行自我重写。它由多个相互作用的系统构成：用于即时推理的工作记忆、经过多年积累的长期记忆、通过重复练习而变得自动化的技能，以及那些因不再有用而逐渐消失的记忆。学习并非单一的操作，而是一个由多种过程构成的生态系统。
一个常用的类比是，大脑中存在类似RAM和类似ROM的组件，二者属于不同的系统。工作记忆扮演着RAM的角色：速度很快、存在时间短暂且会不断被覆盖。而长期知识则相当于ROM，写入速度较慢，但一旦形成就会稳定存在。若要让通用人工智能具备类似人类的智能，这种分离结构很可能必须从一开始就设计好，而不能依赖同一组庞大的权重来同时承担这两项功能。大脑并非唯一的参考模板，但将推理与记忆分开也能解决实际的工程问题。
能够察觉自身缺陷的模型
想象这样一个推理模型：它能持续察觉自身的弱点。无需等待数月进行训练，它就能找出自己不确定的地方，收集可靠信息并加以验证，生成少量新的训练数据，然后对自己进行微调。接着它会检查这种调整是否真的有帮助且不会损害现有能力，之后再决定是否采纳。所有被采纳的调整都会保持在小范围内，以便在后续证据暴露错误时能够回退。
其机械化版本可能如下所示：
- 该模型通过在网上搜索相关主题或反思自己已遇到的困难，自行组装出一小份数据集。
明显的风险
危险在于“垃圾进，垃圾出”。使用自生成数据训练模型可能会导致其强化自身的错误，而且尽管每个小误差看似无害，但会在多个步骤中不断累积。一种部分防护措施是让模型在训练前先审核其生成的数据集，通过少量样本的提示对自身生成的示例进行评分，只保留优质的样本，而非全部采用。但这仍算不上真正的解决方案，它只是以更简化、更直接的形式重新提出了整个方法所依赖的自我评估问题。
这里有什么新内容，又有什么没有？
认为持续学习是缺失的关键这一观点并非新鲜事。梁几日前就提出过，哈萨比斯也在公开场合表达过类似观点，研究人员多年来一直在研究灾难性遗忘问题。目前缺乏的是具体的实现方法。梁的路线图仅用一句话说明持续学习模型能够构建自身的下一个版本，指出了目标但未提及具体机制。
上述循环——使用小型数据集、有限度的微调、以冻结的原始模型作为验证标准，并决定保留或丢弃结果——便是填补这一空白的一种尝试。它可能并不正确，甚至在实现层面也未必具有原创性，因为实验室里几乎肯定已经有人在尝试类似方法。它的具体性足以让人以可验证的方式找出错误，而一个能够被证伪的想法总比那些过于模糊、无法测试的想法要好。
其结果不会是一个不断重写自身身份的模型，而会是通过数千次经过验证的修正逐步演进的模型。
随之而来的难题
这种方法立刻引出了若干棘手的问题：
- 系统如何验证自己的学习结果是正确的？
- 它如何避免强化自身的错误认知？
- 遗忘究竟是二进制事件——事实要么存在要么消失——还是指每次无关更新都会使其逐渐淡化的梯度效应？
- 有多少知识应该成为永久性的，又有多少应保持在外部？
- 信息何时应当存储在内存中，何时又只需根据需求从可信来源获取？
这些问题比最初的提议更为复杂，目前尚无现成答案。恰恰正是这些值得深入研究的问题。
相关技术已存在
目前已有多种相关技术，包括检索系统、持续学习方法、合成数据生成技术、自主智能体、参数高效微调技术以及越来越强大的推理模型。看似缺失的并非另一条增长规律，而是一个能让这些技术在一个能够持续学习的系统中协同工作的框架。
也许通用人工智能不会因为某个模型变得大到难以想象的程度而出现，而会在人工智能不再静态的时候到来。智能或许不再那么依赖参数的积累，而是取决于能否构建出具备良好判断力的系统——知道何时该怀疑自己、何时该寻找新信息、何时该修正信念，以及何时该承认自己并不确定。
这是否就是通往通用人工智能的道路尚不得而知，历史也有可能证明这种直觉是错误的。不过有一个观点仍值得认真考虑：人类所知的最智能的系统——即人类大脑本身——之所以卓越，并非因为它们从不遗忘，而是因为它们从未停止学习。