循环深度解析：循环Transformer与隐式推理机制
循环变换器如何在隐藏状态中进行推理，为何实验室青睐它们，八年来发表的论文揭示了什么，以及这对本地化人工智能与监管意味着什么。
目前大多数推理模型只能通过将思维过程以标记的形式记录下来才能逐步推进，正因如此，思维链转录成为监控模型运行状态的主要方式。这种模型的递归深度会发生变化：在输出任何内容之前，模型会先在其隐藏状态上重新运行部分层结构，因此有些“思考过程”根本不会转化为文本。本文将解释这一机制的运作原理、其在经济层面的优势、已有研究如何证明其有效性，以及它对在个人硬件上运行的开放模型以及那些依赖读取模型推理过程的用户可能产生的影响。
一种常见的模式：隐藏的机制，公开的复制
推理模型的故事已经上演过一次。2024年OpenAI推出o1时，该模型在回答问题前会进行思考，但其推理过程被隐藏且截断，该公司还公开表示这种隐瞒是故意的。许多观察家认为相关技术将在多年内保持专有状态。然而一年多后，DeepSeek发布了权重公开且推理过程可见的R1，一旦技术细节被公开，开源社区便迅速复现了这一方法。
这种模式反复出现：封闭的实验室推出某项功能，对其机制保密，而后开源研究团队复现并免费发布它。此次的深度学习领域也呈现出相同的模式，但有一个重要的区别：在封闭版本尚未得到确认之前，已有权重公开的开源实现存在。
关于Astra已确认的信息与未确认的信息
OpenAI于2026年9月2日推出了Astra。在此需要将各种说法区分开来，因为有趣的部分恰恰是那些非官方的信息。
OpenAI已确认的内容
- Astra是该公司首个被评定为“关键级”用于网络安全的模型。
- 它在ExploitBench测试中获得了100%的分数，该测试旨在检测模型发现并利用真实软件漏洞的能力。
- 该模型配备了思维链监控功能，可追踪其文字推理过程。
有报道但未得到确认的内容
9月1日，《The Information》报道称Astra采用了循环深度结构，即具备内部推理循环功能。OpenAI对此既未确认也未否认。这是目前最可靠的报道，源自正规媒体而非传闻，但不可将其视为既定事实而重复传播。
声称如此但无法验证
首席科学家雅库布·帕乔茨基公开表示，Astra的计算图深度“与GPT-4相比仅相差两倍左右”。如果这一说法属实，那就意味着其循环结构被刻意设计得较浅，该模型的推理透明度仅比传统单遍模型略低。由于实际数值尚未公布，外界无法验证这一说法，只能相信其陈述。
纯属猜测
有关Astra其实就是传闻中的“GPT-6”的说法毫无依据，公司外部无人知晓此事。
为何监控问题如此关键
2025年7月，来自OpenAI、DeepMind、Anthropic以及英国人工智能安全研究所的41名研究人员共同签署了一份关于思维链监控的立场文件。该文件特别指出，那些以向量而非文字进行推理的潜在推理架构，可能会关闭当前许多安全措施所依赖的监控窗口。帕乔茨基也是签署人之一。如果报道属实，某个实验室现已部署了其首席科学家曾认为会威胁到监管工作的那种架构。如需更全面地了解Astra与其他前沿智能体的对比情况，请参阅我们关于Astra、Flash、Fable和Mythos的对比文章。
循环深度机制的工作原理
标准变换器会让每个标记恰好经过其层堆栈一次。如果模型需要更多的串行计算来解决某个问题，它唯一的办法就是生成更多标记：每一个可见的推理步骤都对应一次前向传播，而每一步都是可读文本。
循环深度模型将层堆栈分为三部分。前导部分将输入嵌入到潜在状态中，核心模块会反复作用于该状态，而后置部分则将最终状态映射为输出。下图展示了这两种结构的差异；请注意，循环的核心模块在每次传播时都会重复使用相同的权重，并且所有迭代都在生成任何单词之前完成。
Standard: token → L1 → L2 → ... → L96 → out
(one pass; "extra thinking" = more visible words)
Astra: token → PRELUDE → [ CORE × R ] → CODA → out
↑
the same block of layers, re-run on the
model's own hidden state, R times -
before a single word is written
以公式形式表示的话，每次迭代为 h_next = f(h_current)，其中 f 每次都代表同一组共享层。从第二次到第R次的迭代不会引入新参数，它们只是将相同的权重再次应用于持续变化的状态。一个有助于理解的概念是：先在私下里对草稿进行多次修改，最终只提交定稿。
关键结论是：第一次迭代之后的所有迭代都完全在向量空间中进行，而向量不会留下任何记录。那些中间步骤的任何信息都不会被监控设备读取到。
循环次数R同样属于运行时参数，而非不同模型。同一个检查点在R=1时可用于低成本版本，在R=20时可用于高级版本。从外部看，只有提示和答案可见；中间进行了多少次内部处理则不可见，除非服务提供商主动告知。
为何实验室需要它：清晰思考的成本
暂且先不考虑安全性问题，因为其经济合理性已经足够充分。
思维链推理就像按字计费的电报系统。每个推理标记都是依次生成的，后续的标记都会参考之前的标记，并且在整个请求处理过程中都会占用KV缓存的空间。因此服务提供商最终会以标记的价格，向用户收取模型自身处理过程的费用。
潜在循环能够在不产生任何额外标记的情况下实现串行计算。无需为每次思考支付生成成本，上下文长度也不会增加，也不会带来额外的缓存压力。在每天需要处理数十亿次推理请求的规模下，将推理过程内化既是一个架构决策，也是一个成本权衡问题。这种设计还能很好地适配分层定价机制：相同的检查点，若循环次数更多，则能解答更复杂的问题，价格也会相应提高，而“思考”这一标签则用于体现这种差异。
两种获取能力的方式：广度或深度
如果在本地进行推理，权衡因素则有所不同。目前有两种截然不同的策略，它们所消耗的资源也各不相同。
大多数开放模型采用的方法是通过专家混合机制实现大规模处理。例如，Qwen的Flash-Next会保留512个专家模型，但每个标记仅激活其中约2%的模型。这是一种受内存限制的并行计算方式；据报道，在64GB容量的MacBook上，它的处理速度约为每秒30个标记。
使用更大容量的内存会消耗更多内存资源，而内存早已成为一种稀缺且价格昂贵的组件。在撰写本文时，64GB DDR5内存条的报价从2025年8月的平均约191美元上升至一年后的约1,118美元，涨幅高达485%，这一增幅甚至超过了包括GPU在内的大多数其他电脑部件。其背后的推动力是人工智能基础设施的发展：内存制造商正在将生产转向用于数据中心加速器的高带宽内存，大型科技企业则提前多年预留产能，预计这种短缺状况将持续到2027年。请将这些数据视为阶段性信息，在依赖它们之前务必查看最新的市场动态。
循环深度则采取更深入的方式：相同的层次结构会运行R次。这会耗费大量时间。在本地硬件上，每多一次循环都会降低解码速度；当R=4时，原本每秒能解码30个标记的模型速度会降至约7个。在笔记本电脑上运行的循环模型虽不会明显出错，但深度增加时速度也会随之变慢。
这正是其吸引人的原因。循环结构能从必须从内存中调取的每一字节权重中提取更多计算能力，而内存带宽正是受限资源。执行额外遍历的算术单元在内存读取之间往往处于空闲状态。宽度较大的模型会占用所有人都在争夺的资源；而深度较大的模型则占用数据中心用户无法看到明细的成本。不过在自己的机器上，这种影响会直接体现为每秒标记数的下降。
研究历程：八年的公开论文
这些核心理念并无任何秘密可言。自2018年起，其基本机制就已公开在学术文献中，阅读这些论文能让你比通过任何产品宣传更深入地理解循环模型。
权重共享深度模型（2018–2019）
- Universal Transformer（Dehghani等人，2018年）。 这种原始的循环结构是通过共享参数反复应用相同的层。它在GLUE任务上的表现优于相同规模的Transformer模型，且计算量仅为其四分之一左右，因此被大量引用，但始终无人将其大规模部署。
- ALBERT（2019年）。 该模型将层共享作为一种压缩技术，证明了重复使用现有深度结构比额外添加独特层更为经济。
潜在空间中的推理（2024–2025）
- Coconut（Meta，2024年12月）。其标题“训练大语言模型在连续潜在空间中进行推理”阐述了该理念：中间推理过程保留在隐藏向量中，只有最终结论被转化为文本。在规划任务中，它比链式思维方法表现更好，且生成的可见步骤更少，这直接挑战了“更多的文字推理意味着更好的推理”这一假设。
- Huginn（Geiping等人，2025年2月），“利用潜在推理提升测试时计算能力”。这是一个拥有35亿参数的模型，基于8000亿个标记进行训练。在保持权重和数据不变的情况下，仅将循环次数从r=1改为r=32，就让ARC-E的得分从34.9提升到69.9，其推理能力相当于一个500亿参数模型的水平。
开放权重与扩展性（2025–2026年）
- Ouro / LoopLM（字节跳动，2025年10月）。这是最具实际应用价值的模型，因为其权重已发布在Hugging Face上。该系列包括基于7.7万亿个标记训练的14亿参数和26亿参数版本，其性能据称可与拥有高达120亿参数的顶尖模型相媲美。控制实验表明，其优势源于对知识的优化处理而非知识容量的提升：这些循环结构并非存储了更多事实，而是更高效地利用了现有知识。研究团队还发现，LoopLM的推理轨迹与最终答案的契合度比思维链轨迹更高。
总体而言，相关机制、基准测试结果、扩展方法以及测量工具早已公开。新的在于其前沿应用场景，而非概念本身。
这对开放模型与本地推理可能意味着什么
以下仅为预测，并非事实，但均基于上述研究得出。
开放式的循环版本很可能即将推出
行之有效的扩展方案是循环式专家混合架构，而目前主流的开放模型系列，如Qwen和DeepSeek，本身就是专家混合架构。在现有的MoE模型中加入循环核心属于渐进式改进而非彻底重设计，因此有理由预计在一两个模型版本之后就会出现带有循环核心的开放版本，其宣传重点很可能是“思考时间更长”而非“模型规模更大”。
同等功能下更小的文件体积
本地推理一直受文件大小的限制：庞大的权重文件、内存容量瓶颈，以及为让模型能运行而不得不手动卸载某些层。如果一个14亿参数的循环模型真能与120亿参数级的密集型模型相媲美，那就意味着只需下载3GB的数据即可，而非之前的24GB。这样的模型可以在消费级硬件上通过LoRA进行微调，从而为处理更长的上下文留出更多内存。每字节所能实现的功能将更有利于那些仅拥有单个GPU或笔记本电脑的用户。如果您正出于稳定性考虑在本地模型与托管API之间做选择，我们关于AI访问作为依赖风险的文章详细探讨了这一层面的权衡。
边缘硬件非常适合处理循环结构
循环结构消耗的是计算能力而非内存带宽，而苹果芯片之类的设备在计算能力方面远强于其带宽。这种平衡对上一代推理任务来说并不合适，但对这一代则非常理想。循环模型还便于内核优化：操作种类更少，权重在多次迭代中都能保留在缓存中。目前缺失的只是相应的软件支持。像 llama.cpp 和 MLX 这样的运行时环境需要明确支持循环深度和自适应提前终止功能，用户才能从中受益。
循环深度或许可以成为面向用户的设置
通过按令牌递归的方式，小型模型只需在确实需要时才使用大型模型的计算资源：处理常规文本时效率很高，面对复杂步骤时则能深入分析。就像你现在可以调整采样温度一样（参见我们关于温度、top-k和top-p的指南），未来你或许也会为每个请求设定深度预算。工具调用的结果也表明了同样的趋势：那些会规划、调用工具并跟踪状态的智能体能从更高的深度中获益最多，而这正是本地编程助手所需要的。
开放模型可能扭转透明度与性能的权衡
“不透明序列深度”工具是公开可用的。封闭式的模型提供商可以使用未公开的R值来构建循环结构，但任何拥有开放权重的人都能直接测量模型的隐藏推理深度。因此，采用开放式模型无需重复面对不透明性问题；封闭式实验室所隐瞒的数值可以成为开放模型的可测量、可公开的属性。Ouro的研究结果还提醒人们，不要认为隐式推理本质上就不可靠：其追踪的最终答案比传统的思维链方法更为准确。
真正的开放性问题并非开放式模型是否会采用循环结构，因为Ouro和Huginn的权重已经可用。问题在于社区是否会让循环结构与封闭式实验室拒绝采用的那种做法相结合——即公开循环结构的数量。
当循环深度并非合适工具时
- 如果在受监管的工作流程中需要可审计的推理过程，可见的思维链比任何隐式处理方式都更易于检查。
- 在本地设备上，如果延迟比精度更重要，那么每多一个循环都会直接降低处理效率。
- 如果您的推理运行时不支持循环核心或自适应退出机制，那么您还无法体会到效率提升的优势。
总结
在大约十年的语言模型发展历程中，额外的推理过程必须以文本形式表达，而人们也花费大量精力去解读这些文本。循环深度结构消除了这种关联：模型可以进行有意义的串行计算，而无需生成文字。虽然监控窗口依然存在，但它不再一定能够显示所有内容。
从某方面来看，相关研究记录令人安心。循环模型背后的技术、开放权重以及用于测量隐藏层深度的工具都已经公开。封闭式实验室或许能率先应用这些技术，但开放生态系统能够确立行业标准。
- 循环深度模型会在隐藏状态上重复使用同一组核心层结构R次，从而在无需额外标记或参数的情况下实现串行计算。
- 该模型以内存为代价换取时间效率，因此很适合数据中心以及计算能力强但带宽有限的本地硬件。
- Universal Transformers、Coconut、Huginn、Mixture-of-Recursions、Ouro以及循环式MoE等模型共同揭示了其工作机制及扩展规律。
- 关于Astra是否使用该技术的报道尚未得到证实；对于任何服务提供商，都应将其循环次数视为需要询问的问题。