突破性语言模型架构：无需额外训练数据，35亿参数媲美500亿参数模型！
一项来自马里兰大学的最新研究，在人工智能领域掀起了波澜。该研究提出了一种全新的语言模型架构，它能够在无需特殊训练数据的情况下，通过迭代循环块在潜在空间中进行隐式推理，从而显著提升模型的计算效率，尤其是在需要复杂推理的任务上实现35亿参数达到500亿参数模型的性能。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
(Hugging Face 上个月下载量已超过 4500 次。)
不同于通过生成更多 token 来扩展计算的主流推理模型，该模型采用深度循环（Recurrent Depth）方法，无需生成大量“思考”token 即可获得高性能。它无需任何专门的训练数据，可以使用小的上下文窗口，并能捕捉难以用文字表达的推理类型。
该研究的验证模型拥有 35 亿参数和 8000 亿 token 的训练数据，实验结果表明，新方法显著提升了模型在推理基准上的性能，尤其是在需要复杂推理的数学和编程问题上。其计算负载效能相当于 500 亿参数的模型。
- 论文链接：https://www.php.cn/link/7ad874c1df47197ed606592e1a07c230
- 模型下载：https://www.php.cn/link/cef683681c0db9c2e21e705976d1c886
- 代码链接：https://www.php.cn/link/645d8981d8d3547c17119dda7d6c057a
模拟人类深层思考
人类解决复杂问题时，往往会进行深层思考，即使在表达答案之前，大脑已完成了复杂的、反复的思考过程。而传统AI模型则主要通过扩大模型规模来提升能力，这需要巨大的数据和算力。近年来，研究者开始探索在测试阶段增加计算量来提升推理能力，但将内部推理过程压缩为生成下一个token的约束，效率低下。
该研究提出，如果模型能够在连续的潜在空间中“思考”，其能力将得到显著提升。为此，研究人员为模型添加了循环单元，使其能够持续处理和更新隐藏状态，实现无限延续的计算。
该研究展示了深度循环语言模型（depth-recurrent language models）的有效性，其Transformer架构建立在潜在深度循环块之上，在训练期间运行随机采样的迭代次数。该模型可以扩展到数十亿参数和超过5万亿个预训练数据标记。在测试时，通过潜在空间中的循环推理提升性能，使其能够与其他大型模型竞争。
此外，该模型还天然支持许多功能，例如每个token的自适应计算、（自）推测解码和KV缓存共享，这些功能在非循环模型中需要大量调整。通过跟踪潜在空间中的token轨迹，研究人员观察到模型在潜在空间中旋转形状以进行数值计算等有趣的计算行为。
深度循环训练的优势
循环层使Transformer模型能够在生成token之前执行任意数量的计算，为测试时计算量的扩展提供了一种简洁的解决方案。与传统的长上下文推理方法相比，潜在循环思考具有以下优势：
- 无需定制化训练数据: 无需在特定领域的长示例上进行训练。
- 更低的内存需求: 训练和推理时所需内存更少。
- 更高的计算效率: 每参数执行的浮点运算（FLOPs）更多，降低了大规模训练时AI计算卡之间的通信成本。
- 促进“思考”而非记忆: 强化模型构建“思考”而非单纯记忆来解决问题。
可扩展的循环架构
该研究提出的架构基于仅解码器（decoder-only）的Transformer模块，这些模块被组织成三个功能组：前奏（Prelude）P、核心循环块（Core Recurrent Block）R和尾声（Coda）C。核心块通过循环计算修改状态，模型在测试阶段可以无限扩展计算深度。
模型的训练过程通过随机采样迭代次数和截断反向传播来减少计算和内存开销。
实验结果与分析
该模型在多个基准测试中取得了优异的成绩，在某些任务上甚至超过了参数规模更大的模型。虽然训练数据规模相对较小，但其性能已经证明了深度循环方法的有效性。
通过对比实验，研究人员证实了模型的提升主要来自于递归模块的多次运算。模型能够根据任务难度自适应地调整计算量，并实现了零样本KV缓存共享和连续思维链。
通过分析潜在空间中的token轨迹，研究人员发现模型并非采用传统的线性推理方式，而是利用高维空间实现了更丰富的几何模式。
结论
这项研究提出了一种具有突破性的语言模型架构，它在计算效率和性能方面都取得了显著的进展。深度循环方法为未来的语言模型发展提供了新的方向，有望进一步提升模型的推理能力和效率。 该研究也为我们理解语言模型的内部工作机制提供了新的视角。
