Bengio新论文刷新递归推理上限，并行轨迹碾压串行推理

AIGC动态2小时前发布 almosthuman2014

59 0 0

文章摘要

针对大模型推理效率与质量的平衡难题，研究团队提出了生成式递归推理模型GRAM，将传统的确定性递归潜在推理转化为概率性的多轨迹计算。该模型在潜在空间中引入可学习的随机性，使每一步推理均可采样不同方向，从而实现对解空间的多路径探索。在架构设计上，系统采用层次化潜在状态结构，将随机引导仅注入负责抽象推理的高层组件，避免干扰低层的细粒度计算，并通过变分推断进行训练，使先验分布习得有效的探索策略。

在推理计算扩展方面，该方案突破了单纯依赖增加递归步数的局限，提出深度与宽度并行的双轴扩展策略。通过从先验中并行采样多条独立推理轨迹，模型能够在相同时间内覆盖更广阔的解空间，有效绕过深度扩展带来的延迟瓶颈。候选答案可通过多数投票或潜在过程奖励模型进行筛选，确保输出质量。实验数据表明，在Sudoku-Extreme与ARC-AGI等结构化推理任务中，引入随机潜在状态转移的架构显著优于各类确定性基线。仅需十六步递归配合二十条并行采样，其准确率即可超越确定性模型三百二十步串行递归的表现。

面对存在多个有效解的约束满足任务，概率多轨迹机制展现出显著优势。传统确定性模型因路径坍缩难以覆盖多样解，而该框架在保持高约束满足率的同时，实现了接近最优的解空间覆盖率。在无条件生成任务中，该模型以较少参数量和监督步数达到了领先的生成有效率与质量，且生成效果随推理步数增加而单调提升。消融实验进一步证实，随机性与学习到的引导方向缺一不可，两者的协同作用构成了性能增益的核心来源。研究结果表明，推理系统不仅需要向深处迭代，更需向宽度拓展，在潜在空间中通过概率递归实现双轴扩展，为未来递归推理架构的设计确立了有效路径。