ICML 2026｜让奖励模型更准更高效，TikTok、NUS提出置信度门控

AIGC动态2小时前发布 almosthuman2014

109 0 0

文章摘要

奖励模型在大语言模型对齐中至关重要，但现有标量判别式和生成式方法在计算效率与可解释性之间存在显著矛盾。为解决这一问题，CAMEL模型被提出，其核心思想是将奖励建模改造为置信度门控反思机制。该机制首先通过单token给出初始判断，并利用两个判断token之间的对数概率差值作为零成本的置信度信号，仅在置信度较低时才触发详细的反思复核。这种设计使得简单样本能够快速输出，而困难样本则获得细致的评估，从而在推理效率与判断准确性之间取得良好平衡。

在训练策略上，为避免反思过程流于形式，研究引入了反事实前缀增强技术，并结合群体相对策略优化算法，使模型学会在初判正确时予以确认，在错误时进行推翻，进而实现真正的自我修正机制。关键分析表明，模型自身的置信度能够可靠地区分样本难度，正确判断集中在高置信度区域，而错误判断多出现在低置信度区域。此外，训练后的模型置信度分布整体向左偏移，表现出更为审慎的判断倾向，这进一步验证了模型在训练中学会了识别对最终判断真正关键的信息。

在实验评估方面，基于140亿参数构建的CAMEL模型在多个主流奖励模型基准测试中展现了卓越的性能。其平均准确率达到82.9%，较此前最佳基线提升3.2%，并以较小的参数规模成功超越了多个700亿参数级别的奖励模型。通过灵活调节置信度阈值，该模型能够在准确率与计算成本之间实现更优的折中，建立起更优的帕累托前沿。总体而言，将计算资源精准集中在真正困难的样本上，有效化解了奖励模型长期面临的效率与表达能力之间的矛盾，为大模型后训练优化提供了极具价值的实践范式。