在ICLR 2024这场演讲中,智谱AI首次公开神秘项目「GLM-zero」

AIGC动态7个月前发布 almosthuman2014
1,078 0 0
在ICLR 2024这场演讲中,智谱AI首次公开神秘项目「GLM-zero」

 

文章摘要


【关 键 词】 ICLR会议大模型智能涌现AGI探索中国OpenAI

ICLR(国际学习表征会议)自2013年由深度学习领域的两位图灵奖得主Yoshua Bengio和Yann LeCun创立以来,迅速成为了AI领域的顶级会议之一。2024年,ICLR迎来了第十二届,会议在奥地利维也纳举行,吸引了大量参会者和论文提交,显示出该会议的影响力和热度。

ICLR见证了人工智能领域十多年的发展,从最初只有二十几篇接收论文的小型会议,成长为投稿量超过七千的顶级会议。在2024年的开幕式上,ICLR公布了一些数据和奖项,包括首届时间检验奖,该奖项颁给了对深度学习和生成模型领域有深远影响的研究《Auto-Encoding Variational Bayes》(VAE)。

本次大会上,有七场受邀演讲,包括来自中国的GLM大模型团队的特邀演讲《The ChatGLM’s Road to AGI》。GLM团队回顾了近年来语言模型领域的技术演进,并讨论了大模型技术如何显著提升AI在多个任务上的表现,以及这些技术对于实现AGI(人工通用智能)的潜力。

演讲中提到了模型的“智能涌现”现象,即当模型规模达到一定阈值时,性能会显著提升。这种现象被称为“涌现(emergence)”,并与“Scaling Law”有关。然而,斯坦福团队的研究提出了相反的观点,认为大模型能力的涌现与任务的评价指标强相关,并非模型行为的基本变化。这项研究获得了NeurIPS 2023最佳论文奖。

GLM大模型团队在今年3月的一篇论文中提出,只有当预训练损失低于某个阈值时,模型才具有涌现能力,为后续研究提供了新的视角。GLM团队在大模型领域备受关注,被视为最有可能成为“中国OpenAI”的团队之一。他们的研究成果已经涵盖了多个领域,并且在模型迭代和优化方面保持了快速的进展。

在ICLR的演讲中,GLM团队深入解读了面向AGI的三个探索方向:首先是GLM-4的后续升级版本,将基于超级认知和超级对齐技术;其次是提出GLM-OS概念,即以大模型为中心的通用计算系统;最后是公开了名为“GLM-zero”的技术项目,旨在研究人类的“无意识”学习机制。

GLM团队的研究和发展展示了大模型技术在推动人工智能向AGI发展的潜力,同时也体现了中国在人工智能领域的进步和贡献。随着技术的不断进步,GLM团队和其他研究者的工作可能会为实现AGI提供重要的基础。

原文和模型


【原文链接】 阅读原文 [ 2844字 | 12分钟 ]
【原文作者】 机器之心
【摘要模型】 gpt-4
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...