「群体智能」剑指AGI革命!国产架构挑战Transformer霸权,首款非Attention模型更新

AIGC动态2个月前发布 AIera
574 0 0
「群体智能」剑指AGI革命!国产架构挑战Transformer霸权,首款非Attention模型更新

 

文章摘要


【关 键 词】 群体智能AI交互多模态低功耗自主学习

国内AI初创团队RockAI提出了一种新的方法来实现通用人工智能(AGI),即通过“群体智能”来赋予每个设备智能,并实现类人交互。他们认为,要实现这一目标,需要创新的算法架构。为此,他们开发了Yan系列模型,这些模型采用了非Transformer的独特路线,已经在树莓派、机器人、AIPC等终端设备中得到应用。

Yan1.3模型是最新的迭代版本,它支持文本、音频、视觉输入,并能以语音、文本方式输出,模拟了人类的复杂感知系统。Yan1.3在兼容性和性能上表现出色,能够在不同终端上实现秒级实时响应,无论是在CPU还是GPU上,都能提供流畅的人机交互体验。

在手机端,Yan1.3模型展示了强大的本地大模型能力,即使在低端手机硬件上也能无损适配,提供了高效的语音助手功能。在个人PC上,Yan1.3能够实时转录音频并生成摘要,还能帮助用户找到特定的图片,这些功能只需要一台配备英特尔Core i5主机即可流畅运行。

Yan1.3还在人形机器人上实现了离线运行,展示了其多模态认知能力。此外,搭载Yan1.3的无人机能够进行治安巡逻、交通巡检和异常监控,同时还能为用户提供拍照服务。

RockAI的技术路线与OpenAI和World Labs不同,他们提出了MCSD(Multi-Channel Slope and Decay)架构,这是一种非Attention机制,能够实现线性扩展,降低计算资源消耗。MCSD架构通过替换Transformer中的注意力机制,实现了更高效的特征提取和推理计算。

RockAI还采用了“类脑激活”机制,模拟大脑中的神经元激活模式,使神经网络能够更高效地处理复杂数据和任务。这种机制结合MCSD架构,使得Yan系列模型在算力消耗上达到了极致的低水平。

RockAI的目标是实现AI的群体智能,他们将这个目标分解为四个阶段的子目标。目前,他们已经实现了前两个阶段的目标,即创新基础架构和多元化硬件生态。Yan1.3模型的发布和广泛部署适配,标志着他们在实现群体智能的道路上迈出了重要的一步。未来,RockAI计划继续发布Yan2.0,强化模型的自主学习和自我优化能力,以实现更好的物理世界交互和群体进化。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 4904字 | 20分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...