马斯克突然开源Grok:3140亿参数巨无霸,免费可商用

AIGC动态1个月前发布 QbitAI
160 0 0

模型信息


【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆

马斯克突然开源Grok:3140亿参数巨无霸,免费可商用
 

文章摘要


【关 键 词】 马斯克开源混合专家大模型创新精神

这篇文章介绍了马斯克旗下的xAI公司开源了其大模型Grok-1,这是一个拥有3140亿参数混合专家模型,是目前开源模型中参数量最大的一个。Grok-1的GitHub仓库已经获得了4.5k标星,引起了广泛关注。该模型采用了混合专家(MoE)架构,包含8个专家,总参数量为314B,需要大量GPU和内存才能运行。Grok采用了Rust编程语言JAX深度学习框架,与传统的Python、PyTorch或Tensorflow不同。Grok-1的权重文件以磁力链接形式提供,文件大小接近300GB。除了模型参数量庞大外,Grok还采用了旋转的embedding方式等技术细节。马斯克开源Grok被认为是为了回应OpenAI不开源的行为,以及避免被指责双重标准。Grok-1采用Apache 2.0许可证,商用友好。文章还提到了马斯克旗下其他公司的最新动态,如特斯拉推出端到端纯视觉的自动驾驶系统、SpaceX完成第三次星舰发射等。马斯克的多元化业务和多线并进的发展战略也受到了关注。整体而言,马斯克通过开源Grok和其他举措展现了其在技术领域的影响力和创新精神

原文信息


【原文链接】 阅读原文
【阅读预估】 1215 / 5分钟
【原文作者】 量子位
【作者简介】 追踪人工智能新趋势,关注科技行业新突破

© 版权声明
AcademicIdeas – 学境思源AI论文写作

相关文章

AcademicIdeas – 学境思源AI论文写作

暂无评论

暂无评论...