00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!

AIGC动态3周前发布 AIera
134 0 0
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!

 

文章摘要


【关 键 词】 Transformer芯片AI算力提升Etched公司Sohu芯片AI芯片创新

Etched公司,由一群00后哈佛辍学生创立,最近宣布了一项重大突破:他们开发出了迄今为止最快的Transformer芯片Sohu。这款芯片在运行大型语言模型(LLM)Llama 70B时,每秒能够生成高达50万个token,推理性能显著超过市面上的B200和H100芯片。

Etched公司凭借这一创新成果,成功完成了1.2亿美元的融资,投资方包括硅谷的知名机构和个人投资者,如Peter Thiel。公司创始人Gavin Uberti表示,他们正在开发一种专为Transformer模型设计的芯片,其运行速度远超GPU,这可能是人工智能领域的一个重要赌注。

Sohu芯片的推出,正值英伟达市值达到3.3万亿美元,超越微软成为全球市值最高的公司之际。Etched公司相信,尽管团队仅有35人,但他们有能力挑战英伟达。Sohu芯片的专用性意味着它无法运行大多数传统AI模型,但对Transformer模型来说,它提供了前所未有的速度。

然而,Sohu芯片的成功也伴随着风险。如果未来的AI模型转向其他架构,如SSM、RWKV等,Sohu芯片可能会变得无用。但Etched公司认为,如果他们对Transformer的判断正确,Sohu芯片将有可能彻底改变世界。

AI模型的性能在过去几年里取得了显著提升,这主要得益于计算量的大幅增加。例如,Meta用于训练Llama 400B模型的计算量是OpenAI训练GPT-2模型的5万倍。OpenAI通过Scaling Law预测了GPT-4的性能,并预计GPT-5+将同样适用。这表明,通过提供更多的算力和数据,可以显著提高AI的智能水平。

然而,随着摩尔定律的放缓,GPU性能的提升已经遇到瓶颈。过去四年里,芯片单位面积的计算能力几乎没有提升,而是通过增加芯片尺寸来提高性能。这导致了AI芯片的计算密度增长缓慢,硬件、成本和财力的挑战日益严峻。

在这种情况下,开发专用芯片成为了提高性能的必然选择。Etched公司的Sohu芯片正是这一趋势的体现,它专为Transformer模型设计,提供了前所未有的速度和效率。尽管存在一定的风险,但Sohu芯片的推出无疑为AI领域带来了新的希望和可能性。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 4934字 | 20分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...