中国工程院院士郑纬民:国产AI芯片核心问题是生态不够好,如果生态好性能做到60%也有人用|钛媒体AGI

中国工程院院士郑纬民:国产AI芯片核心问题是生态不够好,如果生态好性能做到60%也有人用|钛媒体AGI

 

文章摘要


【关 键 词】 AI大模型算力需求国产芯片技术创新数字经济

在2024年度信百会研讨会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民发表了关于AI大模型发展及其对算力需求的演讲。他指出,AI大模型正从单模态向多模态发展,应用广泛,导致算力需求急剧增长。然而,国产AI芯片在系统生态方面与英伟达相比仍有不足。

郑纬民强调,大模型算力需求贯穿其整个生命周期,包括模型研发、训练、精调和推理四个层次。他提到,算力成本高昂,以GPT-4和ChatGPT为例,训练和推理成本分别高达2亿美元和每天70万美元。

目前,大模型训练主要依赖三种支持系统:基于英伟达GPU的系统、基于国产AI芯片的系统和基于超级计算机的系统。郑纬民指出,尽管国产AI芯片在软硬件方面取得了显著进步,但由于生态系统不够成熟,用户使用意愿不高。

此外,郑纬民认为,使用超级计算机进行大模型训练是可行的,但需要软硬件协同设计,以降低训练成本。他以Llama-7B和百川大模型为例,展示了使用国产超级计算训练相比英伟达集群可节省约82%的成本。

存储在大模型生命周期中同样重要,郑纬民强调,改进存储系统可以显著提高性能,减少对算力的需求。他还指出,国产AI芯片在设计时应注重半精度和双精度浮点计算性能的平衡,以适应更广泛的AI算法需求。

尽管国产AI芯片在性能和生态方面仍面临挑战,但郑纬民认为,通过加强系统设计和软件优化,国产芯片有望在大模型训练中发挥更大作用。他预计,随着国产芯片技术的进步和生态系统的完善,未来国产AI芯片将在市场上占据一席之地。

同时,据媒体报道,英伟达有望在未来几个月内向中国交付超过100万颗”中国特供版”H20芯片,销售额达到约120亿美元。尽管这些芯片性能有所降低,但不受美国对华AI芯片出口管制限制。

总之,郑纬民的演讲强调了AI大模型对算力的高需求,以及国产AI芯片在系统生态、性能和存储方面的挑战。通过加强技术创新和生态建设,国产AI芯片有望在大模型训练等领域实现突破,为数字经济的发展提供有力支撑。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 1649字 | 7分钟 ]
【原文作者】 钛媒体AGI
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...