GPT Next年底来袭!有效计算量百倍GPT-4,OpenAI耗资数百亿打造基建

AIGC动态4周前发布 AIera
185 0 0
GPT Next年底来袭!有效计算量百倍GPT-4,OpenAI耗资数百亿打造基建

 

文章摘要


【关 键 词】 AI模型GPT Next算力需求OpenAI融资

在KDD 2024峰会上,OpenAI日本首席执行长Tadao Nagasaki透露了关于下一代AI模型GPT Next的最新信息。GPT Next预计将在2024年发布,其性能将显著超越GPT-4。Nagasaki强调,尽管GPT-3和GPT-4的能力相近,但GPT Next将实现实质性的性能提升。这一消息与微软Build开发者大会上首席技术官Kevin Scott的言论相呼应,预示着年底前将有更强大的OpenAI模型问世。

在峰会上,还公布了关于猎户座(Orion)和草莓项目的更多细节。GPT-4 Next预计将使用迷你版草莓进行训练,其计算资源与GPT-4相当,但有效计算量是GPT-4的100倍。这100倍的增长可能指的是体系结构和学习效率的改进,而不仅仅是计算资源规模的增加。Orion项目与GPT-4相比,预计将在10k H100上用时几个月完成训练,增加了10倍的计算资源规模,相当于增加了3个数量级(OOM),预计明年发布。

此外,Nagasaki提到OpenAI正在开发的两个新系统:草莓和猎户座。草莓在数学和编程等领域具有更高能力,而猎户座可能是GPT-4的继任者,或者就是GPT Next。猎户座可能会使用草莓生成的高质量数据进行训练,并大幅提升逻辑推理能力。

OpenAI的全球员工数量不到2000人,其中一半从事人工智能开发。有传言称,GPT-5可能拥有3-5万亿个参数,远超GPT-4的1.7万亿。大模型的发展需要1.5-2年的时间来进化到下一代。

为了支持大模型的诞生,需要强大的算力基础设施。Sam Altman正在规划大规模建设AI所需的机器和系统,这一计划将耗资数百亿美元,分散在美国各州展开。项目包括建设数据中心、增加能源容量、利用涡轮机和发电机传输电力以及扩大半导体制造。支持者可能包括加拿大、韩国、日本、阿联酋的投资者。OpenAI高管,包括奥特曼,一直在与投资者会面,推进这笔交易。微软也被设想参与这一项目。

在谈判之际,OpenAI即将开启新一轮数十亿美元的融资,由Thrive Capital牵头,微软、苹果、英伟达也参与其中。这轮融资结束后,OpenAI的估值将超过1000亿美元。

还有传闻称,OpenAI可能在10月17日发布新的内容,可能是GPT-4o模型更新或SearchGPT的公开推出。谷歌DeepMind的首席科学家也提到,他的公司将在10月18日宣布一些事情。这表明OpenAI和谷歌在AI领域的竞争仍在继续。

豆包-智能助手

原文和模型


【原文链接】 阅读原文 [ 1186字 | 5分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

© 版权声明

相关文章

暂无评论

暂无评论...