当大模型升级速度变缓,AI Infra 创业还是一门「好生意」吗?

当大模型升级速度变缓,AI Infra 创业还是一门「好生意」吗?

 

文章摘要


【关 键 词】 AI Infra芯片适配推理成本MaaS平台异构混训

AI Infra领域的发展呈现出两极分化的格局,海外市场被巨头垄断,而国内市场则显得过于分散。中国AI Infra创业主要由清华系背景的团队引领,这些企业主要聚焦于模型与芯片的深度适配,旨在减少算力资源闲置并降低模型应用的成本。随着大模型的发展重心从训练转向推理,推理成本的降低成为关键问题,预计未来三年内推理成本将实现每年十倍的降低。

在推理布局上,海内外企业存在分歧,特别是在MaaS平台的构建上。MaaS平台通过将模型部署到云端,以API形式提供服务,专注于计算调度,提高成本效率和稳定性。然而,潞晨科技创始人尤洋对此表示担忧,认为创业公司通过MaaS平台销售大模型API将与通用大模型公司竞争,难以获得市场份额。因此,潞晨科技选择进入视频大模型领域,发布开源模型并走向商业化。

国内外市场在AI Infra创业上的差异显著。海外市场由于英伟达的统一市场地位,创业相对简单,但国内市场芯片厂商分散,对不同国产芯片的支持显得尤为重要。国内算力资源丰富但分布不均,导致算力资源闲置和国产算力能力未能充分发挥。无问芯穹等企业通过异构混训技术,尝试解决芯片产能不足的问题,但异构混训的长期可行性受到质疑。

AI Infra创业公司与云服务商之间的关系也是业界关注的焦点。虽然存在竞争,但创业公司在分布式资源合并和国产芯片适配方面具有优势,与云服务商有合作空间。在大模型浪潮中,AI Infra创业公司正在探索合适的业务方向,解决国产算力问题是关键,而不同方向的尝试都将是有益的探索。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 4729字 | 19分钟 ]
【原文作者】 AI科技评论
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...