英伟达股价暴跌!或与 Llama 3 发布有关?

AIGC动态4周前发布 admin
70 0 0
英伟达股价暴跌!或与 Llama 3 发布有关?

 

文章摘要


【关 键 词】 推理速度性能优势处理器架构竞争力AI应用

本文介绍了Meta发布的Llama 3大模型以及Groq平台上Llama 3的运行速度超快的情况。Llama 3经过预训练和指令微调,参数分别为8B和70B,支持广泛的用例,并在行业基准测试中展示了最先进的性能,包括改进的推理能力。Groq发布了在其LPU™推理引擎上运行的Llama 3 8B和70B,并提供给开发者社区。通过计算机教授Alvaro Cintas的对比测试,Groq系统在运行Llama 3模型时的推理速度超过800 token/秒。根据Artificial Analysis的独立基准测试,Groq在Llama 3 8B和70B上的吞吐量分别达到877 token/秒和284 token/秒,是所有供应商中最高的2倍多,且价格较其他供应商更具竞争力Groq采用了一种全新的处理器架构Tensor Streaming Processor,专为深度学习中的矩阵乘法操作进行优化,通过优化数据流来降低延迟和能耗,提高性能并降低成本。在AI处理器市场中,Groq等初创企业正挑战Nvidia的主导地位,尤其在推理技术方面表现活跃。当前AI硬件基础设施的竞争重点在于构建能与AI模型快速发展相匹配的基础设施,以满足不断增长的应用需求。Groq的高效推理硬件结合开源模型如Llama 3,有望让AI技术更具成本效益,推动AI在各领域的广泛应用。尽管Nvidia仍占据市场领先地位,但其他竞争者也在不断追赶。在新一代架构挑战传统的浪潮中,AI的硬件基础仍在不断演进。

原文和模型


【原文链接】 阅读原文 [ 1449字 | 6分钟 ]
【原文作者】 AIGC开发者
【摘要模型】 gpt-3.5-turbo-0125
【摘要评分】 ★☆☆☆☆

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...