一文读懂NPU

AIGC动态2个月前发布 admin
548 0 0
一文读懂NPU

 

文章摘要


【关 键 词】 硬件加速AI处理NPU边缘智能PC标配

神经处理单元(NPU)是一种硬件加速器,专为人工智能任务设计,旨在补充中央处理单元(CPU)和图形处理单元(GPU)的功能。NPU在智能手机中已经存在一段时间,但随着英特尔、AMD和微软等公司推出支持AI的消费级笔记本电脑和个人电脑,NPU开始在笔记本电脑中变得更加普遍。

NPU的作用是作为AI的硬件加速器,通过使用专用硅片来管理特定任务,从而提高效率。NPU不会取代CPU或GPU,而是处理边缘AI等工作负载,让CPU和GPU可以专注于它们擅长的任务。GPU虽然适合AI处理,但NPU是专门为AI构建的,可以提供更高的效率。

硬件加速在处理大量数据且不涉及复杂条件分支的重复性任务中特别有用。例如,3D图形渲染、物理和天文学计算以及大型语言模型(LLM)都是硬件加速的理想应用场景。AI工作负载分为训练和推理两种类型,其中训练主要在GPU上进行,而推理则可以在NPU上进行,以提高性能。

NPU的设计高度并行,适合执行重复性任务。与CPU的多面手特性不同,NPU具有多个子单元,每个子单元都有自己的微型缓存,适合高吞吐量和高度并行的工作负载,如神经网络和机器学习。NPU的设计目标之一是模拟大脑信息处理的某些方面。

设备制造商为NPU开发了特定的微架构,并提供了相应的软件开发工具。例如,AMD提供了Ryzen AI软件堆栈,而英特尔则改进了其开源深度学习软件工具包OpenVINO。

NPU在边缘智能中扮演着重要角色,尤其是在传感器网络、移动设备和物联网中。随着数据整理需求的增长,NPU提供了一种在本地处理数据的方式,这可能在速度和安全性方面比基于云的服务更有优势。

随着硅谷巨头如英特尔、AMD和苹果对NPU技术的投资,预计到2026年底,所有美国企业PC购买都将包含一个或多个NPU。这意味着NPU将成为未来PC的标配,为用户带来更高效的AI处理能力。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1702字 | 7分钟 ]
【原文作者】 半导体行业观察
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...