最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

AI-Agent2个月前发布 ai-front
488 0 0
最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

 

文章摘要


【关 键 词】 至强处理器高性能DDR5AI计算CXL技术

英特尔在9月6日的发布会上宣布了至强6900P系列处理器的上市,代号为Granite Rapids-AP。这款处理器是英特尔历史上性能最强大的至强处理器,最高配置包括128个内核,支持多种高速内存和接口技术。具体来说,它支持DDR5内存,速率可达每秒6400MT,MRDIMM内存,速率可达每秒8800MT,6条UPI 2.0链路,速率高达每秒24GT,以及96条PCIe 5.0或64条CXL 2.0通道。此外,它还配备了504MB的L3缓存,并支持FP16数据格式的英特尔高级矩阵扩展(AMX),专为AI和科学计算等内存带宽敏感型工作负载设计。

至强6900P系列的架构包括三个计算单元和两个IO单元,计算单元集成了X86内核、内存控制器和缓存,而IO单元则包含了PCIe、CXL、UPI等通用协议和英特尔独有的加速器。与上一代产品相比,新一代处理器在单核性能上提升了1.2倍,尽管功耗从350瓦增加到500瓦,但算力实现了双倍提升,同时帮助用户降低30%的总体拥有成本(TCO)。

在性能测试中,至强6处理器在12种不同的工作负载上进行了测试,包括通用计算、数据库、科学计算和AI大模型等,结果显示其单颗CPU性能和每瓦特性能比上一代产品快了两倍以上。特别是在70亿参数的Llama2大模型推理中,AMX加速下的至强6处理器性能提升了3.08倍。

MRDIMM内存技术是业界关注的焦点,它通过数据缓冲区实现两个列的同步操作,允许一次向CPU传输128字节的数据,相比传统DRAM模块的64字节传输有显著提升。至强6性能核处理器在内存敏感的工作负载上,如科学计算和AI,性能提升了1.2-1.3倍。

CXL技术是英特尔发起的新技术,通过CXL扩展,可以在数据库或大内存场景中支持更多、更大的内存。CXL 2.0支持多种设备类型,包括Type 1、Type 2和Type 3,并且可以向后兼容CXL 1.1。它还支持链路分叉,允许一个主机端口连接多个设备,并提供更强的CXL内存分层支持,实现容量和带宽的扩展,同时支持受控的热插拔设备。

此外,文章还提到了AICon全球人工智能开发与应用大会·上海站的举办,以及InfoQ即将在上海举办的QCon全球软件开发大会,这些会议将涵盖AI Agent、AI Infra、RAG等热点话题,以及架构、稳定性、云原生等传统经典内容。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 1008字 | 5分钟 ]
【原文作者】 AI前线
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★☆☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...