标签:内存瓶颈

烦人的内存墙

近年来,训练大型语言模型的计算需求呈指数级增长,但硬件性能的提升主要集中在峰值计算能力上,而内存带宽的增长速度远远落后。这种差距导致内存成为人工智...