推理芯片的四种方案，David Patterson撰文

37 0 0

文章摘要

大型语言模型（LLM）推理面临的核心挑战源于Transformer模型的自回归解码特性，其本质差异于训练阶段，导致内存和互连延迟成为主要瓶颈。随着MoE架构、多模态扩展、长上下文窗口等技术的应用，资源需求呈指数级增长，而当前硬件设计仍以训练为导向，加剧了效率失衡。作者指出，数据中心GPU/TPU在解码阶段存在双重缺陷：HBM内存带宽增速远落后于计算能力提升，且成本持续攀升；传统互连设计优先考虑带宽而非延迟，难以满足实时推理需求。

针对内存瓶颈，文章提出高带宽闪存（HBF）方案，通过堆叠闪存芯片实现10倍容量扩展，适用于权重和静态上下文存储。这种设计能支持更大规模MoE模型，并缓解DRAM密度增长放缓的制约，但需解决写入耐久性和读取延迟问题。在近内存处理领域，作者明确区分PIM与PNM技术，指出PNM更适合数据中心场景——其分片规模比PIM大三个数量级，更适配LLM的通信模式，而移动设备可能受益于PIM的能效优势。3D内存逻辑堆叠则通过垂直集成降低数据路径功耗，但面临散热和接口标准化挑战。

互连延迟优化需要重构网络拓扑设计，高连通性结构和网络内处理技术可减少跳数。作者特别强调小数据包直接存储、计算引擎就近部署等芯片级优化，以及可靠性协同设计对降低延迟的作用。这些硬件创新需结合新型性能评估框架，纳入TCO、碳排放等现代指标，而非仅关注浮点运算峰值。

研究揭示了硬件与算法创新的协同必要性：自回归解码是根本性制约因素，而扩散算法等替代方案可能重塑硬件需求。当前全光罩芯片+HBM的设计范式已显疲态，四个研究方向（HBF/PNM/3D堆叠/低延迟互连）为突破物理限制提供可能。最终，经济可行的AI推理需要学术界与产业界在模拟器开发、分片技术等领域深度合作，以应对持续增长的推理成本与实时性要求之间的矛盾。