标签:研究机会

推理芯片的四种方案,David Patterson撰文

大型语言模型(LLM)推理面临的核心挑战源于Transformer模型的自回归解码特性,其本质差异于训练阶段,导致内存和互连延迟成为主要瓶颈。随着MoE架构、多模态...