标签:线性注意

Transformer可以改装成Mamba了:苹果把推理成本直接打成线性

苹果近期提出了一种将 Transformer 模型转化为 Mamba 架构的新方法,旨在解决前者计算成本高且后者性能较弱的问题。传统 Transformer 虽强但成本随长度平方级...