标签：线性注意力
长上下文快2.9倍，解码快6倍：Kimi 用线性注意力实现性能与效率双突破
月之暗面团队开发的Kimi Linear模型通过创新的混合线性注意力架构，在公平比较中全面超越传统全注意力机制，实现了推理速度与模型性能的双重突破。该模型的核...
刚刚，Kimi开源新架构，开始押注线性注意力
在智能体时代，推理的计算需求成为核心瓶颈，标准注意力机制的低效问题日益凸显。线性注意力虽能降低计算复杂度，但受限于表达能力，在语言建模中表现历来不...
激进架构，400万上下文，彻底开源：MiniMax-01有点“Transformer时刻”的味道了
大模型公司MiniMax于1月15日发布了新模型系列MiniMax-01，该系列包括基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。MiniMax-01是一个总参...
MiniMax震撼开源，突破传统Transformer架构，4560亿参数，支持400万长上下文
2025年被AI业界领袖视为AI Agent的关键年份，预计将对公司生产力产生重大影响。在这一背景下，MiniMax开源了两个新模型：基础语言模型MiniMax-Text-01和视觉...
谷歌爆改Transformer，“无限注意力”让1B小模型读完10部小说，114倍信息压缩
这篇文章介绍了谷歌最新提出的Infini-attention机制，该机制能够使Transformer架构的大模型在有限的计算资源下处理无限长的输入，并实现114倍的内存压缩比。I...
